Microsoft Fabric Notebooks und Lakehouse

Von Mirko Peters · 2025-11-21 · Aktualisiert 2026-07-22

Erstellen Sie Workflows für Datentransformation und maschinelles Lernen mit Microsoft Fabric Notebooks und dem Lakehouse für skalierbare Analysen.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Traditionelle ETL-Workflows können langsam sein. Sie umfassen viele manuelle Schritte und erfordern einen hohen Pflegeaufwand. Hier sind einige typische Probleme:

Wenn Sie Notebooks für die Datentransformation nutzen, haben Sie einen zentralen Ort für Ihre Daten. Das Bronze-Silver-Gold-Muster mit Spark und Lakehouse verbessert die Datenqualität und hilft Ihnen, die Herkunft Ihrer Daten nachzuvollziehen. Sie erhalten klares Feedback und können im Team zusammenarbeiten. So bleiben alle auf demselben Stand.

Das Wichtigste in Kürze

• Nutzen Sie Fabric Notebooks für die Datentransformation, um die Arbeit zusammenzuführen. So sehen Sie Änderungen und können mit Ihrem Team arbeiten.

• Ordnen Sie Ihre Daten nach dem Bronze-Silver-Gold-Muster. So bleiben die Rohdaten geschützt, und Sie können die Daten leichter bereinigen und für die Analyse vorbereiten.

• Automatisieren Sie Ihre Workflows, um Zeit zu sparen und Fehler zu vermeiden. Tools wie dbt Cloud und Prefect helfen Ihnen, Ihre Datenschritte zu planen und zu überwachen.

• Nutzen Sie Git für die Versionskontrolle in Ihren Notebooks. So sehen Sie Änderungen, arbeiten mit anderen zusammen und können bei Bedarf auf ältere Versionen zurückgreifen.

• Schützen Sie Daten mit starken Zugriffskontrollen. Nutzen Sie Sicherheit auf Zeilen- und Spaltenebene, um vertrauliche Daten zu schützen und zu steuern, wer sie einsehen oder ändern darf.

Warum auf codebasierte Datentransformation umsteigen

Herausforderungen traditioneller ETL-Workflows

Vielleicht haben Sie für die Datentransformation Power Query, Excel oder Skripte verwendet. Diese Werkzeuge können bei wachsendem Datenbestand Probleme verursachen. Vielleicht finden Sie Dateien mit Namen wie "final_v2_REAL.xlsx" und wissen nicht, welche die richtige ist. Manuelle Arbeitsschritte erschweren es, Änderungen nachzuvollziehen. Pipelines können brechen, wenn sich die Daten ändern. Die Behebung dieser Probleme kostet viel Zeit und Aufwand.

Wenn Sie viele verschiedene Werkzeuge einsetzen, verlieren Sie leicht den Überblick darüber, woher Ihre Daten stammen. Außerdem können Fehler entstehen, die sich nur schwer erkennen lassen.

Vorteile von Fabric Notebooks und Lakehouse

Fabric Notebooks und das Lakehouse helfen Ihnen, die Datentransformation besser umzusetzen. Sie schreiben Ihren Code an einem Ort. Mit Git können Sie jede Änderung nachverfolgen. So lassen sich Ergebnisse leicht prüfen und wiederholen. Sie können mit Millionen von Zeilen arbeiten, ohne Daten in andere Werkzeuge zu verschieben.

So unterscheiden sich codebasierte Notebooks mit Git-Anbindung von klassischen ETL-Werkzeugen:

Sie können Geschäftsregeln an einer zentralen Stelle festlegen. Teams können diese Regeln in Dashboards und Berichten verwenden. So lassen sich Fehler vermeiden und alle arbeiten auf derselben Grundlage. Außerdem erleichtert es Ihrem Team, Daten sicher zu erkunden.

• Codebasierte Schichten ermöglichen es Ihnen:

  • Jeden Schritt Ihrer Pipeline nachzuverfolgen.

  • Dieselbe Logik in vielen Projekten zu verwenden.

  • Mitzuwachsen, wenn Ihre Datenmengen steigen.

Denkweise-Wechsel: Notebooks als Transformationsschicht

Betrachten Sie Notebooks als zentralen Ort für die Datentransformation. Notebooks sind Ihre einzige Quelle der Wahrheit. Sie können Ihre Arbeit prüfen, testen und teilen. Mit Parametern können Sie zwischen Test- und Echtbetrieb wechseln. So behalten Sie mehr Kontrolle und können Ihren Daten vertrauen.

Betrachten Sie Ihr Notebook als Plan für Ihre Daten. So sehen Sie, was in jedem Schritt geschieht.

Das Bronze-Silver-Gold-Muster für die Datentransformation

Das Bronze-Silver-Gold-Muster hilft Ihnen, den Prozess der Datentransformation zu strukturieren. Sie durchlaufen drei klar getrennte Stufen, und jede Stufe hat eine eigene Aufgabe. Dieses Muster macht Ihre Datenpipeline leichter zu verwalten und zuverlässiger.

Bronze: Aufnahme der Rohdaten

Sie beginnen mit der Bronze-Schicht. Hier übernehmen Sie Rohdaten aus verschiedenen Quellen. Die Daten verändern Sie zunächst nicht. Sie sammeln sie und speichern sie sicher. So bleiben Ihre Originaldaten für spätere Verwendung erhalten.

Sie können mehrere Methoden zum Laden von Daten in die Bronze-Schicht nutzen. Die folgende Tabelle zeigt einige gängige Vorgehensweisen:

Sie sollten beim Laden von Daten immer ein Schema erzwingen. So erkennen Sie Fehler frühzeitig. Wenn Sie fehlerhafte Zeilen finden, können Sie diese in Quarantäne verschieben. So bleiben Ihre Daten von Anfang an sauber.

Tipp: Bewahren Sie immer eine Kopie Ihrer Rohdaten auf. Sie kann später nützlich sein, um Probleme zu beheben oder Ihre Arbeit zu überprüfen.

Silver: Datenbereinigung und Konformität

Die Silver-Schicht dient dazu, Ihre Daten zu bereinigen und zu vereinheitlichen. Sie korrigieren Fehler, entfernen Duplikate und stellen sicher, dass die Daten Ihren Geschäftsregeln entsprechen. Bei Bedarf verknüpfen Sie außerdem Tabellen und ergänzen fehlende Werte.

In dieser Schicht sollten Sie:

• prüfen, ob jede Spalte den richtigen Datentyp hat.

• Zeilen entfernen oder korrigieren, die Ihren Regeln nicht entsprechen.

• Datensätze deduplizieren, damit Sie nichts doppelt zählen.

• langsam veränderliche Daten behandeln, etwa Kundenadressen.

Sie verwenden in Ihrem Notebook Werkzeuge wie PySpark oder pandas. Damit können Sie jeden Änderungsschritt klar beschreiben. Sie können Ihre Arbeit testen und vor dem nächsten Schritt sicherstellen, dass sie korrekt ist.

Hinweis: Führen Sie nach jedem großen Schritt Canary-Prüfungen durch. Prüfen Sie zum Beispiel die Zeilenanzahl oder auf zu viele leere Werte. So erkennen Sie Probleme frühzeitig.

Gold: Feature Engineering für Analysen und ML

Die Gold-Schicht bereitet Ihre Daten für Analysen und maschinelles Lernen vor. Sie erstellen neue Features, etwa zeitliche Verzögerungen (Time Lags) oder Kundengruppen. Außerdem erstellen Sie Tabellen, die für Dashboards oder Modelle bereit sind.

In dieser Schicht sollten Sie:

• Features entwickeln, die Ihrem Unternehmen helfen, Fragen zu beantworten.

• Tabellen partitionieren, damit Abfragen schneller laufen.

• Delta-Tabellen verwenden, damit Sie Änderungen nachverfolgen und bei Bedarf zurückrollen können.

Schreiben Sie Daten immer idempotent. Das bedeutet, dass Sie Ihre Pipeline beliebig oft ausführen können, ohne Fehler zu machen oder etwas doppelt zu zählen. Mit Delta-Snapshots speichern Sie Versionen Ihrer Tabellen. Wenn etwas schiefgeht, greifen Sie auf eine sichere Kopie zurück.

Wichtig: In der Gold-Schicht entfaltet sich der Wert Ihrer Daten am stärksten. Prüfen Sie Ihre Arbeit hier besonders sorgfältig und sorgen Sie für Verlässlichkeit.

Mit dem Bronze-Silver-Gold-Muster schaffen Sie eine solide Datentransformations-Pipeline. Ihre Daten bleiben sicher, sauber und bereit für jede Analyse oder jedes Projekt im Bereich maschinelles Lernen.

Datentransformation mit Notebooks und Spark orchestrieren

Delta-Tabellen lesen und schreiben

Sie können Spark in Fabric-Notebooks nutzen, um mit Delta-Tabellen zu arbeiten. So verarbeiten Sie Millionen von Zeilen sehr schnell. Daten müssen Sie dafür nicht verschieben, und Sie müssen nichts manuell anpassen. Wenn Sie die Native Execution Engine aktivieren, können Ihre Aufträge bis zu fünfmal schneller laufen. Sie können Einstellungen wie spark.sql.files.maxPartitionBytes und spark.sql.shuffle.partitions an Ihre Datenmenge anpassen. Auto Compaction hilft bei vielen kleinen Schreibvorgängen und macht Ihre Tabellen schneller durchsuchbar. Viele Unternehmen erreichen mit diesen Maßnahmen ELT-Zyklen, die 30 % schneller laufen, und Abfragen, die 1,2-mal besser performen.

Tipp: Delta-Tabellen speichern Ihre Daten in Versionen. Sie können Änderungen rückgängig machen, wenn Ihnen ein Fehler unterläuft.

Parametrisierung und Umgebungsverwaltung

Verwenden Sie Parameter in Ihren Notebooks. So wechseln Sie einfach zwischen Test- und Produktivbetrieb. Das hilft Ihnen, Fehler zu vermeiden, und schützt Ihre Daten. Legen Sie einen Plan fest, um Testdaten und Echtdaten voneinander zu trennen. Außerdem können Sie einen Katalogplan nutzen, um Ihre Metadaten zu ordnen und private Informationen zu schützen. So lässt sich leichter steuern, wer was sehen darf, und die Unternehmensrichtlinien einhalten.

• Verwenden Sie Parameter für:

  • Dateipfade

  • Workspace-IDs

  • Feature-Flags

Hinweis: Parameter sorgen dafür, dass Ihre Notebooks für viele Teams funktionieren und sicher bleiben.

Automatisierung und Zeitplanung von Workflows

Sie können Ihre Notebooks so einrichten, dass sie nach einem Zeitplan selbstständig laufen. So müssen Sie keine Schritte manuell ausführen und keine CSV-Dateien verwenden. Werkzeuge wie dbt Cloud, Meltano und Prefect helfen Ihnen, Ihre Pipelines zu überwachen und zu steuern. dbt Cloud eignet sich gut für SQL-Aufträge. Meltano ist kostenlos und arbeitet mit Git zusammen. Prefect basiert auf Python und bietet Wiederholungsversuche, Caching und Protokolle.

• Automatisierungswerkzeuge helfen Ihnen dabei:

  • Läufe einzurichten

  • den Pipeline-Status zu überwachen

  • weniger manuelle Arbeit zu erledigen

Wenn Sie Ihre Workflows automatisieren, beheben Sie weniger Fehler und holen mehr Wert aus Ihren Daten heraus.

Governance, Auditierbarkeit und Best Practices

Git-Integration und Code-Review

Git hilft Ihnen, jede Änderung in Ihren Notebooks nachzuverfolgen. Sie sehen, wer Änderungen vorgenommen hat und wann. Probieren Sie neue Ideen in einem Branch aus, bevor Sie sie in das Hauptprojekt übernehmen. Ein Code-Review hilft Ihrem Team, Fehler früh zu finden. Alle können zusammenarbeiten, ohne die Arbeit der anderen zu verlieren. Wenn etwas schiefgeht, können Sie zu einer sicheren Version zurückkehren.

Tipp: Nehmen Sie Änderungen immer über Pull Requests vor. So bleibt Ihr Code sicher und lässt sich leichter prüfen.

Leitplanken: Schemaprüfungen und Canary-Queries

Leitplanken helfen, Ihre Daten zu schützen. Schemaprüfungen stellen sicher, dass Ihre Tabellen die richtigen Spalten und Datentypen haben. Canary-Queries prüfen nach jedem Schritt auf Probleme. Sie kontrollieren Zeilenanzahlen, leere Werte und zentrale Kennzahlen. Diese Prüfungen helfen, Probleme zu erkennen, bevor sie Ihre Dashboards erreichen.

• Prüfungen können fehlende oder falsche Daten sofort erkennen.

• Automatische Korrekturen können gängige Probleme anhand früherer Antworten lösen.

• Canary-Deployments testen riskante Änderungen an einem kleinen Teil Ihrer Daten.

Hinweis: Prüfen Sie Ihr Schema immer, bevor Sie Daten in den nächsten Schritt verschieben.

Sicherheit und Zugriffssteuerung

Mit einer starken Sicherheitskonfiguration in Microsoft Fabric Lakehouse schützen Sie Ihre Daten. OneLake Security ermöglicht es Ihnen, Regeln dafür festzulegen, wer Daten sehen oder ändern darf. Zeilen- und spaltenbasierte Sicherheit steuert, was jede Person einsehen kann. Zur Verwaltung des Zugriffs können Sie den User Identity Mode oder den Delegated Identity Mode verwenden. Sichere Verknüpfungen schützen Ihre Quelldaten auch dann, wenn sie aus externen Quellen stammen.

• Der ausgehende Zugriffsschutz für Workspaces blockiert unerwünschte Verbindungen.

• Verwaltete private Endpunkte erlauben nur vertrauenswürdige externe Ressourcen.

• Die Konnektivität zwischen Workspaces ermöglicht einen sicheren Datenaustausch zwischen ihnen.

Prüfen Sie Ihre Zugriffseinstellungen regelmäßig, um Ihre Daten zu schützen.

Schnelle Erfolge und Anti-Patterns

Sie können Ihre Pipeline verbessern, indem Sie:

• eine Pipeline auf Notebooks mit Git-Nachverfolgung umstellen.

• Schemaprüfungen und Canary-Queries hinzufügen.

• Parameter für alle Pfade und Workspace-IDs verwenden.

• für jede Änderung Pull Requests verwenden.

Vermeiden Sie folgende Vorgehensweisen:

• Notebook-Pipelines mit manuellen Excel-Korrekturen vermischen.

• CSV-Dateien zurückschreiben und in Power BI laden.

• Geheimnisse oder Pfade fest im Code hinterlegen.

• Ein einziges, riesiges Notebook für alles verwenden.

Kleine Änderungen können Ihre Datenpipeline sicherer und einfacher nutzbar machen.

Integration von Power BI und Machine Learning

Semantische Modelle auf Gold-Tabellen aufbauen

Gold-Tabellen helfen Ihnen, mehr aus Ihren Daten herauszuholen. Sie erstellen semantische Modelle in Power BI, um Daten zu strukturieren. Diese Modelle erleichtern Analysen und Berichte. Wenn Sie Best Practices anwenden, sind Ihre Modelle hilfreicher und lassen sich leichter teilen.

• Betrachten Sie semantische Modelle als Produkte. Geben Sie jedem Modell einen klaren Namen und einen eindeutigen Zweck.

• Erstellen Sie Modelle mit einfachen Definitionen. Stellen Sie sicher, dass alle wissen, was jedes Feld bedeutet.

• Halten Sie die Versionen der Modelle nach und dokumentieren Sie Änderungen. Erklären Sie, wie jedes Modell zu verwenden ist.

• Teilen Sie Modelle mit anderen Teams, um Konsistenz zu sichern. So greifen alle auf dieselben Daten und Regeln zurück.

Tipp: Gute Notizen und klare Begriffsdefinitionen helfen den Menschen, Ihren Modellen zu vertrauen und sie zu nutzen.

ML-Feature-Store und Modelltraining

Ein Feature Store hilft Ihnen, Daten für maschinelles Lernen nachvollziehbar zu verwalten. Sie können Features an einem Ort speichern, sowohl für das Training als auch für Vorhersagen. So bleiben Ihre Modelle korrekt und zuverlässig. Feature Stores helfen Ihnen, Fehler zu vermeiden, weil beide Schritte dieselben Daten verwenden. Sie zeigen, woher Features stammen und wie sie sich verändern. Dadurch lassen sich Probleme leichter beheben und Arbeitsschritte leichter wiederholen. Sie können Features mit Ihrem Team teilen und wiederverwenden. Das spart Zeit und sorgt dafür, dass alle bessere Ergebnisse erzielen.

Aktualisierung und Modellbereitstellung automatisieren

Sie können den Auftragsplaner in Microsoft Fabric verwenden, um Daten zu aktualisieren und Modelle automatisch bereitzustellen. Mit dem Planer legen Sie fest, dass Aufträge zu bestimmten Zeiten ausgeführt werden. Sie können viele Zeitpläne verwalten und mit Ihrem Arbeitsprozess verknüpfen. So bleiben Daten und Modelle ohne manuelle Eingriffe aktuell. Automatisierung hilft Ihnen, weniger Fehler zu machen, und stärkt Ihren Workflow.

Hinweis: Durch Automatisierung haben Sie mehr Zeit für Erkenntnisse und Entscheidungen statt für manuelle Arbeit.

Sie können Ihren Daten mehr vertrauen, wenn Sie einen Code-first-Ansatz mit Microsoft Fabric Notebooks und dem Lakehouse nutzen. Das Bronze-Silver-Gold-Muster, gute Regeln und Automatisierung helfen Ihnen, Analysen und maschinelles Lernen auszubauen. Beginnen Sie damit, eine Pipeline zu migrieren, und ergänzen Sie Prüfungen, damit alles sicher bleibt. Schauen Sie sich dann Funktionen an, die wirklich helfen:

• Delta Live Tables lassen Pipelines selbstständig laufen und sparen Zeit.

• Liquid Clustering macht Abfragen schneller und senkt die Kosten.

• KI-gestützte Überwachung hilft Ihnen, langsame Abfragen schnell zu finden.

Für Ihre nächsten Schritte probieren Sie praktische Labs aus, sehen sich Expertenvideos an oder absolvieren den DP-700-Kurs, um mehr zu lernen.

Häufige Fragen

Was ist der wichtigste Vorteil der Verwendung von Fabric Notebooks für die Datentransformation?

Sie haben einen zentralen Ort, an dem Sie Ihre Datenschritte schreiben, testen und nachverfolgen. Dadurch lassen sich Ihre Arbeitsschritte leichter prüfen und wiederholen. Außerdem können Sie mit großen Datensätzen arbeiten, ohne Dateien zu verschieben.

Wie unterstützt mich das Bronze-Silver-Gold-Muster bei meiner Datenpipeline?

Dieses Muster hilft Ihnen, Ihre Daten in klar getrennten Schritten zu organisieren. Sie bewahren Rohdaten sicher auf, bereinigen Ihre Daten und erstellen anschließend Features für Berichte oder Modelle. Sie können Probleme schneller beheben und Ihren Ergebnissen vertrauen.

Kann ich Git mit Fabric Notebooks verwenden?

Ja, Sie können Ihre Notebooks mit Git verbinden. So können Sie Änderungen nachverfolgen, Code überprüfen und mit Ihrem Team zusammenarbeiten. Bei Bedarf können Sie jederzeit zu einer älteren Version zurückkehren.

Wie sichere ich meine Daten im Lakehouse?

Sie legen Regeln fest, wer Daten sehen oder ändern darf. Dazu nutzen Sie Sicherheit auf Zeilen- und Spaltenebene. Außerdem können Sie verwaltete Endpunkte und Arbeitsbereichssteuerungen einsetzen, um Ihre Daten zu schützen.

Kann ich meine Daten- und ML-Workflows automatisieren?

Ja! Sie können Notebooks so planen, dass sie zu festgelegten Zeiten laufen. Außerdem können Sie Daten aktualisieren und Modelle bereitstellen, ohne dies manuell zu tun. Das spart Zeit und reduziert Fehler.

Diese Folgen sollten Sie ebenfalls hören

Wenn Sie sich für Microsoft Fabric Notebooks Lakehouse interessieren, bieten diese Folgen praktischen Kontext zu Microsoft-Datenplattformen, KI-Architektur, Governance und Automatisierung.

• Azure AI Foundry – Simply Explained — Erfahren Sie, wie Unternehmenslösungen für KI aufgebaut und governed werden.
• Microsoft AI Agent Harness – Simply Explained — Entdecken Sie zuverlässige Orchestrierung, Evaluierung und Observability.
• Microsoft Teams Governance – Simply Explained — Erfahren Sie, wie Regeln für Lebenszyklus und Eigentümerschaft Zusammenarbeit überschaubar halten.

Diese Folgen verbinden das Thema des Artikels mit praktischen Architektur- und Einführungsentscheidungen.