Das heutige Thema ist eines, von dem fast jeder, der mit Daten arbeitet, schon gehört hat, das aber nur wenige wirklich verstehen. Microsoft Fabric OneLake. Sie haben es wahrscheinlich in der Microsoft-Werbung gesehen oder gehört, wie jemand es als den einheitlichen Data Lake für ihr gesamtes Unternehmen bezeichnet hat. Aber was bedeutet das eigentlich? Ist es nur ein weiterer Speicher-Bucket oder etwas grundlegend anderes? Ist die einfachste Definition? OneLake ist ein einzelner logischer Data Lake, der im Zentrum von Microsoft Fabric steht. Jeder Fabric-Dienst, ob Lakehouse, Warehouse, Eventhouse oder Power BI, speichert seine Daten dort. Und die wichtigste Regel ist an... Eine physische Datenkopie, auf die viele verschiedene Engines zugreifen können. Kein Kopieren von Daten mehr von einem Tool zum anderen. Kein Rätselraten mehr darüber, welche Version eines Berichts korrekt ist. Am Ende dieser Folge werden Sie verstehen, was OneLake eigentlich ist, wie es Daten-Duplizierung eliminiert und warum es die Spielregeln für Power BI, Data Engineering und KI verändert. Beginnen wir also mit dem Problem, das OneLake lösen sollte. Das Problem. Jede Abteilung hat ihren eigenen Lake. Stellen Sie sich vor, Sie arbeiten im mittelständischen Unterricht. Ihr Vertriebsteam nutzt ein CRM-System, um Abschlüsse zu verfolgen. Ihr Finanzteam nutzt das ERP für Abrechnungen und Rechnungen. Ihr Marketingteam zieht Daten aus seinen Kampagnen-Tools. Und Ihr Data Engineering Team verwaltet ein Data Warehouse für das Berichtswesen. Denken Sie also einmal darüber nach. Wie viele Kopien derselben Kundendaten existieren in diesen Systemen? In den meisten Unternehmen lautet die Antwort vier davon. Das CRM speichert Sie. Das ERP speichert Sie. Das Marketing exportiert Sie in sein Analyse-Tool. Jemand aus der Finanzabteilung erstellt eine Tabelle aus dem ERP. Und das Data Engineering Team kopiert Sie in das Warehouse, damit Power BI Sie lesen kann. Das ist dieselbe Kunden-ID, derselbe Umsatzbetrag, dasselbe Rechnungsdatum gespeichert an fünf verschiedenen Orten. Es liegt nicht daran, dass die Leute unvorsichtig sind. Es liegt daran, dass die alten Tools nicht miteinander kommunizieren können. Wenn man einen Bericht erstellen wollte, der Verkaufsdaten aus dem CRM mit Finanzdaten aus dem ERP kombiniert, musste man beide in etwas kopieren, das sie zusammenlesen konnte. Äh. Das bedeutete, Pipelines zu bauen, Jobs zu planen und zu hoffen, dass über Nacht nichts kaputt ging. Die versteckten Kosten summieren sich schnell. Die Speicherkosten steigen, weil man für dieselben Daten fünfmal bezahlt. Berichte veralten, weil eine Kopie aktualisiert wird und eine andere nicht. Und dann stellt jemand die Frage, die niemand beantworten will. Welche Version ist die richtige? Diese Verwirrung untergräbt das Vertrauen in Daten. Und sobald das Vertrauen weg ist, hören die Leute ganz auf, die Analyse-Plattform zu nutzen. Microsoft hat sich dieses Chaos angesehen und eine einfache Frage gestellt. Was wäre, wenn man nur eine Kopie seiner Daten hätte, die jedes Tool lesen kann? Keine Duplikate, keine Verwirrung, eine einzige Quelle der Wahrheit. Was genau ist eigentlich OneLake? OneLake ist Microsofts Antwort auf diese Frage. Es ist ein einzelner logischer DataLake für ihr gesamtes Unternehmen. Der entscheidende Leitsatz lautet, ein Lake pro Mandant, nicht ein Lake pro Team. Unter der Haube basiert OneLake auf Azure DataLake Storage Gentway. Die gleiche Technologie, die gleichen APIs. Aber Microsoft hat es als vollständig verwalteten SaaS-Dienst neu verpackt. Sie müssen keine Speicherkonten erstellen, keine Container verwalten und keine Zugriffsschlüssel einrichten. Sie nutzen es einfach. Stellen Sie es sich wie OneDrive für die Daten Ihres Unternehmens. OneDrive bietet Ihnen einen zentralen Ort für Ihre persönlichen Dateien, Dokumente, Fotos und Tabellen. Sie machen sich keine Gedanken darüber, wo diese physisch gespeichert sind. Sie öffnen sie einfach und arbeiten an. OneLake macht genau das Gleiche, nur für die Daten Ihres Unternehmens. Es bietet jedem Team, jedem Projekt und jeder Workload einen gemeinsamen Speicherpool. Hier gibt es nun einen wichtigen Unterschied. OneLake ist logisch, nicht physisch. Im Hintergrund kann es sich über mehrere Speicherkonten in verschiedenen Regionen erstrecken. Aber für Sie sieht es aus wie ein einziger großer Pup. Es ist Ihnen egal, welcher Server die Dateien enthält. Sie sehen einfach Ihre Daten. Jeder Fabrikdienst speichert seine Daten hier. Wenn Sie ein Lakehouse erstellen, liegen die Daten in OneLake. Wenn Sie ein Warehouse aufbauen, liegen die Tabellen in OneLake. Wenn Sie einen Power BI-Bericht im DirectLake-Modus ausführen, liest dieser direkt aus OneLake. Sogar Eventhouse, der Speicher für Echtzeitanalysen, kann seine Daten in OneLake bereitstellen. Alles verweist auf denselben Ort und das Standard-Datenformat ist Delta Parquet. Das ist ein offenes Format, kein Microsoft-Login. Databricks nutzt es, Spark-Engines lesen es. Tools wie Pandas und Polars können damit arbeiten. Ihre Daten sind also nicht in der Welt von Microsoft gefangen. Es ist offen und portabel, aber das wahre Geheimnis ist nicht der Speicher, sondern die OneLake die Notwendigkeit von Datenkopien von vornherein eliminiert. Das Prinzip der Einkopie. Hier ist der Grundgedanke, der OneLake von allem unterscheidet, was es bisher gab. Es nennt sich das Prinzip der Einkopie und es ist ganz einfach. Eine physische Datenkopie, auf die viele verschiedene Engines zugreifen können. Lassen Sie mich zeigen, was das bedeutet. Nehmen wir an, Sie haben eine Tabelle mit Verkaufsdaten in OneLake. Ein Dateningenieur lässt ein Spark-Notebook laufen, um Sie zu bereiten. Ein Business Analyst schreibt eine TSQL-Abfrage, um Sie zu sammeln. Und ein Power BI-Bericht liest Sie für ein Dashboard aus. Alle drei geschehen zur gleichen Zeit. Alle drei lesen dieselbe Datei. Niemand hätte was kopiert. In der alten Welt gab es das nie. Man kopierte Daten aus dem Data Lake in ein Warehouse. Dann kopierte man sie vom Warehouse in ein semantisches Modell. Anschließend aktualisierte man den Bericht. Das sind drei Kopien derselben Daten. Jeder einzelne kostet Zeit und Speicherplatz. Und wenn ein Schritt fehlschlug, waren die Zahlen falsch. Eine Kopie eliminiert all das. Die Daten liegen nur einmal in OneLake. Die Engines Spark, SQL und Power BI lesen Sie alle direkt. Keine Bewegung. Keine Duplizierung. Keine Synchronisationsprobleme. Die Kosteneinsparungen sind ja. Weniger Speicher, da man nicht für dieselben Daten fünfmal zahlt. Weniger ETL, da man keine Pipelines nur zum Verschieben von Daten zwischen Tools baut. Weniger Wartungsaufwand, da zwischen den Kopien nichts kaputt gehen kann. Und der Vorteil der Aktualität ist riesig. Eine Kopie bedeutet eine einzige Quelle dabei. Wenn die Daten aktualisiert werden, sieht jeder Bericht das Update sofort. Keine Fragen mehr. Nutzt dieser Bericht die Daten von letzter oder dieser Woche? Es sind überall immer dieselben Daten. Vielleicht denken Sie jetzt, ist das nicht einfach nur Azure Data Lake Storage. Nicht ganz. ADLS ist im Bias-Dienst. Sie erstellen Speicherkunden. Sie verwalten Container. Sie richten Zugriffsschlüssel ein. Sie entscheiden, welche Region was enthält. Es ist flexibel, aber es ist auch Arbeit. OneLake ist in SARS-Dienst. Sie erstellen keine Speicherkunden. Sie verwalten keine Container. Sie nutzen ihn einfach. Die zugrunde liegende Infrastruktur wird für Sie verwaltet. Eine Kopie ist großartig für Daten, die innerhalb von Fabric liegen. Aber was ist mit Daten, die woanders liegen? Shortcuts. Lassen Sie die Daten dort, wo sie sind. Genau hier kommen Shortcuts ins Spiel. Ein Shortcut ist ein virtueller Zeiger. Stellen Sie es sich wie einen symbolischen Link für Ihren Data Lake vor. Er ermöglicht den Zugriff auf Daten, die physisch außerhalb von OneLake liegen oder sie zu verschieben oder zu kopieren. So funktioniert es. Sie erstellen einen Shortcut innerhalb eines Lake House oder Warehouse. Und dieser Shortcut verweist auf eine Datei oder einen Ordner anderswo. Das könnte ein Azure Data Lake Storage Konto, ein Amazon S3 Bucket, Google Cloud Storage oder sogar ein anderer Fabric Arbeitsbereich sein. Die Daten bleiben, wo sie sind, aber innerhalb von Fabric sieht es so aus, als wären sie direkt im OneLake. Lassen Sie mich ein reales Szenario nennen. Ihr Vertriebsteam führt seine Analysen seit Jahren auf AWS durch. Also liegen alle Daten in S3 Buckets. Ihr Finanzteam nutzt Fabric und Power BI und muss Verkaufsdaten mit Finanzdaten kombinieren. In der alten Welt musste man alles aus S3 exportieren, auf Azure hochladen, eine Pipeline zur Synchronisierung erstellen und hoffen, dass nichts kaputt geht. Mit Shortcuts erstellen Sie eine Verknüpfung von Ihrem Lake House zum S3 Bucket. Die Daten bleiben in AWS, aber die Finanzabteilung kann Sie in Power BI abfragen, als wären Sie in OneLake gespeichert. Kein Export, kein Upload, keine Pipeline, um die man sich sorgen. Shortcuts funktionieren auch intern. Wenn ein Team einen aufbereiteten Datensatz in seinem Arbeitsbereich hat, kann ein anderes Team eine Verknüpfung dazu erstellen. Kein Kopieren, keine Duplizierung. Die Daten bleiben im ursprünglichen Arbeitsbereich und alle anderen greifen lediglich darauf zu. Es gibt eine Einschränkung, die Sie kennen sollten. Shortcuts kopieren keine Daten, daher hängt die Abfrageleistung von der Geschwindigkeit des Quellsystems ab. Wenn Sie eine Verknüpfung zu einem S3 Bucket am anderen Ende der Welt herstellen, sind Ihre Abfragen langsamer, als wenn die Daten lokal wären. Zählen Sie für häufig abgerufene Daten stattdessen das Mirroring in Betracht. Und damit kommen wir zu unserem nächsten Thema, Mirroring. Automatisches Einbinden von Datenbankdaten. Shortcuts eignen sich hervorragend für externe Dateispeicher, aber was ist mit Ihrem bestehenden Datenbank? Die, auf denen Ihr ERP, Ihr CRM und Ihre operativen Anwendungen laufen. Hier kommt Mirroring ins Spiel. Mirroring ist eine Möglichkeit, Daten aus Datenbanken nahezu in Echtzeit in OneLake zu übertragen, ohne eine einzige Pipeline zu erstellen. Sie verweisen Fabric auf Ihre Datenbank und das System erledigt den Rest, indem es automatisch eine inkrementelle Kopie der Daten im Delta-Paket-Format in OneLake erstellt und diese bei Änderungen in der Quelle aktuell hält. Zu den unterstützten Quellen gehören Azure SQL Database, SQL Server vor Ort, Cosmos DB und andere und Microsoft fügt mit der Zeit weitere hinzu. Das häufigste Szenario ist jedoch Ihre geschäftskritische Datenbank, auf der Ihr ERP oder Ihre Geschäftsanwendung läuft. So funktioniert es. Sie aktivieren Mirroring für eine Datenbank und Fabric liest den Änderungsfeed, Einfügungen, Updates sowie Löschungen und repliziert diese Änderungen in OneLake. Die erste Synchronisierung kopiert den vollständigen Daten. Danach erfolgt der Vorgang inkrementell und überträgt nur die geänderten Zeilen. Die Daten landen im Delta-Paket-Format und können von jeder Fabric-Engine abgefragt werden. Hier liegt der entscheidende Unterschied zu Shortcuts. Shortcuts kopieren keine Daten, Sie verweisen nur darauf. Mirroring kopiert die Daten tatsächlich, sodass sie physisch in OneLake liegen und die Abfrageleistung schnell ist, unabhängig davon, wie schnell oder langsam die Quelldatenbank ist. Der Kompromiss besteht daran, dass Sie eine Kopie speichern. Aber der Vorteil ist ein nahezu in Echtzeit verfügbarer Zugriff ohne zu erstellende Pipelines, zu verwaltende Zeitpläne, zu verwaltende Zeitpläne und Systeme. Lassen Sie mich Ihnen ein konkretes Eindrucksbeispiel geben. Ihr Unternehmen betreibt ein ERP-System auf SQL-Server, das alle Finanzdaten, Rechnungen, Zahlungen und das Hauptbuch enthält. In der alten Welt würden Sie einen ETL-Job erstellen, der jede Nacht läuft, die Daten extrahiert, transformiert. Und in ein Warehouse lädt. Dieser Job schlägt fehl, jemand muss ihn reparieren. Und die Daten sind immer mindestens einen Tag alt. Mit Mirroring aktivieren Sie es einmal und Fabric repliziert die Daten kontinuierlich in OneLake. Ihre Power BI-Berichte lesen direkt aus OneLake und sehen Daten, die wenige Minuten alt sind, nicht Stunden oder Tage. Und Sie müssen die Pipeline nie anfassen. Nun haben Sie Daten in OneLake durch Shortcuts, durch Mirroring und durch direkte Uploads. Wie nutzen Sie diese nun eigentlich? OneLake und die drei Datenspeicher. OneLake ist also die Speicherschicht, der Ort, an dem alle Ihre Dateien liegen. Aber hier ist der Punkt. Sie arbeiten eigentlich nicht direkt mit OneLake. Stattdessen interagieren Sie damit über sogenannte Datenspeicher, also Schnittstellen, die Ihnen verschiedene Wege bieten, mit denselben zugrunde liegenden Daten zu arbeiten. Es gibt drei Hauptdatenspeicher in Fabric. Lakehouse und Eventhouse und Eventhouse. Sie alle speichern Ihre Daten im selben OneLake, aber jeder dient einem anderen Zweck. Fangen wir mit dem Lakehouse an. Den flexiblen Datenspeicher, der Dateien wie CSV, JSON und Bilder sowie Delta-Tabellen akzeptiert. Sie verwenden ihn für Data Engineering, Machine Learning oder zum Ablegen von Rohdaten aus Quellsystemen. Es ist eine Werkbank, auf der Sie Daten bereinigen, transformieren und vorbereiten. Wenn Sie eine Medaillon-Architektur mit Bronze-, Silber- und Goldschichten aufbauen, geschieht dies im Lakehouse. Sie können über Spark-Notebooks oder den SQL-Analyse-Endpunkt für schreibgeschützte Abfragen darauf zugreifen. Als nächstes kommt das Warehouse, der strukturierte Datenspeicher. Es bietet volle TSQL-Lese- und Schreibunterstützung, sodass Sie Tabellen, sichten, gespeicherte Prozeduren und Funktionen erstellen, sowie Insert-, Update- und Delete-Befehle ausführen können, können. Es fühlt sich an wie eine traditionelle SQL-Server-Datenbank, weil es für Leute konzipiert ist, die in SQL-Ding. Nutzen Sie das Warehouse, wenn Sie BI-Berichte erstellen, komplexe Aggregationen ausführen oder von einem bestehenden Data-Warehouse migrieren. Betrachten Sie es als die Goldschicht für Unternehmensberichte. Dann gibt es noch das Event-Haus, den Echtzeit-Datenspeicher auf Basis der Custo-Engine, derselben Technologie hinter Azure Data Explorer. Es verarbeitet Streaming-Daten, Protokolle, IoT-Telemetrie und Klickströme, alles, was schnell eintrifft und sofort abgefragt werden muss. Sie fragen es mit KQL ab der Custo-Query-Language. Und wenn Sie die One-Lake-Verfügbarkeit aktivieren, werden diese Ereignisdaten für Lakehouse und Warehouse als Delta-Tabellen zugänglich. Hier ist also das, was Sie verstehen müssen. Alle drei speichern Ihre Daten im selben One-Lake. Eine in einem Lakehouse erstellte Tabelle kann von einer Warehouse-Aufragung gelesen werden. Auf eine Tabelle in einem Warehouse kann von einem Spark-Notebook aus zugegriffen werden. Daten, die in ein Event-Haus aufgenommen wurden, können als Delta-Tabellen für Power BI bereitgestellt werden. Sind keine separaten Datenbanken, sondern verschiedene Sichten auf denselben Data-Lake. Viele Leute verstehen das falsch. Sie denken, Lakehouse, Warehouse und Event-Haus seien konkurrierende Produkte, aber das sind sie nicht. Sie verwenden tatsächlich alle drei, da jedes ein anderes Problem löst. Lakehouse für Data-Engineering, Warehouse für BI, Event-Haus für Echtzeit und alle nutzen denselben Speicher. One-Lake übernimmt die Speicherung und die Datenspeicher den Zugriff. Aber wer darf es sehen? Sicherheit und Governance in One-Lake. Da alle ihre Daten an einem Ort liegen, wird die Sicherheit einfacher. Sie verwalten den Zugriff an einer Stelle anstatt in zehn verschiedenen Systemen. Kein Einstellen von Berechtigungen mehr in CRM, dann wieder im Warehouse und dann erneut in Power BI. One-Lake bietet ihnen ein einheitliches Sicherheitsmodell für alles. Auf der obersten Ebene gibt es Arbeitsbereichsrollen. Administrator, Mitglied, Mitwirkender, Betrachter, Betrachter. Dieses Steuern wäre in einem bestimmten Arbeitsbereich abhängig. Wenn jemand Betrachter ist, kann er Elemente sehen, aber nicht ändern. Wenn er Administrator ist, kontrolliert er alles. Ganz einfach. Aber Sie können auch weitergehen. One-Lake-Sicherheitsrollen ermöglichen Ihnen die Zugriffskontrolle auf Ordnertabellen, Spalten und sogar Zeilenebene und sogar Zeilenebene. Spalten-Ebene in Sicherheit bedeutet zum Beispiel, dass Sie Gehaltsinformationen vor allem außer der Personalabteilung verbergen können. Zeilenebene in Sicherheit bedeutet, dass ein Vertriebsleiter nur die Daten seiner eigenen Region sieht. Und das funktioniert über alle Datenspeichern weg gleich, da Sie alle auf demselben One-Lake basieren. Es gibt auch den One-Lake-Katalog, eine zentrale Ansicht, in der Sie alle Daten über alle Arbeitsbereiche hinwegsehen können. Sie können zertifizierte Datasets finden, prüfen, wem was gehört und die Governance von einem Ort aus verwalten. Er lässt sich in Microsoft Purview für Klassifizierung, Vertraulichkeitsbezeichnung und Verhinderung von Datenverlust integrieren. Wenn Sie also bestimmte Daten als vertraulich oder streng eingeschränkt markieren müssen, können Sie dies auf Lake-Ebene tun und es gilt überall. Und es gibt One-Lake-Diagnosen, die erfassen, wer wann auf was zugegriffen hat. Dies ist nützlich für Audits Compliance-Prüfungen und zur Beantwortung der Frage, wer hat letzte Woche auf diese Daten zugegriffen. Es protokolliert jeden Lese- und Schreibvorgang und speichert diese Protokolle als JSON-Dateien innerhalb eines Lake-Haus. Sie können sie mit Spark, SQL oder Power BI analysieren. Das große Ganze ist, ein Sicherheitsmodell für alle Ihre Daten, statt separate Regeln für jedes Tool zu verwalten. Das ist eine enorme Vereinfachung für jedes Unternehmen. Praktische Kenntnisse. Was das für Sie bedeutet. Was bedeutet das also konkret, wenn Sie heute mit Ihrer Fabrikreise beginnen? Schlüsseln wir es auch. Wenn Sie eine neue Datenplattform aufbauen, macht One-Lake komplexe Architektur für Datenbewegung überflüssig. Sie müssen nicht mehr planen, wie Daten von einem Lake in ein Warehouse und in ein semantisches Modell fließen. Linken Sie sie einfach in One-Lake ab und jedes Tool ist von dort. One-Lake in eine Kopie. Das ist die gesamte Architektur. Wenn Sie von einem älteren System migrieren, ermöglichen Ihnen Shortcuts und Mirroring, Daten dort zu lassen, wo Sie sind und Workloads schrittweise zu verlagern. Keine Big-Bang-Migration erforderlich. Verweisen Sie mit einem Shortcut auf Ihren bestehenden Data-Lake, spiegeln Sie Ihre SQL-Server-Datenbank und nutzen Sie Fabrik, während Ihre alten Systeme weiterlaufen. Sie bewegen sich in dem eigenen Teil. Hier ist der nötige Umdenkprozess. Hören Sie auf, um Speicher pro Projekt zu denken. Hören Sie auf, wie jede neue Initiative einen neuen Data-Lake zu erstellen. Denken Sie stattdessen an einen gemeinsamen Lake, auf den jedes Projekt zugreift. Daten Ihres Vertriebsteams, Ihres Finanzteams, Ihres Engineering-Teams. Alles liegt am selben Ort. Sie sehen nur jeweils unterschiedliche Teile davon. Für Power BI-Benutzer lesen Berichte direkt aus OneLake. Kein separater Import, keine duplizierten semantischen Modelle. Die Daten sind aktuell, weil es dieselben Daten sind, mit denen die Dateningenieure arbeiten. Für Dateningenieure bedeutet das weniger Pipelines zum Erstellen, Warten und Debuggen. Sie legen die Daten einmal ab. Alle anderen referenzieren Sie nur. Das Fazit ist, OneLake ist nicht einfach nur ein weiterer Data-Lake. Es ist das Fundament des Fabrik von allen bisher Dagewesenen unterscheidet. Das ist der Grund, warum Sie aufhören können, Daten zu kopieren und anfangen können, Ihnen zu vertrauen. Das war's also. OneLake ist der zentrale Data-Lake Ihres Unternehmens, basierend auf dem Prinzip der Einkopie. Eine physische Kopie der Daten, zugänglich für jedes Tool, jedes Team, jeden Workload. Keine Duplikate mehr, keine Verwirrung mehr darüber, welche Version korrekt ist. Ihre Hausaufgabe ist einfach. Beginnen Sie mit einer Verknüpfung von einer externen Quelle oder spiegeln Sie eine Datenbank. Erleben Sie, wie einfach es wird, wenn Sie keine Pipelines mehr bauen müssen, nur um Daten zu verschieben. Die meisten Unternehmen werden diesen Wandel nicht scheinvollziehen. Seien Sie die Ausnahme. Wenn diese Episode Ihnen geholfen hat, OneLake zu verstehen, abonnieren Sie Microsoft Knowledge Nuggets für weitere Fabrik-Inhalte in verständlicher Sprache. Und teilen Sie dies mit jemandem, der immer noch fünf separate Data-Lakes verweist. Wir werden es Ihnen später danken.