Het onderwerp van vandaag is iets waar bijna iedereen die met data werkt wel eens van heeft gehoord, maar wat weinig en echt begrijpen. Microsoft Fabric One Lake. Je hebt het waarschijnlijk gezien in de marketing van Microsoft of iemand horen zeggen dat het de uniforme data lake voor je hele organisatie is. Maar wat betekent dat eigenlijk? Is het zomaar een opslaglocatie of is het fundamenteel iets anders? Hier is de simpelste definitie. One Lake is één logische data lake die het middelpunt vormt van Microsoft Fabric. Elke Fabric Service, Lakehouse, Warehouse, Eventhouse en Powerbee slaat hier zijn data op. En de belangrijkste regel is simpel. Eén fysieke kopie van data die toegankelijk is voor vele verschillende engines. Geen data meer kopiëren van de ene naar de andere tool. Nooit meer afvragen welke versie van een rapport correct is. Aan het eind van deze aflevering begrijp je wat One Lake echt is, hoe het dataduplicatie elimineert en waarom het de boel verandert voor Powerbee, Data Engineering en AI. Laten we dus beginnen met het probleem dat One Lake moest oplossen. Het probleem. Elke afdeling heeft zijn eigen lake. Stel je voor dat je bij een middelgrootbedrijf werkt. Je verkoopteam gebruikt een CRM systeem om deals bij te houden. Je financiële team beheert het erp voor facturatie en declaraties. Je marketing team haalt data uit hun campagne tools. En je data engineering team beheert een data warehouse voor rapportages. Dus dit is waar ik je over na wil laten denken. Hoeveel kopieën van dezelfde klantdata bestaan er in deze systemen? Bij de meeste bedrijven is het antwoord 4 of 5. Het CRM slaat het op. Het erp slaat het op. Marketing exporteert het naar hun analyse tool. Iemand van financiën maakt een spreadsheet vanuit het erp. En het data engineering team kopieert het naar het warehouse zodat Powerbee het kan lezen. Dat is hetzelfde klant idee, hetzelfde verkoopbedrag, dezelfde factuurdatum die op vijf verschillende plekken staat. Dit is niet omdat mensen onvoorzichtig zijn. Het is omdat de oude tools niet met elkaar konden praten. Als je een rapport wilde draaien dat verkoopdata uit het CRM combineerde met financiële data uit het erp, moest je beide kopiëren naar iets dat ze samen kon lezen. Dat betekende pipelines bouwen, jobs inplannen en hopen dat er s'nachts niets kapot ging. De verborgen kosten lopen snel op. Opslagrekeningen groeien omdat je vijf keer voor dezelfde data betaalt. Rapportages verouderen omdat de ene kopie wel wordt bijgewerkt en de andere niet. En dan stelt iemand een vraag die niemand wil beantwoorden. Welke versie is de juiste? Die verwarring tast het vertrouwen in data aan. En zodra het vertrouwen weg is, stoppen mensen volledig met het gebruik van het analyseplatform. Microsoft bekeek deze puinhoop en stelde een simpele vraag. Wat als je één kopie van je data zou hebben die elk hulpprogramma kan lezen? Geen dubbele bestanden, geen verwarring, één bron van waarheid. Wat is One Lake precies? One Lake is het antwoord van Microsoft op die vraag. Het is één enkel logisch data meer voor je gehele organisatie. De belangrijkste uitdrukking om te onthouden is één lake per tenant, niet één lake per team. Onder de motorkap is One Lake gebouwd op Azure Data Lake Storage Gen 2. Dezelfde technologie, dezelfde APIs, maar Microsoft heeft het verpakt als een volledig beheerde SaaS-dienst. Je maakt geen opslagaccounts aan, je beheert geen containers, je stelt geen toegangssleutels in, je gebruikt het gewoon. Zie het als OneDrive voor de data van je bedrijf. OneDrive geeft je één plek voor je persoonlijke bestanden, documenten, foto's en spreadsheets. Je denkt niet na over waar ze fysiek zijn opgeslagen, je opent ze gewoon en werkt ermee. One Lake doet hetzelfde, maar dan voor de data van je organisatie. Het geeft elk team, elk project en elke workload één gedeelde opslagpool. Nu is er een belangrijk onderscheid. One Lake is logisch, niet fysiek. Onder de motorkap kan het meerdere opslagaccounts in verschillende regio's beslaan, maar voor jou ziet het eruit als één gigantische pool. Het maakt je niet uit welke server de bestanden bevat, je ziet gewoon je data. Elke Fabric dienst slaat zijn data hierop. Wanneer je een lakehouse maakt, leeft de data in One Lake. Wanneer je een warehouse bouwt, leven de tabellen in One Lake. Wanneer je een Power BI rapport uitvoert en de direct lake modus gebruikt, lees dit rechtstreeks vanuit One Lake. Zelfs Event House, de Realtime Analytics Store, kan zijn data in One Lake ontsluiten. Alles wijst naar dezelfde plek en het standaard dataformaat is Delta Parquet. Dat is een open formaat, geen Microsoft Login. Databricks gebruikt het, Spark Engines lezen het. Hulpmiddelen zoals Pandas en Polars kunnen ermee werken. Je data zit dus niet opgesloten in de wereld van Microsoft. Het is open en draagbaar, maar de echte magie is niet de opslag, maar hoe One Lake de noodzaak om data te kopiëren wegneemt. Het principe van één kopie. Dit is het kernidee dat One Lake anders maakt dan alles wat hier voorkwam. Het heet het principe van één kopie en het is simpel. Eén fysieke kopie van data, toegankelijk voor veel verschillende engines. Laat me je laten zien wat dat betekent. Stel dat je een tabel met verkoopgegevens in One Lake hebt staan. Een data engineer voert een Spark notebook uit om deze op te schonen. Een business analyst schrijft een TSQL query om deze te aggregeren. En een Power BI rapport leest het voor een dashboard. Alle drie gebeuren tegelijkertijd. Alle drie lezen hetzelfde bestand. Niemand heeft iets gekopieerd. In de oude wereld gebeurde dat nooit. Je kopieerde gegevens van het data leek naar een warehouse. Daarna kopieerde je het van het warehouse naar een semantisch model. Vervolgens verf erste je het rapport. Dat zijn drie kopieën van dezelfde gegevens. Elk neemt tijd en opslagruimte in beslag. En als een stap mislukte, klopte je cijfers niet. Eén kopie elimineert dat allemaal. De data staat één keer in One Lake. De engines Spark, SQL, Power BI lezen het allemaal direct. Geen verplaatsing. Geen duplicatie. Geen synchronisatie problemen. De kostenbesparingen zijn reëel. Minder opslag omdat je niet vijf keer voor dezelfde data betaalt. Minder ETL omdat je geen pijplijnen bouwt om data tussen tools te verplaatsen. Minder beheer omdat er niets kapot kan gaan tussen kopieën. En het voordeel van de actualiteit is enorm. Eén kopie betekent één bron van waarheid. Wanneer de data wordt bijgewerkt, ziet elk rapport de update direct. Niet meer vragen? Gebruikt dit rapport data van vorige week of deze week? Het is overal altijd dezelfde data. Nu denk je misschien, is dit niet gewoon Azure Data Lake Storage? Niet precies. ADLS is een paasdienst. Je maakt opslagaccounts aan. Je beheert containers. Je stelt toegangsleutels in. Je bepaalt welke regio wat bevat. Het is flexibel, maar het is ook werk. One Lake is een SaaS-dienst. Je maakt geen opslagaccounts aan. Je beheert geen containers. Je gebruikt het gewoon. De onderliggende infrastructuur wordt voor je geregeld. Eén kopie is geweldig voor data die in Fabric leeft. Maar hoe zit het met data die ergens anders staat? Shortcuts. Laat de data staan waar deze staat. Dus hier komen shortcuts van pas. Een shortcut is een virtuele verwijzing. Denk eraan als een symbolische link voor je data lake. En het laat je toe data te benaderen die fysiek buiten One Lake staat, zonder deze te verplaatsen of te kopiëren. Dit is hoe het werkt. Je maakt een shortcut aan in een lakehouse of een warehouse. En die shortcut wijst naar een bestand of map ergens anders. Dit kan in een Azure Data Lake Storage account zijn, een Amazon S3 Bucket, Google Cloud Storage of zelfs een andere Fabric werkruimte. De data blijft waar deze is, maar vanuit Fabric lijkt het alsof het direct in One Lake staat. Laat me een echt scenario geven. Je verkoopteam voert al jaren hun analytics uit op AWS. Dus al hun data staat in S3 Buckets. Je financiële team gebruikt Fabric en PowerBee en zij moeten verkoopdata combineren met financiële data. In de oude wereld exporteerde je alles uit S3, uploadde je het naar Azure, bouwde je een pipeline voor de synchronisatie en hoopte je dat er niets stuk ging. Met snelkoppelingen maak je een link vanuit je lakehouse naar de S3 Bucket. De data blijft in AWS, maar Finance kan het in PowerBee bevragen alsof het in One Lake staat. Geen export, geen upload, geen pipeline om je zorgen over te maken. Snelkoppelingen werken ook intern. Als een team een beheerde dataset in een workspace heeft, kan een ander team er een snelkoppeling naar maken. Geen kopiëren, geen duplicatie. De data blijft in de originele workspace en de rest verwijst er alleen maar naar. Er is één beperking die je moet begrijpen. Snelkoppelingen kopiëren geen data, dus de queryprestaties hangen af van de snelheid van het bronsysteem. Als je een snelkoppeling maakt naar een S3 Bucket aan de andere kant van de wereld, zijn je queries trager dan wanneer de data lokaal zou zijn. Overweeg voor veel gebruikte data om deze in plaats daarvan te spiegelen, mirroring. En dat brengt ons bij ons volgende onderwerp, mirroring. Automatisch databasegegevens ophalen. Snelkoppelingen zijn uitstekend voor externe bestandsopslag, maar hoe zit het met je bestaande databases? Degene die je ERP, je CRM en je operationele applicaties draaien. Dat is waar mirroring om de hoek komt kijken. Mirroring is een manier om databasegegevens bijna in realtime naar OneLake te krijgen zonder een enkele pipeline te bouwen. Je koppelt fabric aan je database en het regelt de rest door een automatische incrementele kopie van de data in Delta Parquet-formaat in OneLake te maken, die up-to-date blijft bij wijzigingen in de bron. Ondersteunde bronnen zijn onder andere Azure SQL Database, On-Premises SQL Server, Cosmos DB en andere, waarbij Microsoft er in de loop van de tijd meer toevoegt. Maar het meest voorkomende scenario is je bedrijfscritische database, die waarop je ERP of je kernapplicatie draait. Dit is hoe het werkt. Je schakelt mirroring in op een database en Fabric leest de wijzigingen inserts, updates, deletes en repliceert die wijzigingen naar OneLake. De eerste synchronisatie kopieert de volledige dataset. Daarna is het incrementeel en worden alleen de gewijzigde rijen verplaatst. De data komt aan in Delta Parquet-formaat, klaar om door elke Fabric-engine bevraagd te worden. Dit is het belangrijkste verschil met snelkoppelingen. Snelkoppelingen kopiëren geen data, ze verwijzen ernaar. Mirroring kopieert de data echt, waardoor de data fysiek in OneLake staat en de queryprestaties snel zijn, ongeacht hoe traag de bron-database is. Het nadeel is dat je een kopie opslaat, maar het voordeel is real-time toegang zonder pipelines te bouwen, planningen te beheren of onderhoud te hoeven doen. Laat ik je een concreet voorbeeld geven. Je bedrijf draait een ERP op SQL Server met al je financiële data, facturen, betalingen en grootboeken. In de oude wereld bouwde je een ETL-taak die elke nacht draaide om data te extraheren, transformeren en laden in een datenwarehouse. Die taak liep vast, iemand moest hem repareren en de data was altijd minstens een dag oud. Met mirroring schakel je het één keer in en repliceert Fabric de data continu naar OneLake. Je Power BI-rapporten lezen rechtstreeks uit OneLake en zien data die minuten oud is, geen uren of dagen, zonder dat je de pijplijn aanraakt. Nu heb je data in OneLake via snelkoppelingen, mirroring en directe uploads. Hoe gebruik je dit nu echt? OneLake en de drie gegevensopslagplaatsen OneLake is de opslaglaag, de plek waar al je bestanden staan. Maar het punt is, je werkt niet rechtstreeks met OneLake zelf. Je werkt ermee via zogenaamde datastores, interfaces die verschillende manieren bieden om met dezelfde onderliggende data te werken. Er zijn drie belangrijke datastores in Fabric, Lakehouse, Warehouse en Eventhouse. Ze slaan hun data allemaal op in hetzelfde OneLake, maar elk dient een ander doel. Laten we beginnen met Lakehouse, de flexibele datastore die bestanden zoals CSV, JSON en afbeeldingen accepteert, naast Delta-tabellen. Je gebruikt het voor data engineering, machine learning of het landen van ruwe data uit bronsystemen. Het is een werkbank waar je data op schoont, transformeert en voorbereidt. Als je een medaillenarchitectuur met bronzen, zilver en gold la gebouwt, gebeurt dat in het Lakehouse. Je hebt er toegang toe via Spark Notebooks of via het SQL-analyse-eindpunt voor alleen lezen queries. Vervolgens is er Warehouse, de gestructureerde datastore. Het biedt volledige TSQL-lees- en schrijfondersteuning, zodat je tabellen, views, opgeslagen procedures en functies kunt maken en insert, update- en delete-statements kunt draaien. Het voelt als een traditionele SQL-server database omdat het is ontworpen voor mensen die in SQL denken. Gebruik Warehouse wanneer je b-rapporten bouwt, complexe aggregaties uitvoert of migreert vanaf een bestaand data warehouse. Zie het als de gouden laag voor bedrijfsrapportage. Dan is er Eventhouse, de real-time datastore gebouwd op de Kusto Engine, dezelfde technologie achter Azure Data Explorer. Het verwerkt streaming data, logs, IoT-telemetrie en clickstreams, alles wat snel binnenkomt en direct opgevraagd moet worden. Je bevraagt het met KQL, de Kusto Query Language. En wanneer je OneLake-beschikbaarheid inschakelt, worden die eventgegevens toegankelijk voor Lakehouse en Warehouse als Delta-tabellen. Dus, dit is wat je moet begrijpen. Alle drie slaan ze hun gegevens op in dezelfde OneLake. Een tabel die in een Lakehouse is gemaakt, kan door een Warehouse Query worden gelezen. Een tabel in een Warehouse kan worden benaderd vanuit een Spark Notebook. Gegevens die in een Eventhouse worden opgenomen, kunnen als Delta-tabellen worden getoond voor PowerBee. Het zijn geen afzonderlijke databases, het zijn verschillende weergaven van hetzelfde DataLake. Veel mensen begrijpen dit verkeerd. Ze denken dat Lakehouse, Warehouse en Eventhouse concurrerende producten zijn, maar dat zijn ze niet. Je gebruikt ze eigenlijk alle drie, omdat elk een ander probleem oplost. Lakehouse voor Data Engineering, Warehouse voor Bee, Eventhouse voor Real-time en ze delen allemaal dezelfde opslag. OneLake regelt de opslag en de datastores regelen de toegang. Maar wie mag wat zien? Beveiliging en Governance in OneLake Omdat al je data op één plek staat, wordt beveiliging eenvoudiger. Je beheert de toegang op één plek in plaats van in tien verschillende systemen. Geen rechten meer instellen in het CRM dan weer in het Warehouse en daarna weer in PowerBee. OneLake biedt je één enkel beveiligingsmodel voor alles. Op het hoogste niveau heb je werkruimterollen, beheerder, lid, bijdrager, lezer. Deze bepalen wie in een bepaalde werkruimte kan werken. Als iemand een lezer is, kunnen ze items zien, maar niet aanpassen. Als ze beheerder zijn, hebben ze overal controle over. Eenvoudig genoeg, maar je kunt nog verder gaan. Met OneLake beveiligingsrollen kun je toegang bepalen op mapniveau, tabelniveau, kolomniveau en zelfs rijniveau. Bijvoorbeeld, beveiliging op kolomniveau betekent dat je salarisinformatie voor iedereen behalve ouder kunt verbergen. Beveiliging op rijniveau betekent dat een verkoopmanager alleen gegevens van zijn eigen regio ziet. En het werkt op dezelfde manier in alle datastores omdat ze allemaal op dezelfde OneLake staan. Er is ook de OneLake catalogus, een centraal overzicht waar je alle data in alle werkruimte kunt zien. Je kunt gecertificeerde datasets vinden, zien wie de eigenaar is en governance vanaf één plek beheren. Het integreert met Microsoft Purview voor klassificatie, vertrouwelijkheidslabels en preventie van gegevensverlies. Dus, als je bepaalde data als vertrouwelijk of zeer beperkt moet markeren, kan dat op leekniveau en geldt het overal. En er is OneLake-diagnostiek die vastlegt wie wanneer wat heeft geopend. Dit is nuttig voor audits, compliance-controles en het beantwoorden van de vraag, wie heeft deze data vorige week aangeraakt? Het logt elke lees- en schrijfbewerking en slaat die laks op als JSON-bestanden in een lakehouse. Je kunt ze analyseren met Spark, SQL of Powerbee. Het grote plaatje is dit één beveiligingsmodel voor al je data in plaats van losse regels voor elke tool beheren. Dat is een enorme vereenvoudiging voor elke organisatie. Praktische inzichten, wat dit voor jou betekent. Dus, wat betekent dit alles eigenlijk als je vandaag aan je fabricreis begint? Laten we het opsplitsen. Als je een nieuw data-platform bouwt, elimineert OneLake de noodzaak om complexe databewegingen te ontwerpen. Je hoeft niet te plannen hoe data stroomt van een lake naar een warehouse naar een semantisch model. Zet het gewoon in OneLake en elke tool leest vanaf daar. Eén OneLake, één kopie. Dat is de hele architectuur. Als je migreert vanuit een ouder systeem, laat de shortcuts en mirroring je data staan waar het staat, terwijl je workloads geleidelijk verplaatst. Geen grote migratie in één keer nodig. Wijs een shortcut naar je bestaande data lake, mirror je SQL-server database en begin fabric te gebruiken terwijl je oude systemen blijven draaien. Je beweegt in je eigen tempo. Dit is de mentaliteitsverandering. Stop met denken aan opslag per project. Stop met het maken van een nieuw data lake voor elk nieuw initiatief. Begin te denken aan één gedeeld lake waar elk project toegang toe heeft. De data van je verkoopteam, je financiële team, je engineering team. Het leeft allemaal op dezelfde plek. Ze zien alleen verschillende delen ervan. Voor Power BI gebruikers lezen rapporten direct uit OneLake. Geen aparte import, geen gedupliceerde semantische modellen. De data is actueel omdat het dezelfde data is als waar de data engineers mee werken. Voor data engineers betekent dit minder pipelines om te bouwen, te onderhouden en te debuggen. Je zet de data één keer neer. Iedereen anders verwijst er alleen naar. De kern van de zaak is dit. OneLake is niet zomaar weer een data lake. Het is het fundament dat Fabric anders maakt dan alles wat eraan vooraf ging. Het is de reden dat je kunt stoppen met het kopiëren van data en kunt beginnen met het vertrouwen ervan. Dus, daar heb je het. OneLake is het enige data lake van je organisatie, gebouwd op het één kopie-principe. Een fysieke kopie van data, toegankelijk voor elke tool, elk team en elke workload. Geen duplicatie meer, geen verwarring meer over welke versie correct is. Je huiswerk is simpel. Begin met een shortcut vanaf een externe bron of mirror een database. Zie hoe simpel het wordt als je geen pipelines hoeft te bouwen om data te verplaatsen. De meeste organisaties zullen deze overstap niet snel maken. Wees degene die dat wel doet. Als deze aflevering je hielp OneLake te begrijpen, abonneer je dan op Microsoft Knowledge Nuggets voor meer Fabric content in begrijpelijke taal. En deel dit met iemand die nog steeds vijf aparte data lakes beheert. Ze zullen je later dankbaar zijn. Ze zullen je de