Microsoft Fabric Notebooks en Lakehouse

By Mirko Peters · 2025-11-21 · Updated 2026-07-22

Bouw workflows voor datatransformatie en machine learning met Microsoft Fabric-notebooks en het lakehouse voor schaalbare analyses.

Automatically translated with AI from the original post. Read the English original

Traditionele ETL-workflows kunnen traag zijn. Ze bevatten veel handmatige stappen en vragen veel onderhoud. Dit zijn enkele veelvoorkomende problemen:

Als je notebooks gebruikt voor datatransformatie, heb je één centrale plek voor je data. Het Bronze-Silver-Gold-patroon met Spark en Lakehouse verbetert de kwaliteit van je data. Het helpt je ook om bij te houden waar je data vandaan komt. Je krijgt duidelijke feedback en kunt samenwerken met je team. Zo blijft iedereen op één lijn.

Belangrijkste punten

• Gebruik Fabric-notebooks voor datatransformatie om het werk samen te houden. Zo zie je wijzigingen en kun je samenwerken met je team.

• Volg het Bronze-Silver-Gold-patroon om je data te ordenen. Zo blijven ruwe gegevens veilig. Het helpt je ook om data op te schonen en klaar te maken voor analyse.

• Automatiseer je workflows om tijd te besparen en fouten te voorkomen. Tools zoals dbt Cloud en Prefect helpen je om je datastappen te plannen en te bewaken.

• Gebruik Git voor versiebeheer in je notebooks. Zo zie je wijzigingen, kun je met anderen samenwerken en terugkeren naar oudere versies wanneer nodig.

• Houd data veilig met sterke toegangscontroles. Gebruik beveiliging op rij- en kolomniveau om privégegevens te beschermen en te bepalen wie ze kan zien of wijzigen.

Waarom overstappen naar code-first datatransformatie

Uitdagingen van traditionele ETL-workflows

Misschien heb je Power Query, Excel of scripts gebruikt voor datatransformatie. Deze tools kunnen problemen veroorzaken zodra je data groeit. Je ziet mogelijk bestanden met namen als "final_v2_REAL.xlsx" en weet niet welk bestand klopt. Handmatig werk maakt het moeilijk om te zien wat er is veranderd. Pipelines kunnen breken als de data wijzigt. Het oplossen van deze problemen kost veel tijd en moeite.

Als je veel verschillende tools gebruikt, raak je snel kwijt waar je data vandaan komt. Ook kun je fouten maken die lastig te ontdekken zijn.

Voordelen van Fabric-notebooks en Lakehouse

Fabric-notebooks en het Lakehouse helpen je om datatransformatie beter aan te pakken. Je schrijft je code op één plek. Met Git houd je elke wijziging bij. Zo kun je je werk eenvoudig controleren en opnieuw uitvoeren. Je kunt werken met miljoenen rijen zonder data naar andere tools te verplaatsen.

Hier is het verschil tussen code-first notebooks met Git-ondersteuning en oudere ETL-tools:

Je kunt bedrijfsregels op één plek vastleggen. Teams kunnen deze regels gebruiken in dashboards en rapporten. Zo voorkom je fouten en blijft iedereen samenwerken. Het helpt ook je team om data veilig te verkennen.

• Met code-first lagen kun je:

  • Elke stap in je pipeline bijhouden.

  • Dezelfde logica in meerdere projecten gebruiken.

  • Meegroeien met je data.

Mindset-verandering: notebooks als transformatielaag

Zie notebooks als de belangrijkste plek voor datatransformatie. Notebooks zijn je enige bron van waarheid. Je kunt je werk controleren, testen en delen. Met parameters schakel je tussen testen en productiegebruik. Zo heb je meer controle en kun je je data vertrouwen.

Zie je notebook als het plan voor je data. Je ziet dan wat er bij elke stap gebeurt.

Het Bronze-Silver-Gold-patroon voor datatransformatie

Het Bronze-Silver-Gold-patroon helpt je om je datatransformatieproces te organiseren. Je verplaatst data door drie duidelijke fasen. Elke fase heeft een eigen taak. Dit patroon maakt je datapipeline beter beheersbaar en betrouwbaarder.

Bronze: ruwe data-inname

Je begint met de Bronze-laag. Hier haal je ruwe data uit verschillende bronnen binnen. Je wijzigt de data nog niet. Je verzamelt hem alleen en slaat hem veilig op. Deze stap bewaart je oorspronkelijke data voor later gebruik.

Je kunt verschillende methoden om gegevens te laden gebruiken in de Bronze-laag. In onderstaande tabel staan enkele veelgebruikte manieren:

Dwing bij het laden van gegevens altijd een schema af. Zo vang je fouten vroeg op. Als je slechte rijen ziet, kun je ze in quarantaine plaatsen. Zo blijven je gegevens vanaf het begin schoon.

Tip: Bewaar altijd een kopie van je ruwe gegevens. Die heb je later misschien nodig om problemen op te lossen of je werk te controleren.

Silver: gegevens opschonen en conformeren

De Silver-laag is waar je je gegevens opschoont en standaardiseert. Je corrigeert fouten, verwijdert duplicaten en zorgt dat de gegevens voldoen aan je bedrijfsregels. Daarnaast voeg je tabellen samen en vul je zo nodig ontbrekende waarden aan.

In deze laag moet je:

• Controleren of elke kolom het juiste type heeft.

• Rijen die niet aan je regels voldoen verwijderen of corrigeren.

• Records dedupliceren, zodat je dingen niet twee keer telt.

• Langzaam wijzigende gegevens afhandelen, zoals klantadressen.

In je notebook gebruik je tools zoals PySpark of pandas. Zo kun je elke wijziging stap voor stap duidelijk beschrijven. Je kunt je werk testen en controleren of het klopt voordat je verder gaat.

Let op: gebruik canary-controles na elke grote stap. Controleer bijvoorbeeld het aantal rijen of kijk of er te veel lege waarden zijn. Zo signaleer je problemen vroeg.

Gold: feature engineering voor analyse en ML

De Gold-laag bereidt je gegevens voor op analyse en machine learning. Je maakt nieuwe features, zoals time lags of klantgroepen. Daarnaast bouw je tabellen die klaar zijn voor dashboards of modellen.

In deze laag moet je:

• Features ontwikkelen die je bedrijf helpen vragen te beantwoorden.

• Tabellen partitioneren om query's sneller te maken.

• Delta-tabellen gebruiken, zodat je wijzigingen kunt volgen en indien nodig kunt terugdraaien.

Schrijf gegevens altijd idempotent. Dat betekent dat je je pipeline vele keren kunt uitvoeren zonder fouten of dubbele tellingen. Je kunt Delta-snapshots gebruiken om versies van je tabellen op te slaan. Als er iets misgaat, kun je teruggaan naar een veilige kopie.

Let op: in de Gold-laag wordt je data het waardevolst. Neem er extra de tijd voor om je werk te controleren en het betrouwbaar te houden.

Met het Bronze-Silver-Gold-patroon bouw je een sterke datatransformatiepipeline. Je houdt je gegevens veilig, schoon en klaar voor elk analyse- of machine learning-project.

Data-transformatie orkestreren met notebooks en Spark

Delta-tabellen lezen en schrijven

Je kunt Spark in Fabric-notebooks gebruiken om met Delta-tabellen te werken. Zo verwerk je miljoenen rijen heel snel. Je hoeft gegevens niet te verplaatsen of dingen handmatig te repareren. Als je de Native Execution Engine inschakelt, kunnen je taken tot vijf keer sneller draaien. Je kunt instellingen aanpassen zoals spark.sql.files.maxPartitionBytes en spark.sql.shuffle.partitions, zodat ze passen bij de grootte van je gegevens. Auto Compaction helpt bij veel kleine schrijfacties. Het maakt je tabellen sneller te doorzoeken. Veel bedrijven zien ELT-cycli 30% sneller verlopen en query's 1,2 keer beter presteren door deze dingen te doen.

Tip: Delta-tabellen bewaren je gegevens in versies. Als je een fout maakt, kun je wijzigingen ongedaan maken.

Parameterisatie en omgevingsbeheer

Gebruik parameters in je notebooks. Zo kun je schakelen tussen testen en echt werk. Het helpt je fouten te vermijden en je gegevens veilig te houden. Maak een plan om testgegevens en echte gegevens gescheiden te houden. Je kunt ook een catalogusplan gebruiken om je metadata te ordenen en privéinformatie te beschermen. Zo wordt het makkelijker om te bepalen wie wat mag zien en om bedrijfsregels na te leven.

• Gebruik parameters voor:

  • Bestandspaden

  • Workspace-ID's

  • Feature flags

Let op: parameters zorgen ervoor dat je notebooks voor veel teams werken en veilig blijven.

Workflows automatiseren en plannen

Je kunt je notebooks instellen om zelfstandig volgens een schema te draaien. Zo hoef je stappen niet handmatig uit te voeren of CSV-bestanden te gebruiken. Tools zoals dbt Cloud, Meltano en Prefect helpen je je pipelines te bewaken en te beheersen. dbt Cloud is goed voor SQL-taken. Meltano is gratis en werkt met Git. Prefect gebruikt Python en heeft retries, caching en logs.

• Automatiseringstools helpen je:

  • Runs instellen

  • De status van pipelines bewaken

  • Minder handmatig werk doen

Als je je workflows automatiseert, maak je minder fouten en haal je meer waarde uit je data.

Governance, auditeerbaarheid en best practices

Git-integratie en code review

Git helpt je om elke wijziging in je notebooks bij te houden. Je ziet wie wijzigingen heeft aangebracht en wanneer. Probeer nieuwe ideeën uit in een branch voordat je ze aan het hoofdproject toevoegt. Met code review vinden je teamleden fouten vroegtijdig. Iedereen kan samenwerken zonder elkaars werk kwijt te raken. Als je iets verkeerd doet, kun je terug naar een veilige versie.

Tip: Gebruik altijd pull requests voor wijzigingen. Zo blijft je code veilig en is ze makkelijk te controleren.

Guardrails: schemacontroles en canary queries

Guardrails helpen je data veilig te houden. Schemacontroles zorgen ervoor dat je tabellen de juiste kolommen en types hebben. Canary queries controleren na elke stap op problemen. Ze kijken naar aantallen rijen, lege waarden en belangrijke getallen. Met deze controles vind je problemen voordat ze je dashboards bereiken.

• Controles kunnen ontbrekende of foutieve data meteen opsporen.

• Automatische oplossingen kunnen veelvoorkomende problemen oplossen op basis van eerdere antwoorden.

• Canary deployments testen risicovolle wijzigingen op een klein deel van je data.

Let op: controleer altijd je schema voordat je data naar de volgende stap verplaatst.

Beveiliging en toegangsbeheer

Met sterke beveiliging in Microsoft Fabric Lakehouse houd je je data veilig. OneLake Security laat je regels instellen voor wie data mag zien of wijzigen. Beveiliging op rij- en kolomniveau bepaalt wat iedere gebruiker kan bekijken. Met User Identity Mode of Delegated Identity Mode beheer je de toegang. Beveiligde shortcuts houden je brondata veilig, ook bij externe bronnen.

• Workspace outbound access protection blokkeert ongewenste verbindingen.

• Managed private endpoints laten je alleen vertrouwde externe resources toe.

• Inter-workspace connectivity laat je veilig data delen tussen workspaces.

Controleer altijd je toegangsinstellingen om je data veilig te houden.

Snelle winst en anti-patronen

Je kunt je pipeline verbeteren door:

• Eén pipeline om te zetten naar notebooks met Git-tracking.

• Schemacontroles en canary queries toe te voegen.

• Parameters te gebruiken voor alle paden en workspace-ID's.

• Voor elke wijziging pull requests te gebruiken.

Doe deze dingen niet:

• Notebook-pipelines combineren met handmatige Excel-correcties.

• CSV-bestanden terugschrijven en laden in Power BI.

• Geheimen of paden hard coderen.

• Eén enorm notebook gebruiken voor alles.

Kleine wijzigingen kunnen je datapipeline veiliger en makkelijker te gebruiken maken.

Power BI- en Machine Learning-integratie

Semantische modellen bouwen op Gold-tabellen

Gold-tabellen kunnen je helpen meer uit je data te halen. Je bouwt semantische modellen in Power BI om data te ordenen. Deze modellen maken analyse en rapportage eenvoudiger. Als je best practices toepast, zijn je modellen nuttiger en makkelijker te delen.

• Zie semantische modellen als producten. Geef elk model een duidelijke naam en doel.

• Bouw modellen met eenvoudige definities. Zorg dat iedereen weet wat elk veld betekent.

• Houd versies van modellen bij en schrijf wijzigingen op. Leg uit hoe je elk model gebruikt.

• Deel modellen met andere teams voor consistentie. Zo gebruikt iedereen dezelfde data en regels.

Tip: Goede notities en duidelijke betekenissen helpen mensen je modellen te vertrouwen en te gebruiken.

ML Feature Store en modeltraining

Een feature store helpt je om data voor machine learning overzichtelijk bij te houden. Je kunt features op één plek opslaan voor training en voorspellingen. Dit zorgt ervoor dat je modellen correct en betrouwbaar blijven. Feature stores voorkomen fouten doordat je dezelfde data gebruikt voor beide stappen. Ze laten zien waar features vandaan komen en hoe ze veranderen. Zo is het makkelijker om problemen op te lossen en werk opnieuw uit te voeren. Je kunt features delen en hergebruiken binnen je team. Dat bespaart tijd en zorgt ervoor dat iedereen betere resultaten haalt.

Verversing en modelimplementatie automatiseren

Je kunt de taakplanner in Microsoft Fabric gebruiken om data automatisch te verversen en modellen automatisch te implementeren. Met de planner stel je taken in die op bepaalde tijden worden uitgevoerd. Je kunt veel schema's beheren en koppelen aan je werkproces. Zo blijven je data en modellen up-to-date zonder handmatig werk. Automatisering helpt je om minder fouten te maken en houdt je workflow robuust.

Let op: Met automatisering besteed je meer tijd aan inzichten en beslissingen, en minder aan handmatig werk.

Je kunt je data met meer vertrouwen gebruiken wanneer je code-first werkt met Microsoft Fabric Notebooks en het Lakehouse. Het Bronze-Silver-Gold-patroon, goede regels en automatisering helpen je om analytics en machine learning uit te breiden. Begin met het verplaatsen van één pipeline en voeg controles toe om alles veilig te houden. Kijk daarna naar functies die echt helpen:

• Delta Live Tables laten pipelines zelfstandig draaien en besparen tijd.

• Liquid Clustering zorgt voor snellere query's en lagere kosten.

• AI-gestuurde monitoring helpt je om trage query's snel te vinden.

Voor je volgende stappen kun je hands-on labs proberen, deskundige video's bekijken of de DP-700-cursus afronden om meer te leren.

Veelgestelde vragen

Wat is het belangrijkste voordeel van Fabric Notebooks voor datatransformatie?

Je krijgt één plek om je datastappen te schrijven, te testen en bij te houden. Dit maakt je werk makkelijker te controleren en te herhalen. Je kunt ook met grote datasets werken zonder bestanden te verplaatsen.

Hoe helpt het Bronze-Silver-Gold-patroon mijn datapipeline?

Dit patroon helpt je om je data in duidelijke stappen te organiseren. Je bewaart ruwe data veilig, maakt je data schoon en maakt daarna features voor rapporten of modellen. Je kunt problemen sneller oplossen en vertrouwen op je resultaten.

Kan ik Git gebruiken met Fabric Notebooks?

Ja, je kunt je notebooks koppelen aan Git. Zo houd je wijzigingen bij, review je code en werk je samen met je team. Je kunt altijd teruggaan naar een oudere versie als dat nodig is.

Hoe houd ik mijn data veilig in het Lakehouse?

Je stelt regels in voor wie data mag zien of wijzigen. Je gebruikt beveiliging op rij- en kolomniveau. Je kunt ook beheerde eindpunten en werkruimtebeheer gebruiken om je data te beschermen.

Kan ik mijn data- en ML-workflows automatiseren?

Ja! Je kunt notebooks op vaste tijden laten draaien. Je kunt data ook automatisch verversen en modellen implementeren zonder handmatig werk. Dit bespaart tijd en vermindert fouten.

Luister ook naar deze afleveringen

Als je je verdiept in Microsoft Fabric-notebooks en lakehouses, geven deze afleveringen praktische context over Microsoft-dataplatforms, AI-architectuur, governance en automatisering.

• Azure AI Foundry – Simply Explained — Begrijp hoe enterprise-AI-oplossingen worden gebouwd en beheerd.
• Microsoft AI Agent Harness – Simply Explained — Ontdek betrouwbare orkestratie, evaluatie en observability.
• Microsoft Teams Governance – Simply Explained — Zie hoe regels voor levenscyclus en eigenaarschap samenwerking beheersbaar houden.

Deze afleveringen helpen om het onderwerp van het artikel te koppelen aan praktische architectuur- en uitrolbeslissingen.