Het bronze-silver-gold-model in Microsoft Fabric onder de knie krijgen

By Mirko Peters · 2026-08-28

Welkom terug op de blog! Als je onze podcastreeks al volgt, weet je hoe graag we op zoek gaan naar manieren om datamanagement te stroomlijnen, silo's op te heffen en echte inzichten uit bedrijfsdata te halen. Vandaag duiken we diep in het structureren van je datapijplijnen met de medallion-architectuur binnen Microsoft Fabric. We kijken concreet naar hoe ruwe data van de bronze-laag naar de silver

Automatically translated with AI from the original post. Read the English original

Cover: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric

Wanneer organisaties voor het eerst de cloud in gaan voor analyses, maken ze vaak de fout alles in één chaotische opslagbak te dumpen. Zonder een duidelijk pad voor de rijping van data worstelen teams met kwaliteitsproblemen, tegenstrijdige cijfers en compliance-hoofdpijn. Hier komt de medallion-architectuur te hulp. Door een duidelijke progressie door de bronze-, silver- en gold-lagen vast te leggen, bouw je een betrouwbare basis die chaotische input omzet in bedrijfsklare assets. Laten we stap voor stap bekijken hoe dit werkt binnen het Microsoft Fabric-ecosysteem.

Voordat we diep ingaan op de technische opzet, raad ik je sterk aan onze bijbehorende podcastaflevering te bekijken: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric. In die aflevering behandelen we precies deze patronen, bespreken we hoe OneLake alles met elkaar verbindt en verkennen we praktijkstrategieën om datagovernance en AI-workflows te verenigen.

Introductie van de medallion-architectuur in Microsoft Fabric

De medallion-architectuur is een datontwerppatroon dat data in een data lake logisch organiseert, met als doel de structuur en kwaliteit van data stapsgewijs te verbeteren naarmate die door elke laag van de pijplijn stroomt. In Microsoft Fabric wordt deze architectuur native ondersteund door OneLake, opslag in het Delta Lake-formaat en krachtige rekenengines zoals Spark en Data Factory.

Waarom zouden we pijplijnen op deze manier structureren? In veel bedrijven komt ruwe data binnen in talloze formaten: JSON-bestanden van API's, CSV's van legacy-systemen, streaming telemetrie van IoT-apparaten en transactionele records uit databases. Als je deze ruwe brei rechtstreeks probeert te bevragen, worden je dashboards traag, raken je zakelijke gebruikers in de war van rommelige kolomnamen en besteden je data engineers al hun tijd aan het repareren van kapotte rapporten in plaats van zakelijke waarde te leveren.

Door een progressie van bronze naar silver naar gold af te dwingen, creëer je duidelijke verantwoordelijkheidsgrenzen:

Bronze-laag: Ruwe data opnemen en bewaren als de ruwe waarheid.
Silver-laag: Opschonen, transformeren en integreren in gestructureerde tabellen.
Gold-laag: Aggregeren, optimaliseren en bedrijfsklare analyses leveren.

Laten we elk van deze lagen in detail bekijken om te zien hoe ze werken in een moderne Microsoft Fabric-omgeving.

De bronze-laag begrijpen: ruwe data opnemen

De bronze-laag, vaak de raw- of landingslaag genoemd, is het eerste station voor alle data die je Microsoft Fabric-ecosysteem binnenkomt. Het primaire doel is eenvoudig maar cruciaal: de data zo snel mogelijk vastleggen in het oorspronkelijke, onbewerkte formaat en veilig opslaan.

Bij het ontwerpen van je bronze-laag moet je de neiging weerstaan om bedrijfslogica toe te passen, typefouten te corrigeren of kolommen weg te laten. Waarom? Omdat je, als een downstream-transformatiescript per ongeluk data beschadigt of een veld verwijdert dat compliance later nodig heeft, een onberispelijke, ongewijzigde historische registratie nodig hebt om op terug te vallen. De bronze-laag fungeert als je onveranderlijke audittrail.

Binnen Microsoft Fabric land je deze data meestal in OneLake via datapijplijnen, kopieeractiviteiten of realtime gebeurtenisstromen. Of je nu data ophaalt uit Dynamics 365, Azure SQL-databases, Salesforce of externe S3-buckets, Fabric maakt native opname moeiteloos. Data wordt opgeslagen in open-source formaten zoals Delta Parquet, dat direct out of the box ACID-transacties en snelle queryverwerking biedt.

Belangrijkste praktijken voor een gezonde bronze-laag zijn onder meer:

Operaties uitsluitend toevoegen: Werk nooit records bij en verwijder ze nooit in de bronzen laag. Voeg altijd nieuwe bestanden of rijen toe met ingestietijdstempels.
Schema-on-read: Laat semigestructureerde gegevens (zoals geneste JSON-payloads) zonder strikte schemacontrole binnenkomen, zodat je inkomende records niet kwijtraakt door kleine wijzigingen in de bron.
Metadata bijhouden: Voeg tijdens de ingestie metadatakolommen toe, zoals de naam van het bronsysteem, het ingestietijdstempel en het batch-ID, zodat je vanaf dag één de volledige datalineage behoudt.

Gegevens verfijnen in de zilveren laag: opschonen en transformeren

Zodra je gegevens veilig in de bronzen laag staan, is het tijd om ze naar de zilveren laag te verplaatsen. Hier gebeurt het zware werk van data engineering. De zilveren laag neemt de ruwe, rommelige invoer en transformeert die naar opgeschoonde, gevalideerde en met de onderneming conforme datasets.

In de zilveren laag ga je van schema-on-read naar schema-on-write. Hier pas je bedrijfsregels toe om de gegevensintegriteit te waarborgen. Veelvoorkomende transformaties in de zilveren laag zijn:

Deduplicatie: Dubbele gebeurtenisrecords of overbodige klantgegevens identificeren en verwijderen.
Ontbrekende waarden afhandelen: Standaardwaarden invullen, afwijkende null-waarden markeren of ongeldige records verwijderen op basis van datagovernanceregels.
Standaardisatie: Datumformaten normaliseren, landcodes standaardiseren, valutawaarden omrekenen naar een basisvaluta en teksthoofdletters opschonen.
Afdwingen van gegevenstypen: Tekstweergaven van getallen en datums omzetten naar de juiste gehele getallen, drijvendekommagetallen en tijdstempels.
Samenvoegen en verrijken: Ruwe operationele tabellen combineren met referentiegegevens om geünificeerde entiteiten te maken, bijvoorbeeld door transactielogboeken van klanten samen te voegen met de stamgegevens van klanten.

In Microsoft Fabric gebruiken data engineers meestal notebooks met Spark of SQL-eindpunten binnen een Fabric Lakehouse om deze transformatiepipelines te bouwen. Door zilveren tabellen als Delta-tabellen op te slaan, krijg je de voordelen van time travel, efficiënte partitionering en snelle incrementele updates. Zodra gegevens de zilveren laag bereiken, zijn ze opgeschoond, gestructureerd en klaar om gespecialiseerde afdelingsanalyses aan te drijven of machine learning-modellen te voeden.

De goudlaag bouwen: bedrijfsklare analyses leveren

We hebben ruwe gegevens opgenomen in de bronzen laag en ze in de zilveren laag opgeschoond en gestandaardiseerd. Nu komt het spannendste deel: de goudlaag bouwen. De goudlaag, vaak de servinglaag of presentatielaag genoemd, is de plek waar gegevens specifiek worden vormgegeven om bedrijfsvragen te beantwoorden en strategische beslissingen te sturen.

Anders dan de gedetailleerde, sterk genormaliseerde tabellen in de zilveren laag, worden tabellen in de goudlaag meestal gemodelleerd in dimensionale schema's (sterschema's) met goed gedefinieerde feit- en dimensietabellen. Hier bereken je kerncijfers (KPI's), maandelijkse terugkerende omzet, klantverloopcijfers, voorraadomloopsnelheid en andere essentiële bedrijfsmetrieken.

Omdat de goudlaag is geoptimaliseerd voor gebruik, draait alles om prestaties. In Microsoft Fabric kun je je goudtabellen rechtstreeks beschikbaar maken via een Power BI-semantisch model of een SQL-eindpunt. Zakelijke analisten en self-serviegebruikers kunnen verbinding maken met deze samengestelde datasets zonder de onderliggende tabelkoppelingen of datatransformatielogica te hoeven begrijpen.

Houd deze principes in gedachten om de waarde van je goudlaag te maximaliseren:

Zakelijke terminologie: Hernoem technische kolomnamen (zoals `cust_id_fk_02`) naar duidelijke zakelijke termen (zoals `Customer ID`).
Vooraf geaggregeerde metrieken: Maak samenvattingstabellen voor zware historische rapporten, zodat dashboards in milliseconden in plaats van minuten laden.
Afstemming op de strategie: Zorg dat elke tabel en elke metriek in de goudlaag rechtstreeks aansluit op een zakelijke doelstelling of rapportagevereiste.

Security en governance borgen in je hele pipeline

Een strakke bronzen-zilveren-goudpipeline bouwen is maar de helft van het werk. Terwijl gegevens door deze lagen stromen, moet je ervoor zorgen dat gevoelige informatie beschermd blijft, dat aan compliance-eisen wordt voldaan en dat onbevoegde gebruikers buiten de deur blijven. Gelukkig is Microsoft Fabric van oorsprong met enterprise-beveiliging diep geïntegreerd in de architectuur.

Governance in Fabric wordt geüniformeerd via Microsoft Purview. Naarmate je data van bronze naar silver naar gold gaat, kun je de volledige datalineage volgen. Als een auditor wil weten waar een bepaald omzetcijfer op een management-dashboard vandaan komt, toont je lineage-grafiek precies de pipeline-run, het silver-transformatienotebook en het ruwe bronze-bestand waaruit het is voortgekomen.

Toegangsbeheer verloopt naadloos via Microsoft Entra ID. Je kunt row-level security (RLS) en column-level security toepassen op de gold-laag, zodat regionale salesmanagers alleen data zien die bij hun eigen regio's hoort. Daarnaast regelt Fabric automatisch de versleuteling van data in rust en tijdens transport. Tools zoals Data Loss Prevention (DLP) en vertrouwelijkheidslabels voorkomen bovendien het per ongeluk exporteren van vertrouwelijke organisatiedata.

Door beveiliging en governance in elke laag van je medallion-architectuur in te bouwen, voorkom je de risico's van data-wildgroei en creëer je een omgeving waarin je gebruikers volledig op elkaar kunnen vertrouwen.

Praktische voordelen en ROI van gestructureerde datapipelines

De bronze-silver-gold-architectuur in Microsoft Fabric toepassen is niet alleen een best practice voor de architectuur; het is ook een grote drijfveer voor bedrijfswaarde en rendement op investering. Organisaties die wegtrekken van chaotische, ongestructureerde datalocaties en overstappen op een beheerde medallion-pipeline zien aanzienlijke verbeteringen in hun operationele processen.

Ten eerste schiet de productiviteit van data-engineering omhoog. In plaats van voor elke nieuwe rapportagevraag een op maat gemaakt, kwetsbaar script te schrijven, bouwen engineers herbruikbare transformatiepipelines die schone data omhoog door de lagen leveren. Onderzoek naar de adoptie van Microsoft Fabric laat zien dat organisaties een productiviteitsstijging van data-engineers tot 25% realiseren en miljoenen aan analistentijd besparen, omdat data makkelijker te vinden, te vertrouwen en te bevragen is.

Ten tweede wordt self-service analytics eindelijk werkelijkheid. Wanneer zakelijke gebruikers toegang krijgen tot samengestelde gold-datasets met duidelijke naamgeving en betrouwbare cijfers, stoppen ze met het maken van wildgroei aan spreadsheets en gaan ze vertrouwen op de officiële Power BI-dashboards. Deze democratisering van data bevordert een cultuur van samenwerking en versnelt de besluitvormingscycli aanzienlijk.

Tot slot zorgt de schaalbaarheid van een cloud-native architectuur ervoor dat je dataomgeving meegroeit met je bedrijf, zonder dat je ingrijpende herinrichting nodig hebt. Of je nu gigabytes of petabytes aan data verwerkt, Microsoft Fabric beheert de onderliggende rekenkracht soepel en kosteneffectief.

De bronze-silver-gold-architectuur in Microsoft Fabric beheersen is dé manier om orde te scheppen in je dataomgeving. Door data bewust te laten stromen van ruwe inname naar opgeschoonde verfijning en uiteindelijk naar een presentatie die klaar is voor de business, ontgrendel je het volledige potentieel van de informatiebronnen van je organisatie. Wil je meer expertinzichten, architectuuranalyses en praktische tips over dit ecosysteem? Luister dan zeker naar onze volledige aflevering, Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric!

🎧 Luister naar deze aflevering

Wil je een praktische uitleg over Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric? In deze aflevering wordt het onderwerp helder uitgelegd en wordt getoond waarom het ertoe doet voor Microsoft 365, Azure, Power Platform, beveiliging, AI en modern werken.

Luister naar deze aflevering als je:

De kernconcepten achter Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric wilt begrijpen
wilt zien hoe het past in het bredere Microsoft-technologieecosysteem
wilt leren waar het praktische waarde kan opleveren voor je organisatie

Misschien vind je deze gerelateerde M365 FM-afleveringen ook interessant:

Ontdek meer praktische Microsoft-gesprekken op M365 FM.