Van codeklusser tot creatieve denker: mijn reis met Microsoft Copilot in Fabric
By Mirko Peters ·
Heb jij ooit wat voelde als een hele zomermiddag doorbrengen met het omzetten van een CSV-bestand? Ik wel, en het kostte me niet alleen tijd maar ook de nodige motivatie. Maar dat was voordat Microsoft Copilot in het gesprek kwam. In dit artikel vertel ik over het kronkelige, soms pijnlijke en soms verrassende pad dat ik heb afgelegd: van tegen routinematig dataengineeringwerk opzien tot opnieuw o
Automatically translated with AI from the original post. Read the English original
Heb jij ooit wat voelde als een hele zomermiddag doorbrengen met het omzetten van een CSV-bestand? Ik wel, en het kostte me niet alleen tijd maar ook de nodige motivatie. Maar dat was voordat Microsoft Copilot in het gesprek kwam. In dit artikel vertel ik over het kronkelige, soms pijnlijke en soms verrassende pad dat ik heb afgelegd: van tegen routinematig dataengineeringwerk opzien tot opnieuw ontdekken waarom ik ooit van bouwen met code hield. Dankzij een beetje AI-magie (en een paar lessen die ik op de harde manier heb geleerd).
Toen burn-out op automatisering stuitte: een waarschuwend verhaal
Vroeger verloor ik hele weekenden aan het converteren van CSV-bestanden. Echt waar. Mijn zaterdagen vervaagden tot een waas van foutmeldingen terwijl ik Spark-code debugde die niet mee wilde werken. Er stapelden zich koffiekopjes op terwijl de zon onderging, en dan besefte ik dat er weer een dag in het digitale niets was verdwenen.
Herkenbaar?
Het weekendopslokkende monster
Het omzetten van bestanden van CSV naar Delta Parquet-tabellen was mijn persoonlijke aartsvijand. Wat simpel had moeten zijn, werd een tijdverslindende zoektocht die je moreel uitputte. Ik begon op vrijdagavond met de gedachte: "Dit duurt hooguit een uur." Tegen zondagavond twijfelde ik aan mijn carrièrekeuzes.
Onderzoek bevestigt mijn ervaring: automatisering kan de tijd die routinetaken kosten met tot 40% terugbrengen. Maar die wetenschap hielp niet toen ik tot over mijn oren in de codefouten zat.
Scepsis: mijn standaardinstelling
Toen Copilot beloofde deze taken over te nemen, moest ik lachen. Echt waar? Mijn code overgeven aan een AI-assistent? Mijn vertrouwensproblemen waren reëel.
- Wat als het fouten maakte die ik niet zou opmerken?
- Wat als het meer problemen zou creëren dan oplossen?
- Wat als ik vervangbaar zou worden?
Maar uiteindelijk won de wanhoop het van de scepsis.
Oude ik versus nieuwe ik
De verandering was bijna gênant:
Oude ik: Besteedde meer dan zes uur aan het maken van een fiscale kalender, terwijl ik naar mijn scherm vloekte.
Nieuwe ik: Typt een prompt, controleert de gegenereerde code en klaar is het in 15 minuten.
Handmatige datatransformaties die ooit mijn weekenden opslokten, zijn nu een kwestie van minuten. ETL-workflows waarvoor ik vroeger dagen code en debugging nodig had? Die regel ik nu met prompts in natuurlijke taal.
"Soms is het bevrijden van jezelf van een saaie workflow het creatiefste wat je kunt doen." – Inder Rana
De woorden van Rana komen nu anders binnen. De opluchting over het loslaten was onverwacht. Ik had ineens echte vrije tijd. Ik ontdekte mijn hobby's weer. Ik herinnerde me hoe mijn gezin eruitzag.
De verrassende nasleep
De grootste verrassing was niet de efficiëntiewinst, maar de mentale ruimte die vrijkwam. Zonder de angst voor eindeloze debugsessies dwaalde mijn geest af naar grotere vragen en creatieve oplossingen.
Ja, ik controleer nog steeds alles wat Copilot genereert. Ja, soms moet ik de code nog aanpassen. Maar die 40% tijdwinst? In mijn geval is dat een conservatieve schatting.
Mijn burn-out kwam niet alleen op automatisering af. Die werd er volledig door verslagen.
De vergeten kunst van prompt engineering (of: praten met robots voor plezier en winst)
Ik had nooit gedacht dat ik een creatieve relatie met een AI zou ontwikkelen, maar hier zijn we dan. Prompts schrijven voor Copilot is op de een of andere manier een van de onverwacht creatiefste onderdelen van mijn werk als dataengineer geworden.
Weet je nog toen programmeren betekende dat je exacte syntaxis uit je hoofd moest leren? Die tijd lijkt nu ver weg.
De onbedoelde monsterfabriek
Vorige maand was ik uitgeput na een lange dag met data. Mijn hoofd was gaar. Ik moest een eenvoudige datatransformatietabel maken, maar typte per ongeluk: "maak een fantasiemonstertabel met schadestatistieken en speciale vaardigheden."
Het antwoord van Copilot? Een bizarre mix van SQL-syntaxis en fantasy-RPG-inhoud die absoluut nergens op sloeg. Het probeerde kolommen aan te maken voor "acidBreath" en "tentacleCount", naast mijn echte datavelden.
Ik lachte vijf minuten aan één stuk door. Toen besefte ik iets belangrijks: ik sprak met mijn ontwikkelomgeving. Ik was niet aan het coderen. Ik sprak.
De prompt-controleer-verbeter-lus
Ik heb inmiddels een workflow ontwikkeld:
- Schrijf een prompt in natuurlijke taal
- Controleer wat Copilot genereert
- Verfijn mijn prompt met meer details
- Herhaal tot het perfect is
Het lijkt minder op programmeren en meer op... coachen? Regisseren? Wat het ook is, het verandert de manier waarop ik problemen aanpak.
Leren van de experts
Demo's uit de branche hebben mijn ogen geopend. Inder Rana liet zien hoe Copilot met alleen conversatieprompts bestanden uit CMS-voorschriftmappen in Spark-dataframes kon inlezen.
De demo van Dan Taylor, waarin hij Azure SQL-gegevens omzette naar datumtabellen, heeft me versteld doen staan. Zoals hij zei:
"De kunst van prompt engineering is het nieuwe vakmanschap voor data engineers."
Ik begin hem te geloven.
Het wordt complexer
Mijn prompts zijn verder gegaan dan eenvoudige taken. Nu vraag ik om kolomconversies, transformaties van gegevenstypen en zelfs nieuwe berekende kolommen op basis van bedrijfslogica.
Soms loopt mijn verzoek mis. Ik kreeg ooit een perfecte gedichtanalyse in plaats van databasecode omdat ik niet specifiek genoeg was. Maar dat hoort bij de leercurve.
Deze nieuwe interface, natuurlijke taal, voelt intuïtiever dan traditioneel scripten ooit deed. Het is niet perfect. Je hebt menselijke controle nodig. Maar ik besteed nu meer tijd aan nadenken over wat ik wil bereiken in plaats van hoe ik het bereik.
En eerlijk gezegd? Dat voelt als vooruitgang.
ETL in gewoon Nederlands: vaarwel cryptische scripts
Herinner je je de oude ETL-tijd nog? Ik wel. Een warboel van scripts verspreid over meerdere bestanden, verwarrende conversies van gegevenstypen en die gevreesde kapotte datapijplijnen die om 2 uur 's nachts alles lieten crashen. Fijne tijden... niet dus.
Van chaos naar gesprek
Nu al? Ik beschrijf gewoon wat ik wil aan Copilot:
"Haal de verkoopgegevens van het afgelopen kwartaal uit onze SQL-database, ruim de null-waarden in het veld customer_id op en maak een samenvattingstabel met regionale totalen."
En zomaar stelt Copilot de code in elkaar. Geen gezoek meer op Stack Overflow en geen worstelen met cryptische documentatie. Het is bijna oneerlijk hoe eenvoudig het geworden is.
Magische commando's die voelen als valsspelen
De chart-magische commando's? Pure toverkunst. In plaats van uren te besteden aan het aanpassen van visualisatiecode, typ ik gewoon iets als %%create_chart sales by region en klaar is de visualisatie.
En laat me niet beginnen over %%fix_errors in notebooks. Dit commando heeft me talloze uren aan debuggen bespaard. Het voelt alsof er een senior developer over mijn schouder meekijkt en fouten opvangt voordat ze problemen veroorzaken.
Wanneer Copilot ziet wat jij niet ziet
Vorige week was ik klantgegevens aan het transformeren toen Copilot beleefd voorstelde: "Ik zie dat je deze tabellen probeert te joinen op verschillende kolomtypen. Wil je dat ik een conversiestap toevoeg?"
Ik had het probleem zelf nog niet eens gezien! Dat had uren debuggen gekost, weggegooid.
Vertrouwen, maar controleren
Is elke suggestie van Copilot perfect? Nee. Soms genereert het code die plausibel lijkt maar niet goed werkt voor mijn specifieke scenario. Maar wat ik merk: de fouten worden minder, en ik word beter in het correct formuleren van mijn prompts.
- De vervelende delen van ETL voelen nu bijna speels
- Mijn focus is verschoven van code repareren naar workflows ontwerpen
- Menselijke controle blijft essentieel, maar veel minder pijnlijk
Zoals Josh de zei: "Met Copilot is het beschrijven van datastromen in gewoon Engels niet alleen mogelijk, het is bevrijdend."
Mijn programmeervaardigheden gooi ik niet zomaar weg. Maar ik omarm wel een nieuwe realiteit waarin het maken van ETL is veranderd van traag en vervelend naar snel en, durf ik te zeggen, plezierig. En dat is het vieren waard.
Van dagen naar minuten: fiscale kalenders zonder gedoe
Ik krijg nog steeds een onprettig gevoel als ik aan fiscale kalenderprojecten denk. Je kent ze wel: saaie, tijdrovende tabelcreatie die altijd op jouw bureau terechtkomt.
Jarenlang blokkeerde ik hele middagen (soms dagen) om deze kalenders helemaal opnieuw te bouwen. Elke parameter coderen, datumbereiken dubbelchecken, de onvermijdelijke bugs oplossen. Het was... pijnlijk.
De game-changer-aanpak
Toen zag ik de demonstratie van Greg Bowmont. Mijn mond viel letterlijk open.
Hij liet zien hoe Copilot bijna direct aangepaste fiscale datumkalenders kon genereren. Niet in dagen. Niet in uren. In minuten.
"Het automatiseren van de fiscale kalender heeft me uren van mijn kwartaal teruggegeven. Dat is ROI die je voelt." – Greg Bowmont
Wat vroeger de halve week van me vergde, duurt nu minder lang dan mijn koffiepauze. Dat is geen overdrijving, ik heb het gemeten!
De geheime saus: configureerbare parameters
- Kolomspecificaties op maat van jouw behoeften
- Flexibele gegevenstypen (geen gedoe meer met conversies)
- Aangepaste datumbereiken die passen bij elke fiscale structuur
Deze configureerbare parameters veranderen alles. In plaats van vanaf nul te bouwen, vertel ik Copilot gewoon wat ik nodig heb, en het genereert direct de basiscode.
Een wilde gedachte
Stel je een wereld voor waarin financeteams hun eigen fiscale kalenders bouwen zonder ooit een code-editor te openen. Waar ze niet hoeven te wachten tot IT of data engineering tijd vrijmaakt in hun sprint.
We zijn verrassend dicht bij die realiteit. De financieel directeur in mijn bedrijf, die geen enkele programmeerervaring heeft, gebruikte onlangs mijn Copilot-prompttemplate om een aangepaste kalender te genereren voor een speciaal project.
De menselijke factor blijft belangrijk
Ik beweer niet dat het resultaat meteen perfect is. Een snelle controle is nog steeds nodig: even de datumnotaties aanpassen, hier een kolomnaam wijzigen, daar een kolom bijstellen. Soms moeten ook bedrijfsspecifieke berekeningen worden toegevoegd.
Maar starten met 90% van het werk al gedaan? Dat is een game-changer.
Als ik terugdenk aan al die dagen die ik gebogen over fiscale tabellen heb doorgebracht... Ik wou dat ik die uren terug kon krijgen. Nu Copilot het zware werk doet, kan ik me in elk geval richten op de interessante kant van data engineering.
Verdwaald in oude code? Copilot als decoderring
We hebben het allemaal meegemaakt. Die gevreesde legacy-codebase die niemand wil aanraken. Die met schaarse documentatie en cryptische variabelenamen waardoor je je eigen loopbaan in twijfel gaat trekken.
Vorige maand kreeg ik "het monster" in mijn schoot geworpen: 15.000 regels code, geschreven door een ontwikkelaar die drie jaar geleden is vertrokken. Mijn maag zakte in mijn schoenen toen mijn manager er vrolijk mee aan kwam zetten.
De legacy-code-nachtmerrie
Normaal gesproken zou ik dagenlang proberen te begrijpen wat de code eigenlijk deed, laat staan de gemelde bugs oplossen. Maar deze keer was het anders. Ik had Copilot aan mijn zijde.
Ik opende het eerste bestand in een notebook en vroeg Copilot het samen te vatten. Binnen enkele seconden schetste het de kernfunctionaliteit, identificeerde het belangrijke afhankelijkheden en wees het zelfs op mogelijke problemen in de implementatie.
Wacht, wat? Dat had me op mijn eentje uren gekost om uit te zoeken.
Realtime codevertaling
Naarmate ik dieper groef, bleef Copilot me verbazen:
- Het legde complexe functies in begrijpelijke taal uit
- Het genereerde nuttige inline-commentaar
- Het deed suggesties voor betere aanpakken in problematische secties
- Het identificeerde ongebruikte variabelen en overbodige code
De hulp bij het debuggen was bijzonder indrukwekkend. Toen ik een vreemde fout tegenkwam, legde Copilot niet alleen uit wat er mis was, maar ook waarom het gebeurde: context waar ik anders uren naar had moeten zoeken.
"Het ontcijferen van andermans werk kostte me vroeger dagen. Nu krijg ik binnen minuten mijn draai." – Josh de
Josh' ervaring komt precies overeen met de mijne. De tijdwinst bij het zich oriënteren en bij het oplossen van problemen is eerlijk gezegd moeilijk te overschatten.
Niet helemaal magie
Is Copilot perfect? Natuurlijk niet. Ik heb nog een aantal keren gezien dat het subtiele bedrijfslogica verkeerd interpreteerde. Menselijke ogen blijven essentieel, vooral voor domeinspecifieke nuances die niet expliciet in de code staan.
Soms denk ik dat Copilot mijn codecommentaar ook zou moeten beoordelen. "Dit commentaar is nutteloos. Probeer uit te leggen waaróm in plaats van wát." Dan zou ik waarschijnlijk een betere ontwikkelaar worden!
Maar ook met de beperkingen ervan heeft Copilot mijn aanpak van legacy-code fundamenteel veranderd. Wat ooit een gevreesde opdracht was, is nu bijna... interessant? Ik ontrafel de logica en bedoeling achter complexe codebases sneller dan ooit.
Dat project waarvan ik verwachtte dat het weken zou duren? Ik had binnen drie dagen een werkende oplossing. Mijn manager denkt dat ik een genie ben. Ik zeg het niet als jij het niet verklapt.
De sociale kant: de kloof tussen techneuten en de rest overbruggen
Denk aan die ongemakkelijke vergaderingen waarin ik probeerde complexe data-joins uit te leggen aan mijn productmanager. Glazige ogen na een paar minuten waren de norm. Dat is niet meer zo.
De muur slechtmaken
Vorige maand moest ik een bijzonder lastige join over meerdere tabellen uitleggen aan ons niet-technische productteam. Ik bereidde me voor op de gebruikelijke lege blikken en beleefd knikken.
In plaats van mijn gebruikelijke PowerPoint-dia's vol SQL-gebrabbel, haalde ik ons nieuwe, op Copilot gebaseerde semantische model naar voren, verbonden met Power BI. Er gebeurde iets magisch.
"De barrière tussen technische en zakelijke teams brak – niet met een knal, maar met een semantische koppeling."
Voor een keer begreep de productmanager de datarelatie echt begrijpen. Ze begon zelfs slimme vragen te stellen over de onderliggende patronen! Ik sprak niet langer een vreemde taal.
Wat veranderde er?
- De semantische modellen vertaalden mijn technische jargon automatisch naar zakelijke context
- Teamleden konden rechtstreeks met rapporten in notebooks en Power BI werken
- Interactieve elementen laten niet-technische collega's data op hun eigen manier verkennen
- Vragen over realtime data kregen antwoord zonder dat ik als tolk hoefde op te treden
De knelpunten verdwenen. Er was geen wachten meer tot ik elke datavraag had geïnterpreteerd of eenvoudige vragen van maatwerkrapporten voorzag.
Onverwachte voordelen
Wat ik niet had verwacht, was hoe snel de datageletterdheid in ons team verbeterde. Wanneer mensen op een natuurlijke manier met data kunnen werken, gaan ze er ook echt mee aan de slag.
Onze marketingdirecteur, die ooit trots verklaarde "allergisch voor spreadsheets" te zijn, verkent nu regelmatig zelf de klantsegmentatiedata. Vorige week zag ze een trend die ik volledig over het hoofd had gezien!
Nog beter: onze besluitvorming is verbeterd. Wanneer iedereen de data begrijpt, maken we minder aannames en nemen we meer keuzes op basis van bewijs.
Misschien was de grootste verrassing tijdens onze kwartaalreview. Voor het eerst stelde ons managementteam minder verduidelijkende vragen en meer strategische. We besteedden de vergadering aan de gevolgen in plaats van het uitleggen van basisconcepten.
Wie had gedacht dat semantische modellen en Copilot de universele vertalers zouden worden die we nooit nodig leken te hebben?
Beveiliging: de nuchtere tweede gedachte
Ik had vorige week bijna een grote fout gemaakt. Ik was haastig gegevensinzichten met mijn team aan het delen toen Purview me waarschuwde. Ik had bijna gevoelige klantgegevens naar onze hele afdeling gestuurd. Au.
Dat hartverscheurende moment maakte me iets duidelijk: hoe snel en handig Copilot mijn werk ook maakt, beveiliging mag nooit een bijzaak zijn.
Mijn bijna-ongeluk
SharePoint heeft me letterlijk behoed voor een mogelijk datalek. Het systeem herkende de gevoelige inhoud en blokkeerde het delen, waarna ik de machtigingen moest nakijken. Ik voelde me tegelijk beschaamd en opgelucht.
Sindsdien ben ik behoorlijk obsessief geworden over onze beveiligingsprotocollen:
- Machtigingen op alle datasystemen aanscherpen
- Vertrouwelijkheidslabels toepassen op alles (ook op spullen die onschuldig lijken)
- Wekelijkse beveiligingsrapporten draaien om ongebruikelijke zaken op het spoor te komen
Guardrails voor Copilot inrichten
Iets wat niet iedereen beseft: Copilot kan worden gestuurd. We hebben Data Loss Prevention (DLP)-beleid ingesteld dat bepaalt wat Copilot kan openen op basis van vertrouwelijkheidslabels.
Voor echt gevoelige projecten heb ik zelfs PowerShell gebruikt om het nog strakker af te schermen. Dit kleine commando is inmiddels mijn beste vriend geworden:
Set-SPOSite -Identity [site URL] -SearchScope "Site"
Hiermee beperk je het zoeken tot die ene site, zodat Copilot geen gegevens meer ophaalt van plekken waar het niet hoort te zijn.
Een balans vinden
Ik geniet nog steeds van de productiviteitswinst die Copilot me oplevert. Maar ik benader het nu met wat ik "de nuchtere tweede gedachte" noem: even stilstaan bij de beveiligingsgevolgen voordat je erin duikt.
"Je kunt veel automatiseren, maar goed oordeelsvermogen kun je niet automatiseren."
Die uitspraak van onze CISO hangt nu op mijn virtuele bureaublad.
De tools zijn er – Purview-rapportage, SharePoint Advanced Management, granulaire machtigingen – maar ze hebben een mens nodig die ze weloverwogen inzet.
Ik heb geleerd dat snelheid en gemak absoluut niets betekenen zonder robuust bestuur. Sterker nog, ze kunnen behoorlijk gevaarlijk zijn.
Mijn werkwijze omvat nu regelmatig overleg met ons beveiligingsteam, het nakijken wie toegang heeft tot wat, en controleren of ons DLP-beleid aansluit op hoe we Copilot in de praktijk echt gebruiken.
Het kost vooraf wat meer werk, maar ik slaap er beter van. En eerlijk gezegd? Ik besteed liever 15 minuten aan beveiligingsprotocollen dan 15 uur aan een datalek.
De renaissance van de data-engineer (en wat er daarna komt)
Als ik terugkijk op mijn ontwikkeling, valt me op hoe ingrijpend mijn rol is veranderd. Ik ben gegroeid van codeslaaf, die eindeloos uren aan repetitieve taken besteedde, tot creatieve denker met ruimte om te innoveren, dankzij Copilot in Fabric.
De verandering kwam niet meteen. Ik was aanvankelijk sceptisch (zijn we dat niet allemaal bij nieuwe technologie?). Maar toen ik zag hoe die uren handmatig programmeren terugliepen tot minuten, veranderde alles voor mij.
Ik sta hier niet alleen in. Stemmen uit de industrie, zoals Inder Rana en Josh de, pleiten voor een doordachte inzet van AI. Zij benadrukken iets essentieels: hoe we deze tools gebruiken is net zo belangrijk als dát we ze gebruiken.
Zoals Josh het tijdens een recente presentatie verwoordde:
"Copilot gaat je werk niet voor je doen, maar het kan je eindelijk de kans geven om je beste werk te leveren."
Wat komt er nu?
De toekomst ziet er ontzettend veelbelovend uit. Ik merk al dat mijn promptengineeringvaardigheden verbeteren: ik krijg betere resultaten met genuanceerdere instructies. Dit is nog maar het begin.
Er komen steeds meer AI-tools aan. Microsofts visie op Copilot ligt niet vast; die evolueert snel. De combinatie van menselijke creativiteit en automatisering opent nieuwe mogelijkheden voor wat data engineers kunnen bereiken.
Wat me het meest verrast? Hoe Copilot me heeft aangemoedigd om benaderingen te proberen die ik vroeger te complex of te tijdrovend zou hebben afgedaan. Het heeft me de ruimte gegeven om te experimenteren.
Dit is niet zomaar een handig script of een slimme snelkoppeling, maar een echte paradigmaverschuiving. De stemmen uit de industrie zijn er duidelijk over: negeer AI op je eigen risico.
Voor twijfelaars (en ik was er zelf een) heb ik één advies: probeer het. Zeker als je twijfelt. De verandering in hoe ik problemen aanpak, samenwerk met collega's en over oplossingen nadenk, is ingrijpend geweest.
Als data engineers maken we een renaissance mee. Onze rol wordt niet kleiner, maar groeit. We bewegen van technische uitvoering naar oplossingsarchitecten, van datamanagers naar makers van inzichten.
De tools blijven evolueren. Onze vaardigheden moeten dat ook. Eén ding is wel zeker: de toekomst is voor wie technische expertise weet te combineren met samenwerking met AI.
En eerlijk gezegd, nu ik zie wat mogelijk is, zou ik het niet anders willen.
Wil je meer horen over hoe deze technologie werkprocessen verandert en praktische tips over het benutten van AI? Bekijk dan de bijbehorende podcastaflevering: Save Time with Microsoft Copilot in Fabric.