Mapping data flows
Product
Visueel ontworpen, no-code datatransformaties in Azure Data Factory die als activiteiten binnen pipelines draaien op Apache Spark-clusters die door de service worden beheerd.
Ook besproken
De aflevering over Mapping data flows gaat ook over Integration runtime en Azure Data Factory.
Beschrijving
Mapping data flows zijn visueel ontworpen datatransformaties in Azure Data Factory. Volgens Microsoft Learn is de pagina ook van toepassing op Azure Synapse Analytics. Ze stellen ontwikkelaars in staat transformatielogica op te bouwen zonder code te schrijven. De service zorgt voor codevertaling, padoptimalisatie en de uitvoering van de data flow-taken, die draaien op geschaalde Apache Spark-clusters die de service beheert.
Een mapping data flow draait niet op zichzelf. Hij wordt uitgevoerd als activiteit binnen een pipeline. In die pipeline-activiteit worden de integration runtime en de parameterwaarden gekozen. Daardoor kan een data flow gebruikmaken van de planning-, besturingsstroom- en monitoringfuncties die al bestaan voor Azure Data Factory-pipelines, in plaats van een apart mechanisme voor orkestratie nodig te hebben.
De authoring-ervaring is opgebouwd rond een canvas met drie hoofdgebieden. Een bovenbalk biedt functies om de data flow op te slaan, te valideren en de JSON of het script ervan te bekijken. Een grafiek toont de stroom van bron naar sink, zodat het pad van de data door de transformaties in één oogopslag zichtbaar is. Voor de geselecteerde transformatie verschijnt een configuratiepaneel. Elke transformatie biedt tabbladen voor de eigen instellingen, voor partitie-optimalisatie, voor een alleen-lezen inspectie van metadata en voor een gegevensvoorbeeld.
In de documentatie worden een paar praktische beperkingen genoemd. Het gegevensvoorbeeld werkt alleen wanneer de debugmodus is ingeschakeld. Het tabblad Inspect toont geen metadata wanneer de bron geen gedefinieerd schema heeft, wat typisch is bij schema drift. Wie flows ontwerpt tegen bronnen met wisselende structuren, moet tijdens de ontwikkeling dit gedrag verwachten bij het inspecteren van metadata.
In typische situaties worden mapping data flows gekozen wanneer transformatielogica visueel moet worden uitgedrukt in plaats van in code, terwijl de omliggende pipeline zorgt voor triggers, planning en monitoring. De beslissing gaat vooral over waar transformatiewerk moet plaatsvinden: in een grafische stroom van transformaties die op beheerd Spark draait, of elders in het dataplatform. De documentatie wijst ook op Dataflow Gen2 in Microsoft Fabric als vergelijkbare technologie, wat relevant is voor teams die Azure Data Factory tegen Fabric afwegen.
De M365.FM-aflevering "Azure Data Factory - Simply Explained" behandelt mapping data flows onder de kop "Transforming Without Code". Ze plaatst ze naast de andere bouwstenen van de service: pipelines en activiteiten, linked services en datasets, integration runtimes, en triggers en planning. Dezelfde aflevering vergelijkt Azure Data Factory met Fabric-pipelines en bespreekt kosten en best practices.
De aflevering "What Microsoft Fabric Means for Power BI Professionals" noemt mapping data flows in een leeroverzicht voor gegevensopname en -integratie in Fabric. Daar staat het leren van mapping data flows en gegevenstransformatie vermeld naast het verkennen van connectors en het oefenen van opname in OneLake, met gebruik van Data Factory-mogelijkheden in Fabric. Dit laat zien hoe het concept voorkomt in zowel de Azure Data Factory-context als in besprekingen over het Fabric-dataplatform.
Overzicht samengesteld met AI op basis van M365.FM-afleveringen en de feiten op deze pagina. Je kunt het verbeteren met de bewerkknop hieronder.
| Type | Product |
|---|
Veelgestelde vragen
Vragen met AI zijn met AI geschreven op basis van de feiten op deze pagina.
Wat zijn mapping data flows in Azure Data Factory? (AI)
Het zijn visueel ontworpen datatransformaties die geen code vereisen. De service vertaalt het ontwerp en voert het uit op geschaalde Apache Spark-clusters die zij beheert.
Hoe draait een mapping data flow? (AI)
Het draait als activiteit binnen een pipeline, waar de integration runtime en parameterwaarden worden geselecteerd. Zo kan het gebruikmaken van de bestaande planning-, besturingsstroom- en monitoringfuncties van pipelines.
Waarom wordt het gegevensvoorbeeld of de metadata soms niet getoond? (AI)
Het gegevensvoorbeeld werkt alleen wanneer de debugmodus is ingeschakeld. Het tabblad Inspect toont geen metadata wanneer de bron geen gedefinieerd schema heeft, wat typisch is bij schema drift.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts en bedrijven voor dit onderwerp
Niemand heeft dit onderwerp nog opgegeven. Voeg het toe aan je profiel.
Beheerd door Mirko Peters (Microsoft MVP) · Laatst bijgewerkt: