M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions m365con.net

Mapping data flows

Produkt

Visuell gestaltete, codefreie Datentransformationen in Azure Data Factory, die als Aktivitäten innerhalb von Pipelines auf Apache-Spark-Clustern ausgeführt werden, die vom Dienst verwaltet werden.

◆ PRODUKTMapping data flowsM365.FM
Titelbild: Mapping data flows (Produkt)

Ebenfalls besprochen

In der Folge zu Mapping data flows geht es auch um Integration runtime und Azure Data Factory.

Beschreibung

Mapping Data Flows sind visuell gestaltete Datentransformationen in Azure Data Factory. Laut Microsoft Learn gilt die Seite auch für Azure Synapse Analytics. Sie ermöglichen es Entwicklern, Transformationslogik ohne das Schreiben von Code zu erstellen. Der Dienst übernimmt die Codeübersetzung, die Pfadoptimierung und die Ausführung der Data-Flow-Jobs, die auf skalierten Apache-Spark-Clustern laufen, die der Dienst verwaltet.

Ein Mapping Data Flow läuft nicht eigenständig. Er wird als Aktivität innerhalb einer Pipeline ausgeführt. In dieser Pipeline-Aktivität werden die Integration Runtime und die Parameterwerte ausgewählt. Dadurch kann ein Data Flow die bereits vorhandenen Funktionen für Zeitplanung, Kontrollfluss und Überwachung von Azure-Data-Factory-Pipelines nutzen, anstatt einen eigenen Mechanismus für die Orchestrierung zu benötigen.

Die Entwicklungsumgebung basiert auf einer Arbeitsfläche mit drei Hauptbereichen. Eine obere Leiste bietet Funktionen zum Speichern, Validieren und Anzeigen des JSON bzw. Skripts des Data Flows. Ein Diagramm zeigt den Stream von der Quelle bis zur Senke, sodass der Weg der Daten durch die Transformationen auf einen Blick sichtbar ist. Für die jeweils ausgewählte Transformation erscheint ein Konfigurationsbereich. Jede Transformation bietet Registerkarten für ihre eigenen Einstellungen, für die Partitionsoptimierung, für eine schreibgeschützte Metadatenansicht und für eine Datenvorschau.

Die Dokumentation nennt einige praktische Einschränkungen. Die Datenvorschau funktioniert nur, wenn der Debug-Modus eingeschaltet ist. Die Registerkarte "Inspect" zeigt keine Metadaten an, wenn die Quelle kein definiertes Schema hat, was bei Schema Drift typisch ist. Wer Flows für Quellen mit sich ändernden Strukturen entwirft, sollte dieses Verhalten bei der Prüfung von Metadaten während der Entwicklung erwarten.

In typischen Situationen werden Mapping Data Flows gewählt, wenn die Transformationslogik visuell statt im Code ausgedrückt werden soll, während die umgebende Pipeline Trigger, Zeitplanung und Überwachung übernimmt. Die Entscheidung betrifft vor allem die Frage, wo die Transformationsarbeit stattfinden soll: in einem grafischen Stream von Transformationen, der auf verwaltetem Spark läuft, oder an anderer Stelle in der Datenplattform. Die Dokumentation verweist außerdem auf Dataflow Gen2 in Microsoft Fabric als vergleichbare Technologie, was für Teams relevant ist, die Azure Data Factory mit Fabric vergleichen.

Die M365.FM-Episode "Azure Data Factory - Simply Explained" behandelt Mapping Data Flows unter der Überschrift "Transforming Without Code". Dort werden sie zusammen mit den anderen Bausteinen des Dienstes eingeordnet: Pipelines und Aktivitäten, verknüpfte Dienste und Datasets, Integration Runtimes sowie Trigger und Zeitplanung. Dieselbe Episode vergleicht Azure Data Factory außerdem mit Fabric-Pipelines und behandelt Kosten und Best Practices.

Die Episode "What Microsoft Fabric Means for Power BI Professionals" erwähnt Mapping Data Flows in einem Lernplan für Datenaufnahme und Datenintegration in Fabric. Dort wird das Lernen von Mapping Data Flows und Datentransformation zusammen mit dem Erkunden von Konnektoren und dem Üben der Aufnahme nach OneLake aufgeführt, unter Nutzung der Data-Factory-Funktionen in Fabric. Dies zeigt, wie das Konzept sowohl im Kontext von Azure Data Factory als auch in Diskussionen zur Fabric-Datenplattform vorkommt.

Überblick, mit KI aus M365.FM-Folgen und den Fakten dieser Seite zusammengestellt. Du kannst ihn unten über „Bearbeiten“ verbessern.

TypProdukt

Häufige Fragen

Mit KI markierte Fragen wurden mit KI aus den Fakten dieser Seite geschrieben.

Was sind Mapping Data Flows in Azure Data Factory? (KI)

Es handelt sich um visuell gestaltete Datentransformationen, die keinen Code erfordern. Der Dienst übersetzt das Design und führt es auf skalierten Apache-Spark-Clustern aus, die er verwaltet.

Wie wird ein Mapping Data Flow ausgeführt? (KI)

Er läuft als Aktivität innerhalb einer Pipeline, in der die Integration Runtime und die Parameterwerte ausgewählt werden. So kann er die vorhandenen Funktionen für Zeitplanung, Kontrollfluss und Überwachung von Pipelines nutzen.

Warum werden die Datenvorschau oder die Metadaten manchmal nicht angezeigt? (KI)

Die Datenvorschau funktioniert nur, wenn der Debug-Modus eingeschaltet ist. Die Registerkarte "Inspect" zeigt keine Metadaten an, wenn die Quelle kein definiertes Schema hat, was bei Schema Drift typisch ist.

Glossar

Community-Wiki

Oben die Kurzinfo, unten das Wissen der Community: ergänze praktische Tipps, Beispiele oder Korrekturen. Neue Beiträge werden zuerst geprüft, bewährte Mitglieder veröffentlichen direkt.

Experten und Firmen zu diesem Thema

Dieses Thema hat noch niemand im Profil angegeben. Trag es in deinem Profil ein.

Gepflegt von Mirko Peters (Microsoft MVP) · Zuletzt aktualisiert: