M365Con 2027 – bezpłatna konferencja online · 11–22 Jan 2027 · 120 sessions m365con.net

Mapping data flows

Product

Wizualnie zaprojektowane, bezkodowe transformacje danych w Azure Data Factory, które działają jako aktywności w potokach na klastrach Apache Spark zarządzanych przez tę usługę.

◆ PRODUCTMapping data flowsM365.FM
Title graphic: Mapping data flows (Product)

Omawiane również

W odcinku na temat Mapping data flows pojawiają się też: Integration runtime i Azure Data Factory.

Opis

Przepływy danych mapowania to wizualnie zaprojektowane transformacje danych w Azure Data Factory. Zgodnie z Microsoft Learn ta strona dotyczy również Azure Synapse Analytics. Pozwalają one deweloperom budować logikę transformacji bez pisania kodu. Usługa zajmuje się tłumaczeniem kodu, optymalizacją ścieżek i wykonywaniem zadań przepływu danych, które działają na skalowanych klastrach Apache Spark zarządzanych przez usługę.

Przepływ danych mapowania nie działa samodzielnie. Jest wykonywany jako działanie w potoku. W tym działaniu potoku wybiera się środowisko integracji oraz wartości parametrów. Dzięki temu przepływ danych może korzystać z funkcji harmonogramowania, sterowania przepływem i monitorowania, które już istnieją dla potoków Azure Data Factory, zamiast wymagać odrębnego mechanizmu orkiestracji.

Doświadczenie tworzenia opiera się na kanwie z trzema głównymi obszarami. Górny pasek oferuje funkcje zapisywania, walidacji oraz wyświetlania JSON lub skryptu przepływu danych. Wykres pokazuje strumień od źródła do ujścia, dzięki czemu ścieżkę danych przez transformacje widać od razu. Po wybraniu danej transformacji pojawia się panel konfiguracji. Każda transformacja udostępnia karty dla własnych ustawień, optymalizacji partycji, tylko do odczytu inspekcji metadanych oraz podglądu danych.

Dokumentacja wskazuje kilka praktycznych ograniczeń. Podgląd danych działa tylko wtedy, gdy włączony jest tryb debugowania. Karta inspekcji nie pokazuje metadanych, gdy źródło nie ma zdefiniowanego schematu, co jest typowe przy dryfcie schematu. Osoby projektujące przepływy dla źródeł o zmiennej strukturze powinny oczekiwać takiego zachowania podczas inspekcji metadanych w trakcie tworzenia.

W typowych sytuacjach przepływy danych mapowania wybiera się wtedy, gdy logikę transformacji ma być wyrażona wizualnie, a nie w kodzie, podczas gdy otaczający potok zajmuje się wyzwalaczami, harmonogramowaniem i monitorowaniem. Decyzja dotyczy przede wszystkim tego, gdzie ma znajdować się praca transformacyjna: w graficznym strumieniu transformacji wykonywanym na zarządzanym Spark, czy gdzie indziej w platformie danych. Dokumentacja wskazuje także Dataflow Gen2 w Microsoft Fabric jako porównywalną technologię, co jest istotne dla zespołów rozważających Azure Data Factory w zestawieniu z Fabric.

Odcinek M365.FM "Azure Data Factory - Simply Explained" omawia przepływy danych mapowania pod nagłówkiem "Transforming Without Code". Umieszcza je obok pozostałych elementów budulcowych usługi: potoków i działań, połączonych usług i zestawów danych, środowisk integracji oraz wyzwalaczy i harmonogramowania. Ten sam odcinek porównuje także Azure Data Factory z potokami Fabric i omawia koszty oraz najlepsze praktyki.

Odcinek "What Microsoft Fabric Means for Power BI Professionals" wspomina o przepływach danych mapowania w planie nauki dotyczącym pozyskiwania i integracji danych w Fabric. Tam nauka przepływów danych mapowania i transformacji danych jest wymieniona razem z poznawaniem konektorów i praktyką pozyskiwania danych do OneLake, z wykorzystaniem możliwości Data Factory w Fabric. Pokazuje to, jak ta koncepcja pojawia się zarówno w kontekście Azure Data Factory, jak i w dyskusjach o platformie danych Fabric.

Overview compiled with AI from M365.FM episodes and the facts on this page. You can improve it with the edit button below.

TypProduct

Często zadawane pytania

Questions marked with AI were written with AI from the facts on this page.

Czym są przepływy danych mapowania w Azure Data Factory? (AI)

Są to wizualnie zaprojektowane transformacje danych, które nie wymagają kodu. Usługa tłumaczy projekt i uruchamia go na skalowanych klastrach Apache Spark, którymi zarządza.

Jak działa przepływ danych mapowania? (AI)

Działa jako działanie wewnątrz potoku, w którym wybiera się środowisko integracji i wartości parametrów. Dzięki temu może korzystać z istniejących funkcji harmonogramowania, sterowania przepływem i monitorowania potoków.

Dlaczego podgląd danych lub metadane czasami się nie wyświetlają? (AI)

Podgląd danych działa tylko wtedy, gdy włączony jest tryb debugowania. Karta inspekcji nie pokazuje metadanych, gdy źródło nie ma zdefiniowanego schematu, co jest typowe przy dryfcie schematu.

Słownik

Community wiki

Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.

Eksperci i firmy w tym temacie

Nikt jeszcze nie wskazał tego tematu. Dodaj go do swojego profilu.

Maintained by Mirko Peters (Microsoft MVP) · Last updated: