Jak Dataflows Gen2 wpływają na jednostki pojemności Fabric?

Dataflows Gen2 zużywają pojemność Fabric podczas fazy obliczeń i stagingu. Słabo zoptymalizowane przekształcenia lub uruchamianie ciężkich odświeżeń w godzinach szczytu mogą wyczerpać przydział pojemności i ograniczyć działanie innych obciążeń.

Dataflows Gen1 a Gen2 w Microsoft Fabric: wybór właściwej architektury stagingu i obliczeń

Q: Czy Dataflows Gen2 mogą zastąpić tradycyjne potoki Azure Data Factory?

W przypadku samoobsługowego przygotowania danych, lekkiego ETL i przekształceń danych w trybie low-code Dataflows Gen2 są doskonałą alternatywą. Jednak w przypadku złożonej orkiestracji w przedsiębiorstwie, logiki rozgałęzień i zaawansowanej inżynierii danych nadal preferowanymi narzędziami pozostają Azure Data Factory lub potoki Fabric.

Q: Dlaczego faza stagingu jest ważna w Dataflows Gen2?

Faza stagingu działa jako pośredni obszar docelowy dla przekształceń danych. Prawidłowa konfiguracja stagingu zapobiega zbędnemu przetwarzaniu danych, optymalizuje query folding i zapewnia efektywne zapisy do docelowego lakehouse.

Q: W jaki sposób Dataflows Gen2 zwiększają wiarygodność danych w raportowaniu?

Automatyzując czyszczenie chaotycznych ręcznych eksportów i centralizując przekształcenia w wielokrotnego użytku tabelach lakehouse, Gen2 eliminuje ręczne obejścia w Excelu i zapewnia spójne, wiarygodne dane we wszystkich raportach zależnych.

By Mirko Peters · 2026-10-28

Porównanie Dataflows Gen1 i Gen2 w Microsoft Fabric. Dowiedz się, jak magazyn danych, staging obliczeniowy i pojemność wpływają na Twoją strategię ETL w chmurze.

Automatically translated with AI from the original post. Read the English original

Cover: Fabric Dataflows Gen2 - Simply Explained

Migrując obciążenia ETL do Microsoft Fabric, wybór właściwej architektury stagingu i obliczeń między Dataflows Gen1 a Gen2 bezpośrednio wpływa na wydajność potoków, koszty zasobów i wiarygodność danych. Zrozumienie różnic w przydziale obliczeń i obsłudze magazynu pozwala uniknąć kosztownych wąskich gardeł architektonicznych, zanim zespół zacznie skalować swoje raporty.

Najważniejsze wnioski

Dataflows Gen2 wprowadza natywną integrację z OneLake, co zasadniczo zmienia sposób stagingu i przechowywania danych w porównaniu z Gen1.
Wybór niewłaściwej opcji obliczeniowej podczas tworzenia może prowadzić do nieoczekiwanego ograniczania pojemności i spadku wydajności w obszarze roboczym Fabric.
Gen1 w dużym stopniu polegał na zewnętrznych mechanizmach magazynowania, natomiast Gen2 domyślnie zapisuje dane bezpośrednio w tabelach lakehouse Fabric.
Prawidłowa konfiguracja stagingu zapobiega zbędnym przekształceniom danych i optymalizuje odświeżanie modeli semantycznych Power BI.
Dopasowanie strategii ETL do jednostek pojemności Fabric pozwala organizacji uniknąć niekontrolowanych kosztów obliczeniowych.

Zrozumienie architektonicznej zmiany w Fabric

Przejście od dotychczasowych przepływów danych Power BI do przepływów danych Microsoft Fabric to nie tylko zmiana nazwy; to całkowita przebudowa architektury sposobu pozyskiwania, przekształcania i utrwalania danych w chmurze. W dotychczasowym świecie Gen1 przepływy danych projektowano przede wszystkim z myślą o zasilaniu modeli semantycznych Power BI. Działały w dość odizolowanym ekosystemie: przekształcenia odbywały się w Power Query Online, a wynik był przechowywany w wewnętrznym magazynie zarządzanym w całości przez usługę Power BI.

Wraz z wprowadzeniem Microsoft Fabric Dataflows Gen2 zbudowano od podstaw tak, aby wykorzystywać OneLake jako centralne repozytorium danych. Oznacza to, że każde przekształcenie zastosowane w Power Query Online nie jest już zamknięte w zastrzeżonym kontenerze modelu. Gen2 łączy zatem tradycyjne samoobsługowe przygotowanie danych z inżynierią danych w przedsiębiorstwie, zapisując dane bezpośrednio w tabelach Delta Parquet w otwartym formacie, w lakehouse Fabric. Ta zasadnicza zmiana wpływa na sposób, w jaki architekci chmury podchodzą do stagingu danych, wykorzystania obliczeń i wiarygodności danych w raportowaniu.

Zmiana paradygmatu magazynowania

W starszych rozwiązaniach, jeśli analityk biznesowy musiał oczyścić eksport z Excela, usunąć puste wiersze i sformatować daty, dane pozostawały w granicach magazynu przepływu danych. Gdy inny dział chciał skorzystać z tego samego oczyszczonego zbioru danych, często musiał pobrać go z raportu lub odtworzyć zapytanie. Dataflows Gen2 rozwiązuje ten problem, traktując Lakehouse jako pełnoprawne miejsce docelowe. Po wykonaniu przepływu danych oczyszczone dane są natychmiast dostępne jako tabele Delta, gotowe do użycia w notatnikach Spark, punktach końcowych analityki SQL i bezpośrednio w raportowaniu DirectLake, bez dodatkowego przenoszenia danych.

Decyzja dotycząca obliczeń i stagingu, którą pomija większość zespołów

Jedna z najważniejszych decyzji architektonicznych, przed którymi stają inżynierowie budujący Dataflows Gen2, dotyczy zarządzania fazami obliczeń i stagingu. W przeciwieństwie do Gen1, gdzie zarządzanie obliczeniami było w dużej mierze ukryte i czasem nieprzejrzyste, Gen2 działa na bazie jednostek pojemności Fabric (CU). Jeśli organizacja nie monitoruje uważnie, kiedy i jak dane są przygotowywane w fazie oceny zapytania, ryzykuje szybsze, niż się spodziewa, wyczerpanie przydziału pojemności.

Przy złożonych transformacjach Power Query ocenia, czy kroki można przenieść z powrotem do źródła danych (fold), czy muszą zostać wykonane lokalnie w silniku przepływu danych. W Gen2 obszar stagingu działa jako pośrednia strefa lądowania. Przy błędnej konfiguracji duże zbiory danych mogą być wielokrotnie ładowane do pamięci, przetwarzane i zapisywane, generując niepotrzebne obciążenie obliczeniowe. Architekci muszą ocenić systemy źródłowe, opóźnienia sieciowe i złożoność transformacji, aby zdecydować, czy przenieść przetwarzanie do bazy źródłowej, czy pozostawić ciężką pracę usłudze Fabric.

Optymalizacja jednostek pojemności dla obciążeń ETL

Pojemność Fabric to wspólna pula zasobów w całej organizacji. Gdy słabo zoptymalizowany Dataflow Gen2 uruchamia zaplanowane odświeżenia w godzinach szczytu pracy, może zużyć zasoby pojemności i spowodować ograniczenia (throttling) renderowania raportów Power BI dla użytkowników kierownictwa. Aby temu zapobiec, zespoły powinny izolować ciężkie zadania ETL w dedykowanych obszarach roboczych z odpowiednimi rezerwacjami pojemności lub planować je poza godzinami szczytu. Zrozumienie, jak zadania obliczeniowe działające w tle współdziałają z obciążeniami interaktywnymi, jest kluczowe dla utrzymania stabilnego środowiska Fabric.

Budowanie zaufania dzięki spójnej architekturze

Ostatecznym celem modernizacji potoków danych jest wyeliminowanie ręcznych poprawek w Excelu, które utrudniają raportowanie biznesowe. Gdy raporty zawodzą, rzadko wynika to z braku danych; niemal zawsze przyczyną jest brak zaufania. Gdy użytkownicy widzą sprzeczne liczby, bo jeden raport korzysta z surowego pliku CSV, a drugi z przestarzałego przepływu danych, wykorzystanie raportów gwałtownie spada.

Dzięki standaryzacji na Dataflows Gen2 i wykorzystaniu architektury Lakehouse organizacje zyskują jedno źródło prawdy. Oczyszczone daty, ujednolicone nazwy kolumn i zweryfikowana logika biznesowa są zakodowane raz w przepływie danych i automatycznie propagowane dalej. Ogranicza to błędy ludzkie, eliminuje zależność od poszczególnych komputerów stacjonarnych i zapewnia, że gdy kierownictwo otwiera pulpit, bazowe liczby są wiarygodne i gotowe do audytu.

Podsumowanie

Migracja i budowa z wykorzystaniem Dataflows Gen2 wymagają zmiany sposobu myślenia o przechowywaniu w chmurze, budżetach obliczeniowych i zarządzaniu danymi. Zaczynając od jednego, powtarzalnego, chaotycznego procesu opartego na arkuszach i poprawnie odwzorowując go w Lakehouse w Fabric, Twój zespół może budować skalowalne potoki, które sprawdzą się w dłuższej perspektywie. Aby poznać podstawowe koncepcje tej ewolucji i wysłuchać ekspertów o nowoczesnych strategiach chmury Microsoft, koniecznie posłuchaj całego odcinka podcastu M365 FM.

Często zadawane pytania

Jaka jest główna różnica między Dataflows Gen1 a Gen2 w zakresie przechowywania danych?

Dataflows Gen1 przechowują przekształcone dane w wewnętrznym magazynie Power BI, natomiast Dataflows Gen2 zapisują dane natywnie w otwartym formacie tabel Delta Parquet w Lakehouse w usłudze Microsoft Fabric, za pośrednictwem OneLake.

Jaki wpływ mają Dataflows Gen2 na jednostki pojemności Fabric?

Dataflows Gen2 zużywają pojemność Fabric podczas faz obliczeń i stagingu. Słabo zoptymalizowane transformacje lub uruchamianie ciężkich odświeżeń w godzinach szczytu mogą wyczerpać przydział pojemności i ograniczyć działanie innych obciążeń.

Czy Dataflows Gen2 mogą zastąpić tradycyjne potoki Azure Data Factory?

Do przygotowania danych w trybie self-service, lekkiego ETL i transformacji danych w modelu low-code świetną alternatywą są Dataflows Gen2. Jednak w przypadku złożonej orkiestracji na poziomie przedsiębiorstwa, logiki rozgałęzień i zaawansowanej inżynierii danych nadal preferowanymi narzędziami pozostają Azure Data Factory lub Fabric Pipelines.

Dlaczego faza stagingu jest ważna w Dataflows Gen2?

Faza stagingu działa jako pośredni obszar docelowy dla transformacji danych. Prawidłowo skonfigurowany staging zapobiega zbędnemu przetwarzaniu danych, optymalizuje query folding i zapewnia wydajne zapisy do docelowego Lakehouse.

Jak Dataflows Gen2 poprawiają wiarygodność danych w raportowaniu?

Automatyzując czyszczenie ręcznie tworzonych eksportów i centralizując transformacje w wielokrotnego użytku tabelach Lakehouse, Gen2 eliminuje ręczne obejścia w Excelu i zapewnia spójne, wiarygodne dane we wszystkich raportach znajdujących się dalej w przepływie.