Kiedy użyć notebooka Fabric, a kiedy przepływu danych: przewodnik dla osób niebędących programistami
By Mirko Peters ·
Porównanie notebooków i przepływów danych w Microsoft Fabric. Dowiedz się, kiedy stosować przepływy danych low-code, a kiedy notebooki Spark, w zależności od Twoich umiejętności i potrzeb związanych z danymi.
Automatically translated with AI from the original post. Read the English original

Wybór między notebookiem Spark w Microsoft Fabric a przepływem danych może onieśmielać analityków, którzy dopiero zaczynają pracę z ekosystemem danych w chmurze. Ten przewodnik pomaga osobom niebędącym programistami wybrać odpowiednie narzędzie do przekształcania danych w Microsoft Fabric, porównując przepływy danych low-code z intensywnie kodowymi notebookami pod kątem złożoności, skali i potrzeb w zakresie utrzymania.
Najważniejsze wnioski
- Przepływy danych zapewniają wizualny interfejs low-code, idealny do standardowych przekształceń Power Query i powtarzalnego pobierania danych.
- Notebooki Fabric wykorzystują Spark oraz kod (Python lub PySpark), aby obsługiwać złożone uczenie maszynowe, logikę iteracyjną i ogromne zbiory danych.
- Osoby niebędące programistami powinny zazwyczaj zacząć od przepływów danych i przejść do notebooków dopiero wtedy, gdy napotkają konkretne ograniczenia wydajności lub niestandardowej logiki.
- Wybór właściwego narzędzia pozwala uniknąć zbędnego obciążenia związanego z utrzymaniem kodu w zespołach bez dedykowanych inżynierów oprogramowania.
- Oba narzędzia bez problemu integrują się z szerszymi architekturami lakehouse i warehouse w Microsoft Fabric.
Zrozumienie krajobrazu danych w Fabric
Gdy po raz pierwszy wchodzisz do Microsoft Fabric, liczba elementów obszaru roboczego może przyprawić o zawrót głowy. Inżynierowie danych, data scientists i analitycy business intelligence nagle zaczynają współdzielić zunifikowaną platformę analityczną. Jednym z najczęstszych źródeł nieporozumień jest wybór głównego silnika do przygotowania danych: czy zbudować wizualny przepływ danych, czy otworzyć intensywnie kodowy notebook?
Od dekad specjaliści od danych mierzą się z tym podziałem. Z jednej strony mamy graficzne interfejsy, które ukrywają silnik działający pod spodem. Z drugiej – pustą kartkę edytora tekstu, czekającą na kod w Pythonie lub Scali. W Fabric przekłada się to bezpośrednio na wybór między przepływami danych Gen2 a notebookami Spark. Zrozumienie, kiedy używać każdego z nich, jest kluczowe dla utrzymania czystego, skalowalnego środowiska danych bez wypalania analityków.
Czym jest przepływ danych Gen2?
Przepływy danych Gen2 w Microsoft Fabric są chmurową ewolucją Power Query. Jeśli kiedykolwiek tworzyłeś raporty w Power BI, prawdopodobnie spotkałeś się z edytorem Power Query. Przepływy danych przenoszą to znajome doświadczenie przekształceń i skalują je tak, aby działały natywnie w Fabric.
Są z natury wizualne. Klikasz przyciski, aby usunąć kolumny, scalić tabele, zmienić typy danych i filtrować wiersze. W tle Power Query tłumaczy te działania na kod M, ale rzadko musisz na niego zerkać, chyba że chcesz. Dzięki temu przepływy danych są niezwykle przystępne dla analityków biznesowych i zaawansowanych użytkowników, którzy już wiedzą, jak przygotować dane do raportów.
Moc i złożoność notebooków
Z drugiej strony notebooki zbudowano z myślą o Apache Spark. Gdy po raz pierwszy otwierasz notebook Fabric, wita Cię coś, co wygląda jak plac zabaw dla programistów: komórki z kodem, dziwne komunikaty o błędach i opcje konfiguracji pul Spark.
Notebooki dają pełną kontrolę. Możesz pisać własne skrypty w Pythonie, uruchamiać algorytmy uczenia maszynowego, przetwarzać nieustrukturyzowane pliki i obsługiwać złożoną logikę iteracyjną, z którą narzędzia wizualne po prostu nie radzą sobie. Ta moc ma jednak wysoką krzywą uczenia się. Jeśli Twoim podstawowym zadaniem jest uporządkowanie standardowej tabeli sprzedaży, wejście do notebooka może przypominać budowę silnika samochodowego, podczas gdy potrzebna była tylko wymiana oleju.
Matryca decyzyjna: przepływy danych a notebooki
Aby dokonać właściwego wyboru dla kolejnego potoku danych, musisz ocenić swój konkretny scenariusz w kontekście mocnych stron każdego z narzędzi. Przeanalizujmy kluczowe kryteria, które warto wziąć pod uwagę, zanim napiszesz pierwszy wiersz kodu lub dodasz pierwszy krok transformacji.
Wolumen danych i skalowalność
Chociaż przepływy danych Gen2 mogą obsługiwać znaczne ilości danych, wykorzystując zaplecze usługi Fabric, to właśnie w przypadku ekstremalnie dużych zbiorów danych lub złożonych zadań przetwarzania rozproszonego najlepiej sprawdzają się notebooki Spark. Jeśli przetwarzasz terabajty plików dziennika, strumieniowo przesyłasz dane telemetryczne w czasie rzeczywistym lub wykonujesz intensywne rozproszone złączenia wielu różnorodnych źródeł, notebook zapewni moc obliczeniową, której wymagasz.
Z kolei w przypadku standardowych danych transakcyjnych i wymiarowych przedsiębiorstwa, przechowywanych w relacyjnych bazach danych lub aplikacjach SaaS, przepływy danych zapewniają wystarczającą wydajność bez narzutu związanego z uruchamianiem i zarządzaniem sesjami obliczeniowymi Spark.
Umiejętności zespołu i utrzymanie
Jednym z najczęściej pomijanych czynników w decyzjach architektonicznych jest długoterminowe utrzymanie. Kto będzie wspierał ten potok za sześć miesięcy? Jeśli zbudujesz złożony potok z użyciem niestandardowego kodu Python w notebooku, ale zespół, który go utrzymuje, zna tylko SQL i Power Query, stworzysz wąskie gardło operacyjne.
Łatwość utrzymania wymaga prostoty. Jeśli zadanie można czysto zrealizować w przepływie danych, często warto pozostać przy podejściu low-code. Notebooki zachowaj dla scenariuszy, w których logika biznesowa rzeczywiście wymaga zaawansowanych możliwości programistycznych lub integracji z data science.
Wypełnianie luki: pragmatyczny przepływ pracy
Nie musisz wybierać tylko jednego narzędzia dla całej organizacji. W dojrzałych architekturach Fabric często wykorzystuje się oba rozwiązania w harmonii. Dobrą praktyką dla osób niebędących programistami jest rozpoczęcie od eksploracji.
Użyj przepływów danych do pozyskania, oczyszczenia i zapisania kluczowych tabel wymiarowych w Lakehouse. Gdy dane będą uporządkowane i wiarygodne, możesz sięgnąć po notebooki przeznaczone do zaawansowanej analityki, trenowania modeli uczenia maszynowego lub specjalistycznych zadań data science, które wymagają programistycznego sterowania.
Dzięki podziałowi architektury na wyraźne części analitycy biznesowi mogą komfortowo pracować w ramach własnych umiejętności, a inżynierowie danych i zaawansowani praktycy wykorzystują pełną moc Spark wtedy, gdy jest to potrzebne.
Podsumowanie
Wybór między notebookiem Fabric a przepływem danych sprowadza się do dopasowania narzędzia do rzeczywistego wymagania biznesowego, a nie domyślnego sięgania po najbardziej złożoną dostępną opcję. Zacznij od oceny wolumenu danych, umiejętności zespołu i złożoności transformacji. Aby zgłębić temat przełamywania początkowych obaw przed narzędziami opartymi na kodzie, koniecznie posłuchaj całego odcinka podcastu, w którym eksperci wyjaśniają, jak opanować przepływy pracy z danymi w usłudze Microsoft Fabric.
Często zadawane pytania
Czy osoby niebędące programistami mogą z powodzeniem korzystać z notebooków Fabric?
Tak, ale wymaga to cierpliwości i chęci nauki podstaw składni Python lub PySpark. Zaleca się rozpoczęcie od prostszych zadań lub przepływów danych low-code, zanim przejdziesz do pełnoskalowego tworzenia notebooków.
Czy przepływy danych Gen2 są wolniejsze od notebooków Spark?
Niekoniecznie. W przypadku standardowych transformacji biznesowej inteligencji i umiarkowanych wolumenów danych przepływy danych Gen2 działają wyjątkowo szybko i eliminują konieczność ręcznego dostrajania wydajności.
Kiedy powinienem zrezygnować z przepływu danych i przejść na notebook?
Warto rozważyć przejście na notebook, gdy logika transformacji wymaga pętli iteracyjnych, bibliotek uczenia maszynowego, parsowania złożonych plików nieustrukturyzowanych lub wydajności przetwarzania rozproszonego wykraczającej poza możliwości standardowego Power Query.
Czy mogę uruchomić przepływ danych i notebook w tym samym potoku Fabric?
Oczywiście. Potoki Fabric pozwalają sekwencyjnie orkiestrować zarówno przepływy danych, jak i notebooki, co umożliwia połączenie pozyskiwania danych w trybie low-code z zaawansowanymi transformacjami programistycznymi.