Opanowanie architektury brąz-srebro-złoto w Microsoft Fabric

By Mirko Peters · 2026-08-28

Witamy ponownie na blogu! Jeśli śledzicie nasze podcasty, wiecie, jak bardzo zależy nam na tym, by usprawniać zarządzanie danymi, likwidować silosy i naprawdę wyciągać z danych firmowych praktyczne wnioski. Dziś zagłębiamy się w strukturyzowanie potoków danych z wykorzystaniem architektury medalionu w Microsoft Fabric. Przyjrzymy się konkretnie temu, jak surowe dane przechodzą z warstwy brązowej d

Automatically translated with AI from the original post. Read the English original

Cover: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric

Kiedy organizacje po raz pierwszy wchodzą w analitykę chmurową, często popełniają błąd, wrzucając wszystko do jednego, chaotycznego magazynu. Bez jasnej ścieżki dojrzewania danych zespoły zmagają się z problemami jakości danych, sprzecznymi wskaźnikami i koszmarem zgodności z przepisami. Tu z pomocą przychodzi architektura medalionu. Dzięki jasnemu przejściu przez poziomy brązowy, srebrny i złoty budujesz solidny fundament, który przekształca chaotyczne dane wejściowe w zasoby gotowe do użycia w całym przedsiębiorstwie. Przejdźmy krok po kroku, jak to działa w ekosystemie Microsoft Fabric.

Zanim zagłębimy się w szczegóły techniczne, gorąco zachęcam do posłuchania powiązanego odcinka podcastu: Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric. W tym odcinku omawiamy dokładnie te wzorce, opowiadamy, jak OneLake spina wszystko w całość, i analizujemy sprawdzone w praktyce strategie unifikacji zarządzania danymi i przepływów pracy AI.

Wprowadzenie do architektury medalionu w Microsoft Fabric

Architektura medalionu to wzorzec projektowy danych, który logicznie porządkuje dane w jeziorze danych, mając na celu stopniowe i progresywne podnoszenie struktury oraz jakości danych w miarę ich przepływu przez kolejne warstwy potoku. W Microsoft Fabric architektura ta jest natywnie obsługiwana przez OneLake, magazyn w formacie Delta Lake oraz wydajne silniki obliczeniowe, takie jak Spark i Data Factory.

Dlaczego warto strukturyzować potoki w ten sposób? W wielu firmach surowe dane napływają w niezliczonych formatach: pliki JSON z interfejsów API, pliki CSV z systemów legacy, strumieniowa telemetria z urządzeń IoT oraz rekordy transakcyjne z baz danych. Jeśli spróbujesz wykonywać zapytania bezpośrednio do tej surowej mieszanki, pulpity nawigacyjne będą działać ociężale, użytkownicy biznesowi pogubią się w chaotycznych nazwach kolumn, a inżynierowie danych zamiast dostarczać wartość biznesową, będą całymi dniami naprawiać zepsute raporty.

Wymuszając progresję od brązowej przez srebrną do złotej, tworzysz wyraźne granice odpowiedzialności:

Warstwa brązowa: Pozyskiwanie i zachowanie surowych danych w niezmienionej postaci.
Warstwa srebrna: Czyszczenie, przekształcanie i integrowanie danych w uporządkowane tabele.
Warstwa złota: Agregowanie, optymalizowanie i udostępnianie analiz gotowych do użycia w biznesie.

Przyjrzyjmy się każdej z tych warstw szczegółowo, aby zobaczyć, jak działają w nowoczesnym środowisku Microsoft Fabric.

Zrozumienie warstwy brązowej: pozyskiwanie surowych danych

Warstwa brązowa, często nazywana warstwą surową lub lądowania, to pierwszy punkt dla wszystkich danych wchodzących do ekosystemu Microsoft Fabric. Głównym celem jest prosty, a zarazem kluczowy: jak najszybciej zapisać dane w oryginalnej, niezmienionej postaci i bezpiecznie je przechować.

Projektując warstwę brązową, powstrzymaj się od stosowania logiki biznesowej, poprawiania literówek czy usuwania kolumn. Dlaczego? Ponieważ jeśli skrypt transformacji w dalszej części potoku przypadkowo uszkodzi dane lub usunie pole, którego później wymaga zgodność z przepisami, potrzebujesz nienaruszonego, nieedytowanego zapisu historycznego, do którego można wrócić. Warstwa brązowa pełni rolę niezmiennego śladu audytowego.

W Microsoft Fabric dane zazwyczaj ładujesz do OneLake za pomocą potoków danych, działań kopiowania lub strumieni zdarzeń w czasie rzeczywistym. Niezależnie od tego, czy pobierasz dane z Dynamics 365, baz danych Azure SQL, Salesforce, czy zewnętrznych zasobników S3, Fabric zapewnia natywne pozyskiwanie bez wysiłku. Dane są przechowywane w formatach open source, takich jak Delta Parquet, który od razu zapewnia transakcje ACID i wydajne zapytania.

Kluczowe praktyki utrzymania zdrowej warstwy brązowej obejmują:

Operacje wyłącznie dopisujące: Nigdy nie aktualizuj ani nie usuwaj rekordów w warstwie brązowej. Zawsze dopisuj nowe pliki lub wiersze z znacznikami czasu pozyskania.
Schemat przy odczycie: Pozwól, aby dane półustrukturyzowane (np. zagnieżdżone ładunki JSON) trafiały do warstwy bez sztywnego wymuszania schematu, dzięki czemu nie będziesz tracić przychodzących rekordów z powodu drobnych zmian po stronie źródła.
Śledzenie metadanych: Dodawaj podczas pozyskiwania kolumny z metadanymi, takimi jak nazwa systemu źródłowego, znacznik czasu pozyskania i identyfikator partii, aby od pierwszego dnia zachować pełne śledzenie pochodzenia danych (data lineage).

Udoskonalanie danych w warstwie srebrnej: czyszczenie i przekształcanie

Gdy dane bezpiecznie znajdą się w warstwie brązowej, czas przenieść je do warstwy srebrnej. To tutaj wykonuje się najcięższą pracę inżynierii danych. Warstwa srebrna przyjmuje surowe, nieuporządkowane dane wejściowe i przekształca je w oczyszczone, zweryfikowane zbiory danych zgodne ze standardami przedsiębiorstwa.

W warstwie srebrnej przechodzisz od schematu przy odczycie do schematu przy zapisie. To tutaj stosujesz reguły biznesowe, aby zapewnić integralność danych. Do typowych przekształceń wykonywanych w warstwie srebrnej należą:

Deduplikacja: Identyfikowanie i usuwanie zduplikowanych rekordów zdarzeń lub nadmiarowych wpisów klientów.
Obsługa brakujących wartości: Uzupełnianie standardowymi wartościami domyślnymi, oznaczanie anomalii typu null lub usuwanie nieprawidłowych rekordów zgodnie z zasadami zarządzania danymi.
Standaryzacja: Normalizowanie formatów dat, ujednolicanie kodów krajów, przeliczanie wartości walutowych na walutę bazową oraz porządkowanie wielkości liter w ciągach znaków.
Wymuszanie typów danych: Konwertowanie ciągów znaków reprezentujących liczby i daty na właściwe typy całkowite, zmiennoprzecinkowe i znacznik czasu (timestamp).
Łączenie i wzbogacanie: Łączenie surowych tabel operacyjnych z danymi referencyjnymi w celu tworzenia zunifikowanych encji, na przykład scalanie dzienników transakcji klientów z główną tabelą profili klientów.

W usłudze Microsoft Fabric inżynierowie danych zazwyczaj wykorzystują notatniki uruchamiane na Spark lub punkty końcowe SQL w obrębie Lakehouse usługi Fabric do budowy tych potoków przekształceń. Przechowując tabele srebrne jako tabele Delta, zyskujesz możliwość podróży w czasie (time travel), wydajne partycjonowanie oraz szybkie przyrostowe aktualizacje. Gdy dane trafią do warstwy srebrnej, są czyste, uporządkowane i gotowe do zasilania wyspecjalizowanych analiz działowych lub do przekazywania do modeli uczenia maszynowego.

Budowa warstwy złotej: dostarczanie analiz gotowych do użycia w biznesie

Pozyskaliśmy surowe dane w warstwie brązowej, a w warstwie srebrnej oczyściliśmy je i ujednoliciliśmy. Teraz przychodzi najciekawsza część: budowa warstwy złotej. Warstwa złota, często nazywana warstwą obsługi (serving layer) lub warstwą prezentacji, to miejsce, w którym dane są kształtowane tak, aby odpowiadać na konkretne pytania biznesowe i wspierać decyzje kadry zarządzającej.

W odróżnieniu od szczegółowych, silnie znormalizowanych tabel z warstwy srebrnej, tabele warstwy złotej są zazwyczaj modelowane w schematach wymiarowych (schematy gwiaździste) z dobrze zdefiniowanymi tabelami faktów i wymiarów. Tutaj obliczasz kluczowe wskaźniki efektywności (KPI), miesięczne przychody cykliczne, wskaźniki rezygnacji klientów, rotację zapasów i inne istotne miary biznesowe.

Ponieważ warstwa złota jest zoptymalizowana pod kątem konsumpcji, wydajność ma kluczowe znaczenie. W usłudze Microsoft Fabric możesz udostępniać tabele warstwy złotej bezpośrednio za pośrednictwem modelu semantycznego Power BI lub punktu końcowego SQL. Analitycy biznesowi i użytkownicy samoobsługowi mogą łączyć się z tymi wyselekcjonowanymi zbiorami danych bez konieczności rozumienia podstawowych złączeń tabel czy logiki przygotowania danych.

Aby zmaksymalizować wartość warstwy złotej, pamiętaj o następujących zasadach:

Terminologia przyjazna biznesowi: Zmieniaj nazwy technicznych kolumn (takich jak `cust_id_fk_02`) na jasne określenia biznesowe (takie jak `Customer ID`).
Wstępnie agregowane metryki: Twórz tabele podsumowań dla obciążających raportów historycznych, aby pulpity ładowały się w milisekundach, a nie w minutach.
Zgodność ze strategią: Upewnij się, że każda tabela i każda metryka w warstwie złotej odpowiada bezpośrednio celowi korporacyjnemu lub wymaganiu raportowemu.

Zapewnianie bezpieczeństwa i zarządzania w całym potoku

Zbudowanie nienagannego potoku brąz-srebro-złoto to dopiero połowa sukcesu. Gdy dane przepływają przez te warstwy, musisz zadbać o to, aby wrażliwe informacje były chronione, spełniano normy zgodności, a nieuprawnieni użytkownicy byli trzymani z dala. Na szczęście usługa Microsoft Fabric ma zabezpieczenia klasy korporacyjnej głęboko zintegrowane z jej architekturą.

Zarządzanie w usłudze Fabric jest zunifikowane dzięki usłudze Microsoft Purview. Gdy dane przechodzą z warstwy bronze do silver, a następnie do gold, można śledzić ich pełne pochodzenie (data lineage). Jeśli audytor zapyta, skąd pochodzi konkretna wartość przychodu na dashboardzie dla kadry kierowniczej, graf pochodzenia danych pokaże dokładne uruchomienie potoku, notes transformacji silver i surowy plik bronze, z którego dane zostały pobrane.

Kontrola dostępu jest zarządzana bezproblemowo za pomocą usługi Microsoft Entra ID. Na warstwie gold można zastosować zabezpieczenia na poziomie wiersza (RLS) oraz na poziomie kolumny, dzięki czemu regionalni kierownicy sprzedaży widzą wyłącznie dane dotyczące swoich terytoriów. Ponadto Fabric automatycznie szyfruje dane w spoczynku i w czasie transmisji, a narzędzia takie jak Data Loss Prevention (DLP) oraz etykiety poufności zapobiegają przypadkowemu eksportowi poufnych danych organizacji.

Wbudowując bezpieczeństwo i zarządzanie danymi na każdym poziomie architektury medalionowej, eliminujesz ryzyka związane z rozproszeniem danych i budujesz środowisko pełnego zaufania wśród użytkowników.

Korzyści w praktyce i ROI uporządkowanych potoków danych

Przyjęcie architektury bronze-silver-gold w usłudze Microsoft Fabric to nie tylko najlepsza praktyka architektoniczna, ale także istotne źródło wartości biznesowej i zwrotu z inwestycji. Organizacje, które przechodzą od chaotycznego, nieustrukturyzowanego przechowywania danych do zarządzanego potoku medalionowego, doświadczają znaczących usprawnień operacyjnych.

Po pierwsze, produktywność inżynierii danych rośnie w zawrotnym tempie. Zamiast pisać niestandardowe, kruche skrypty dla każdego nowego żądania raportowego, inżynierowie tworzą wielokrotnego użytku potoki transformacji, które dostarczają czyste dane do kolejnych warstw. Badania dotyczące wdrożeń Microsoft Fabric pokazują, że organizacje osiągają nawet 25% wzrost produktywności inżynierii danych i oszczędzają miliony w czasie pracy analityków, ponieważ dane są łatwe do znalezienia, zaufania i zapytań.

Po drugie, analityka self-service wreszcie staje się rzeczywistością. Gdy użytkownicy biznesowi otrzymują dostęp do wyselekcjonowanych zbiorów danych gold z intuicyjnymi konwencjami nazewnictwa i wiarygodnymi liczbami, przestają tworzyć nieoficjalne arkusze kalkulacyjne i zaczynają opierać się na oficjalnych dashboardach usługi Power BI. Ta demokratyzacja danych sprzyja kulturze współpracy i znacząco przyspiesza cykle podejmowania decyzji.

Wreszcie skalowalność architektury chmurowej gwarantuje, że wraz z rozwojem firmy infrastruktura danych rozwija się razem z nią, bez konieczności kosztownej przebudowy architektury. Niezależnie od tego, czy przetwarzasz gigabajty, czy petabajty danych, Microsoft Fabric sprawnie i opłacalnie skaluje moc obliczeniową w tle.

Opanowanie architektury bronze-silver-gold w usłudze Microsoft Fabric to ostateczny sposób na uporządkowanie ekosystemu danych. Świadomie przenosząc dane od surowego pozyskania, przez oczyszczanie, aż po gotową do użytku biznesowego prezentację, odblokowujesz prawdziwy potencjał zasobów informacyjnych organizacji. Aby usłyszeć więcej opinii ekspertów, omówień architektury i praktycznych wskazówek dotyczących opanowania tego ekosystemu, koniecznie posłuchaj naszego pełnego odcinka Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric!

🎧 Posłuchaj tego odcinka

Szukasz praktycznego wyjaśnienia tematu Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric? Ten odcinek w przystępny sposób omawia zagadnienie i pokazuje, dlaczego ma ono znaczenie dla Microsoft 365, Azure, Power Platform, bezpieczeństwa, AI i nowoczesnej pracy.

Posłuchaj tego odcinka, jeśli chcesz:

Zrozumieć kluczowe koncepcje stojące za tematem Build a Bronze-Silver-Gold Data Pipeline in Microsoft Fabric
Zobaczyć, jak ten temat wpisuje się w szerszy ekosystem technologii Microsoft
Dowiedzieć się, gdzie może przynieść praktyczną wartość dla Twojej organizacji

Możesz także polubić te powiązane odcinki M365 FM:

Więcej praktycznych rozmów o Microsoft znajdziesz na M365 FM.