Dzisiejszy temat to coś, o czym słyszał prawie każdy pracujący z danymi, ale niewielu naprawdę rozumie. Microsoft Fabric Onelake. Prawdopodobnie widziałeś to w materiałach marketingowych Microsoftu lub słyszałeś, że nazywa się to ujednoliconym jeziorem danych dla całej organizacji. Ale co to właściwie oznacza? Czy to tylko kolejny kontener na dane, czy coś fundamentalnie innego? Oto najprostsza definicja. Onelake to pojedyncze, logiczne jezioro danych, które znajduje się w samym centrum Microsoft Fabric. Każda usługa Fabric, Lakehouse, Magazyn Danych, Eventhouse czy Powerbee przechowuje tu swoje dane. A kluczowa zasada jest prosta. Jedna fizyczna kopia danych dostępna dla wielu różnych silników. Koniec z kopiowaniem danych z jednego narzędzia do drugiego. Koniec z zastanawianiem się, która wersja raportu jest poprawna. Pod koniec tego odcinka zrozumiesz, czym naprawdę jest Onelake, jak eliminuje powielanie danych i dlaczego zmienia zasady gry dla Powerbee, Inżynierii Danych i AI. Zacznijmy więc od problemu, który Onelake miał rozwiązać. Problem. Każdy dział ma swoje własne jezioro. Wyobraź sobie, że pracujesz w średniej wielkości firmie. Twój zespół sprzedaży korzysta z systemu CRM do śledzenia transakcji. Dział finansów prowadzi system ERP do rozliczeń i faktur. Zespół marketingu pobiera dane ze swoich narzędzi kampanijnych, a zespół inżynierów danych zarządza hurtownią danych na potrzeby raportowania. Oto nad czym chcę, żebyś się zastanowił. Ile kopii tych samych danych klienta istnieje w tych systemach? W większości firm odpowiedź brzmi 4 lub 5. CRM je przechowuje. ERP je przechowuje. Marketing eksportuje je do swojego narzędzia analitycznego. Ktoś w finansach tworzy arkusz kalkulacyjny na podstawie ERP, a zespół inżynierów danych kopiuje je do hurtowni, aby Power BI mógł je odczytać. To ten sam identyfikator klienta, ta sama kwota sprzedaży, ta sama data faktury przechowywane w pięciu różnych miejscach. To nie wynika z niedbalstwa ludzi. To dlatego, że stare narzędzia nie komunikowały się ze sobą. Jeśli chciałeś uruchomić raport łączący dane sprzedażowe z CRM z danymi finansowymi z ERP, musiałeś skopiować oba do czegoś, co mogło je razem odczytać. Oznaczało to budowanie potoków, planowanie zadań i nadzieję, że nic nie zepsuje się w nocy. Ukryte koszty szybko się sumują. Rachunki za przechowywanie rosną, bo płacisz za te same dane pięć razy. Raporty stają się nieaktualne, bo jedna kopia jest aktualizowana, a inna nie. I wtedy ktoś zadaje pytanie, na które nikt nie chce odpowiedzieć. Która wersja jest tą właściwą? To zamieszanie niszczy zaufanie do danych, a gdy zaufanie znika, ludzie przestają w ogóle korzystać z platformy analitycznej. Microsoft przyjrzał się temu czasowi i zadał proste pytanie, co by było, gdyby można było mieć jedną kopię danych, którą każde narzędzie mogłoby odczytać? Bez powielania, bez zamieszania, jedno źródło prawdy. Czym dokładnie jest Onelejk? Onelejk to odpowiedź Microsoftu na to pytanie. To pojedyncze, logiczne jezioro danych dla całej Twojej organizacji. Kluczowe hasło, które warto zapamiętać, to jedno jezioro na dzierżawę, a nie jedno jezioro na zespół. Wewnątrz Onelejk opiera się na Azure Data Lake Storage GEN2. Ta sama technologia, te same API, ale Microsoft przepakował to jako w pełni zarządzaną usługę SAS. Nie tworzysz kont magazynowych, nie zarządzasz kontenerami, nie konfigurujesz kluczy dostępu, po prostu z tego korzystasz. Pomyśl o tym, jak o OnDrive dla danych Twojej firmy. OnDrive daje Ci jedno miejsce na osobiste pliki, dokumenty, zdjęcia i arkusze kalkulacyjne. Nie zastanawiasz się, gdzie są fizycznie przechowywane, po prostu je otwierasz i pracujesz. Onelejk robi to samo, ale dla danych Twojej organizacji. Zapewnia każdemu zespołowi, projektowi i obciążeniu jeden wspólny zasób pamięci masowej. A teraz ważne rozróżnienie. Onelejk jest logiczny, a nie fizyczny. Wewnątrz może obejmować wiele kont magazynowych w różnych regionach, ale dla Ciebie wygląda jak jedna wielka pula. Nie obchodzi Cię, który serwer przechowuje pliki, widzisz po prostu swoje dane. Każda usługa Fabric przechowuje tutaj swoje dane. Kiedy tworzysz Lakehouse, dane znajdują się w Onelejk. Kiedy budujesz magazyn danych, tabele znajdują się w Onelejk. Gdy uruchamiasz raport Power BI w trybie DirectLake, odczytuje on dane bezpośrednio z Onelejk. Nawet EventHouse, magazyn analityki czasu rzeczywistego, może udostępniać dane w Onelejk. Wszystko wskazuje na to samo miejsce, a domyślnym formatem danych jest DeltaParkę. To otwarty format, a nie rozwiązanie blokujące Cię w ekosystemie Microsoftu. Databricks go używa, silniki Spark go odczytują. Narzędzia takie jak Pandes i Polars potrafią z nim pracować. Twoje dane nie są więc uwięzione w świecie Microsoftu. Są otwarte i przenośne, ale prawdziwa magia nie tkwi w przechowywaniu, lecz w tym, jak Onelejk eliminuje potrzebę kopiowania danych. Zasada jednej kopii. Oto główna idea, która odróżnia Onelejk od wszystkiego, co było wcześniej. Nazywa się to zasadą jednej kopii i jest proste. Jedna fizyczna kopia danych dostępna dla wielu różnych silników. Pokażę Ci, co to oznacza w praktyce. Załóżmy, że masz tabelę danych sprzedaży w Onelejk. Inżynier danych uruchamia notatnik Spark, aby ją wyczyścić. Analityk biznesowy pisze zapytanie TSQL, aby ją zagregować. A raport Power B odczytuje ją na potrzeby pulpitu nawigacyjnego. Wszystkie trzy dzieją się w tym samym czasie. Wszystkie trzy czytają ten sam plik. Nikt niczego nie kopiował. W starym świecie to się nigdy nie zdarzało. Kopiowałeś dane z jeziora danych do hurtowni. Potem kopiowałeś je z hurtowni do modelu semantycznego. Następnie odświeżałeś raport. To trzy kopie tych samych danych. Każda zajmuje czas i przestrzeń dyskową. A jeśli którykolwiek krok zawiódł, twoje liczby były błędne. Jedna kopia eliminuje to wszystko. Dane w Onelejk znajdują się tylko raz. Silniki Spark, SQL, Power B. Wszystkie czytają je bezpośrednio. Bez przenoszenia, bez powielania, bez problemów z synchronizacją. Oszczędności kosztów są realne. Mniej pamięci, bo nie płacisz za te same dane pięć razy. Mniej ETL, bo nie budujesz potoków tylko po to, by przenosić dane między narzędziami. Mniej rzeczy do utrzymania, bo nie ma co się zepsuć między kopiami. A korzyść w postaci świeżości danych jest ogromna. Jedna kopia oznacza jedno źródło prawdy. Gdy dane się aktualizują, każdy raport widzi aktualizację natychmiast. Koniec z pytaniem, czy ten raport używa danych z zeszłego tygodnia czy z tego tygodnia? To zawsze te same dane w każdym miejscu. Być może myślisz, cóż, czy to nie jest po prostu Azure Data Lake Storage? Nie do końca. ADLS to usługa typu PAS. Tworzysz konta magazynowe. Zarządzasz kontenerami. Konfigurujesz klucze dostępu. Decydujesz, który region co przechowuje. Jest elastycznie, ale to też dodatkowa praca. Onelejk to usługa typu SAS. Nie tworzysz kont magazynowych. Nie zarządzasz kontenerami. Po prostu z niej korzystasz. Podstawowa infrastruktura jest obsługiwana za Ciebie. Jedna kopia jest świetna dla danych, które żyją wewnątrz fabrik. Ale co z danymi, które żyją gdzie indziej? Skróty. Zostaw dane tam, gdzie żyją. Więc tutaj wchodzą skróty. Skrót to wirtualny wskaźnik. Pomyśl o tym, jak o dowiązaniu symbolicznym dla swojego jeziora danych. Pozwala on uzyskać dostęp do danych, które fizycznie znajdują się poza Onelejk, bez ich przenoszenia lub kopiowania. Oto jak to działa. Tworzysz skrót wewnątrz Lakehouse lub hurtowni, a ten skrót wskazuje na plik lub folder gdzie indziej. Może to być konto Azure Data Lake Storage, kubeł Amazon S3, Google Cloud Storage lub nawet inny obszar roboczy Fabrik. Dane pozostają tam, gdzie są, ale z wnętrza Fabrik wyglądają jakby były bezpośrednio w Onelejk. Pozwól, że przedstawię Ci realny scenariusz. Twój zespół sprzedaży od lat prowadzi analitykę w AWS, więc wszystkie ich dane znajdują się w kubłach S3. Twój zespół finansowy korzysta z Fabrik i Power BI musi połączyć dane sprzedażowe z finansowymi. W dawnym świecie trzeba było eksportować wszystko z S3, przesyłać do Azjur, budować potok w celu synchronizacji i mieć nadzieję, że nic się nie zepsuje. Dzięki skrótom tworzysz odnośnik z Twojego Lakehouse do zasobnika S3. Dane pozostają w AWS, ale dział finansów może je przeszukiwać w Power BI tak, jakby znajdowały się w Onelejk. Bez eksportu, bez przesyłania, bez martwienia się o potoki. Skróty działają również wewnętrznie. Jeśli jeden zespół ma przygotowany zestaw danych w swoim obszarze roboczym, inny zespół może utworzyć do niego skrót. Bez kopiowania, bez duplikacji. Dane pozostają w oryginalnym obszarze roboczym, a wszyscy inni jedynie się do nich odwołują. Jest jedno ograniczenie, o którym musisz wiedzieć. Skróty nie kopiują danych, więc wydajność zapytań zależy od szybkości systemu źródłowego. Jeśli tworzysz skrót do zasobnika S3 po drugiej stronie świata, zapytania będą wolniejsze niż w przypadku danych lokalnych. W przypadku często używanych danych rozważ zamiast tego ich mirrorowanie. To prowadzi nas do kolejnego tematu mirroringu – automatyczne pobieranie danych z baz danych. Skróty świetnie sprawdzają się w zewnętrznej pamięci masowej, ale co z Twoimi istniejącymi bazami danych? Tymi, na których działają systemy ERP, CRM i aplikacje operacyjne. Właśnie tu pojawia się mirroring. Mirroring to sposób na przesyłanie danych z baz do Onelejk w czasie zbliżonym do rzeczywistego, bez tworzenia żadnego potoku. Wskazujesz fabrik na swoją bazę, a on zajmuje się resztą, tworząc automatyczną kopię przyrostową danych w formacie Delta Parkę wewnątrz Onelejk i aktualizując ją na bieżąco. Obsługiwane źródła to m.in. Azure SQL Database, lokalny SQL Server, Cosmos DB i inne, a Microsoft stale dodaje kolejne. Najczęstszym scenariuszem jest jednak krytyczna baza danych Twojej firmy, na której działa system ERP lub główna aplikacja biznesowa. Oto jak to działa. Włączasz mirroring bazy, a fabrik odczytuje kanał zmian, wstawień, aktualizacji i usunięć, replikując te zmiany w Onelejk. Pierwsza synchronizacja kopiuje pełny zestaw danych. Po niej następuje synchronizacja przyrostowa, przenosząca tylko zmienione wiersze. Dane trafiają w formacie Delta Parkę, gotowe do przeszukiwania przez dowolny silnik fabrik. A oto kluczowa różnica względem skrótów. Skróty nie kopiują danych, one wskazują na nie. Mirroring faktycznie kopiuje dane, więc fizycznie znajdują się one w Onelejk, a wydajność zapytań jest wysoka, niezależnie od szybkości źródłowej bazy danych. Kompromisem jest przechowywanie kopii, ale korzyścią jest dostęp w czasie niemal rzeczywistym, bez budowania potoków, zarządzania harmonogramami czy martwienia się o konserwację. Przedstawię teraz konkretny przypadek użycia. Twoja firma korzysta z systemu ERP na bazie SQL Server, gdzie przechowywane są dane finansowe, faktury, płatności i księga główna. Dawniej tworzyło się zadanie ETL, które uruchamiało się co noc, wyodrębniało dane, przekształcało je i ładowało do hurtowni. Takie zadanie często się psuło, ktoś musiał je naprawiać, a dane były zawsze co najmniej jednodniowe. Dzięki mirroringowi włączasz go raz, a fabrik stale replikuje dane do Onelejk. Twoje raporty PowerB odczytują dane bezpośrednio z Onelejk, które mają zaledwie kilka minut, a nie godziny czy dni bez obsługi potoków. Teraz masz dane w Onelejk ze skrótów mirroringu oraz bezpośrednich przesyłań. Jak więc faktycznie z tego korzystać? Onelejk i trzy magazyny danych. Onelejk to warstwa przechowywania miejsce, w którym znajdują się wszystkie Twoje pliki. Ale jest pewien szczegół, nie pracujesz bezpośrednio na Onelejk. Zamiast tego korzystasz z tak zwanej magazynów danych, czyli interfejsów, które oferują różne sposoby pracy z tymi samymi danymi. W fabrik istnieją trzy główne magazyny danych Lakehouse, Warehouse i Eventhouse. Wszystkie przechowują swoje dane w tym samym Onelejk, ale każdy służy do innego celu. Zacznijmy od Lakehouse, elastycznego magazynu danych, który obsługuje pliki typu CSV, JSON, obrazy oraz tabelę Delta. Używasz go w inżynierii danych, uczeniu maszynowym lub do składowania surowych danych z systemów źródłowych. To warsztat, w którym czyścisz, przekształcasz i przygotowujesz dane. Jeśli budujesz architekturę typu medalion z warstwami brązową, srebrną i złotą, Lakehouse jest miejscem, gdzie to się dzieje. Możesz uzyskać do niego dostęp przez notatniki Spark lub punkt końcowy analizy SQL do zapytań tylko do odczytu. Kolejnym jest Warehouse, ustrukturyzowany magazyn danych. Zapewnia pełne wsparcie dla odczytu i zapisu TSQL, więc możesz tworzyć tabele, widoki, procedury i funkcje oraz używać instrukcji Insert, Update, Delete. Przypomina tradycyjną bazę danych SQL Server, ponieważ został zaprojektowany dla osób myślących w języku SQL. Używaj Warehouse, gdy budujesz raporty B, uruchamiasz złożone agregacje lub migrujesz z istniejącej hurtowni danych. Traktuj go jako złotą warstwę dla raportowania przedsiębiorstwa. Jest też Eventhouse, magazyn danych czasu rzeczywistego zbudowany na silniku Kusto, tej samej technologii co Azure Data Explorer. Obsługuje dane strumieniowe, logi, telemetrie, IOT i clickstreamy, wszystko, co dociera szybko i wymaga natychmiastowego zapytania. Odpytujesz go za pomocą KQL, czyli języka zapytań Kusto, a gdy włączysz dostępność w OneLake, te dane zdarzeń staną się dostępne dla Lakehouse i Warehouse jako tabelę Delta. Oto co musisz zrozumieć. Wszystkie trzy przechowują dane w tym samym OneLake. Tabela utworzona w Lakehouse może być odczytana przez zapytanie z Warehouse. Tabela w Warehouse może być dostępna z poziomu notatnika Spark. Dane pobrane do Eventhouse mogą być udostępnione jako tabelę Delta dla Power BI. To nie są osobne bazy danych, lecz różne widoki tego samego jeziora danych. Wiele osób błędnie to rozumie. Myślą, że Lakehouse, Warehouse i Eventhouse to konkurencyjne produkty, ale tak nie jest. W rzeczywistości używasz wszystkich trzech, ponieważ każdy rozwiązuje inny problem. Lakehouse do inżynierii danych, Warehouse do BI, Eventhouse do czasu rzeczywistego, a wszystkie dzielą tę samą pamięć. OneLake zarządza przechowywaniem, a magazyny danych obsługują dostęp. Ale kto może co widzieć? Bezpieczeństwo i ład w OneLake. Ponieważ wszystkie dane znajdują się w jednym miejscu, bezpieczeństwo staje się prostsze. Zarządzasz dostępem w jednym punkcie, zamiast w dziesięciu różnych systemach. Koniec z ustawianiem uprawnień w CRM, potem w Warehouse, a następnie w Power BI. OneLake zapewnia jeden model bezpieczeństwa dla wszystkiego. Na najwyższym poziomie masz rolę obszaru roboczego, administrator, członek, współautor, przeglądający. Kontrolują one, kto może pracować w danym obszarze roboczym. Jeśli ktoś jest przeglądającym, widzi elementy, ale nie może ich modyfikować. Jeśli jest administratorem, kontroluje wszystko. Wystarczająco proste. Możesz jednak pójść dalej. Role bezpieczeństwa OneLake pozwalają kontrolować dostęp na poziomie folderu, tabeli, kolumny, a nawet wiersza. Na przykład zabezpieczenie na poziomie kolumny pozwala ukryć informacje o płacach przed wszystkimi poza hrabia. Zabezpieczenie na poziomie wiersza oznacza, że kierownik sprzedaży widzi tylko dane swojego regionu. Działa to tak samo we wszystkich magazynach danych, ponieważ wszystkie znajdują się na tym samym OneLake. Istnieje również katalog OneLake – centralny widok, w którym widzisz wszystkie dane ze wszystkich obszarów roboczych. Możesz znajdować certyfikowane zbiory danych, sprawdzać właścicieli i zarządzać ładem z jednego miejsca. Integruje się z Microsoft Purview w celu klasyfikacji etykiet, wrażliwości i zapobiegania wyciekom danych. Jeśli więc musisz oznaczyć dane jako poufne lub ściśle ograniczone, możesz to zrobić na poziomie jeziora i stosuje się to wszędzie. Jest też diagnostyka OneLake, która rejestruje, kto uzyskał dostęp do czego i kiedy. Jest przydatna przy audytach, kontrolach zgodności i odpowiadaniu na pytanie, kto dotykał tych danych w zeszłym tygodniu. Rejestruje każdą operację odczytu i zapisu oraz przechowuje te logi jako pliki JSON wewnątrz Lake House. Możesz je analizować za pomocą Spark, SQL lub Power BI. Ogólny zamysł jest taki – jeden model zabezpieczeń dla wszystkich danych, zamiast zarządzania osobnymi regułami dla każdego narzędzia. To ogromne uproszczenie dla każdej organizacji. Praktyczne wnioski. Co to oznacza dla Ciebie? Co to właściwie oznacza, jeśli rozpoczynasz dzisiaj swoją przygodę z fabrik? Rozbijmy to na części. Jeśli budujesz nową platformę danych, OneLake eliminuje potrzebę projektowania skomplikowanego przesyłu danych. Nie musisz planować przepływu danych z jeziora do magazynu, a potem do modelu semantycznego. Po prostu umieść je w OneLake, a każde narzędzie będzie z niego korzystać. Jeden OneLake, jedna kopia. To cała architektura. Jeśli migrujesz ze starszego systemu, skróty i mirorowanie pozwalają zostawić dane na miejscu, stopniowo przenosząc obciążenia. Nie jest potrzebna wielka, jednorazowa migracja. Skieruj skrót na istniejące jezioro danych, zmiroruj bazę SQL Server i korzystaj z fabrik, podczas gdy stare systemy nadal działają. Poruszasz się we własnym tempie. Oto zmiana myślenia. Przestań myśleć o pamięci masowej w podziale na projekty. Przestań tworzyć nowe jezioro danych dla każdej nowej inicjatywy. Zacznij myśleć o jednym wspólnym jeziorze, do którego dostęp ma każdy projekt. Dane zespołu sprzedaży, dane zespołu finansowego, dane zespołu inżynierów. Wszystko znajduje się w tym samym miejscu. Widzą oni tylko jego różne części. Dla użytkowników Power BI raporty są odczytywane bezpośrednio z One Lake. Żadnego oddzielnego importu, żadnych duplikowanych modeli semantycznych. Dane są świeże, ponieważ to te same dane, na których pracują inżynierowie danych. Dla inżynierów danych oznacza to mniej potoków do budowania, utrzymywania i debugowania. Wgrywasz dane raz. Wszyscy inni po prostu się do nich odwołują. Podsumowując, One Lake to nie jest po prostu kolejne jezioro danych. Zacząć im ufać. Więc oto masz. One Lake to jedyne jezioro danych w Twojej organizacji, zbudowane na zasadzie jednej kopii. Jedna fizyczna kopia danych dostępna dla każdego narzędzia, każdego zespołu, każdego obciążenia. Koniec z duplikacją, koniec z zamieszaniem, która wersja jest właściwa. Twoje zadanie domowe jest proste. Zacznij od skrótu do zewnętrznego źródła lub zmiroruj bazę danych. Zobacz, jakie to staje się proste, gdy nie musisz budować potoków tylko po to, by przesyłać dane. Większość organizacji nie dokona tej zmiany szybko. Bądź tą, która to zrobi. Jeśli ten odcinek pomógł Ci zrozumieć One Lake, zasubskrybuj Microsoft Knowledge Nugget, aby otrzymywać więcej treści o fabrik w prostym języku. I udostępnij to komuś, kto wciąż zarządza pięcioma oddzielnymi jeziorami danych. Podziękuję Ci później.