Witajcie w kolejnym odcinku. Dzisiejszy temat to coś, o czym prawdopodobnie słyszeliście na spotkaniach lub w artykułach technicznych Microsoft Fabric. Jeśli jednak jesteście, jak większość ludzi, nie jesteście do końca pewni, czym on właściwie jest. Czy to tylko kolejny produkt Microsoftu, zmiana nazwy czegoś starego, czy może coś zupełnie nowego? Pozwólcie, że odpowiem krótko. Microsoft Fabric to nie jest po prostu kolejny produkt. To kompletna platforma danych, jedno miejsce, w którym wykonasz całą pracę z danymi, przechowywanie, przekształcanie, analizy i raportowanie. Pod koniec tego odcinka zrozumiesz, czym jest Fabric, dlaczego Microsoft go stworzył i jak główne elementy do siebie pasują. Złap kawę i zaczynajmy. Stare podejście, czyli dlaczego dane były rozproszone. Aby zrozumieć, dlaczego Fabric istnieje, musisz zrozumieć problem, który rozwiązuje. 20 lat temu, prowadząc firmę, kupowałeś serwer do przechowywania danych, oddzielne narzędzie do raportów i kolejny produkt do analizy w czasie rzeczywistym. Zanim się obejrzałeś, miałeś pięć różnych systemów, każdy z własnym logowaniem, sposobem pracy i własnym zespołem zarządzającym. Przez długi czas dane żyły w siłosach. Dane sprzedażowe były w jednym systemie, dane klientów w innym, a dane finansowe jeszcze gdzie indziej. Jeśli chciałeś zadać pytanie obejmujące te systemy, na przykład, którzy klienci kupują najbardziej dochodowe produkty, musiałeś przenosić dane. Eksportować z jednego systemu, przekształcać, ładować do innego, a potem robić to ponownie, gdy dane się zmieniły. Więcej czasu spędzało się na przenoszeniu danych między systemami niż na ich faktycznej analizie. Integracja danych stała się pełnoetatowym zajęciem dla całych zespołów. Najgorsze było to, że za każdym razem, gdy przenosiłeś dane, tworzyłeś kolejną kopię, kolejną wersję prawdy i szybko nikt nie wiedział, która kopia jest właściwa. Microsoft przyjrzał się tej fragmentacji i zadał proste pytanie. A co jeśli wszystkie te usługi mogłyby współpracować? Co jeśli zamiast łączyć oddzielne produkty miałbyś jedną platformę, która robi wszystko? To pytanie doprowadziło do powstania Microsoft Fabric. Czym właściwie jest Microsoft Fabric? Więc czym jest Fabric? Oto najprostsza definicja. Microsoft Fabric to ujednolicona platforma danych i analizy. Jedno miejsce dla całej twojej pracy z danymi. Pomyśl o tym jak o nowoczesnym biurowcu. Każde narzędzie, jak Power BI czy Azure Synapse, to pokój wewnątrz tego budynku. Mają swoje przeznaczenie, meble i narzędzia, ale wszystkie są częścią tej samej struktury. Nie musisz wychodzić na zewnątrz, aby przejść z jednego pokoju do drugiego. Wszystkie są połączone. Właśnie to robi Fabric. Łączy inżynierię danych, integrację danych, hurtownię danych, analitykę w czasie rzeczywistym i analitykę biznesową na jednej platformie. Wszystko działa w ramach jednej platformy SaaS, co oznacza brak konieczności zarządzania infrastrukturą, udostępniania serwerów czy konfiguracji sieci. Microsoft zajmuje się tym wszystkim za Ciebie. Od momentu premiery w 2023 roku Fabric stał się najszybciej rozwijającym się produktem danych w historii Microsoftu. Dziś korzysta z niego ponad 25 tysięcy klientów, w tym 80% firm z listy Fortune 500. To ogromna adopcja w bardzo krótkim czasie. Kluczowa różnica polega na tym, w dawnym modelu kupowało się oddzielne produkty i próbowało sprawić, by ze sobą współpracowały. Dzięki Fabric nie trzeba już łączyć różnych usług ze sobą. To jedno środowisko, jedno logowanie, jeden sposób pracy, co zmienia wszystko. Onelejk Fundament. Teraz porozmawiajmy o fundamencie, dzięki któremu to wszystko działa. Sercem platformy Fabric jest coś, co nazywamy Onelejk. Najłatwiej myśleć o Onelejk jak o usłudze OnDrive dla Twoich danych. Wiesz, jak OnDrive daje Ci jedno miejsce do przechowywania plików osobistyk, do których dostęp ma każda aplikacja na komputerze? Onelejk robi dokładnie to samo, tyle że dla danych Twojej organizacji. Oto co czyni go potężnym narzędziem. Każde obciążenie w Fabric, czy to Lake House, hurtownia danych, czy zadania analityczne w czasie rzeczywistym automatycznie zapisuje dane w Onelejk. Nie musisz ręcznie kopiować plików, ani konfigurować połączeń. To dzieje się samo. Istnieje tylko jeden Onelejk na tenanta, jedno źródło prawdy dla całej organizacji. Możesz się teraz zastanawiać, co jeśli później będę chciał zmienić platformę? Czy jestem na stałe związany z Microsoftem? Odpowiedź brzmi nie. Onelejk przechowuje dane w otwartych formatach, takich jak Delta Park, standardzie branżowym używanym przez Databricks i Apache Spark. Nigdy nie jesteś zamknięty w ekosystemie Microsoftu. Jeśli chcesz przenieść swoje dane gdzie indziej, możesz to zrobić. To Twoje dane, ale tutaj Onelejk staje się naprawdę interesujący dzięki skrótom. Skrót to wirtualny wskaźnik do danych, które znajdują się gdzie indziej. Możesz utworzyć skrót do danych przechowywanych w AWSS3, Google Cloud, czy nawet lokalnie, a pojawią się one w Onelejk, jakby tam właśnie były. Bez konieczności przenoszenia, czy powielania danych. Po prostu wskazujesz na nie i już się pojawiają. Onelejk bazuje na Azure Data Lake Storage chmurowej pamięci klasy korporacyjnej, ale nie zarządzasz tą infrastrukturą, gdyż wszystko jest obsługiwane jako usługa SAS. Nie musisz udostępniać serwerów, ani konfigurować sieci, po prostu z tego korzystasz. Co to dla Ciebie oznacza? Oznacza to, że możesz mieć dane z wielu źródeł, chmury, lokalnych baz danych, czy platform zewnętrznych, widoczne w jednym miejscu bez powielania. A prawdziwa moc? Każde dane zapisane w Onelejk mogą być natychmiast wykorzystane przez dowolne obciążenie w fabrik. Zapisujesz raz, a każde narzędzie w fabrik może je zobaczyć. Na tym polega magia Onelejk. Lakehouse Centrum Inżynierii Danych. Masz już swoje dane w Onelejk. Teraz musisz na nich popracować. I tu z pomocą przychodzi Lakehouse. Oto najprostsza definicja. Lakehouse to magazyn danych łączący elastyczność jeziora danych ze strukturą bazy danych. W tradycyjnym jeziorze danych przechowasz wszystko, pliki CSV, dokumenty JSON, obrazy czy wideo, ale panuje tam bałagan bez struktury, więc trudno je odpytywać. W tradycyjnej bazie danych wszystko jest ustrukturyzowane i gotowe do zapytań, ale możesz przechowywać tylko określone typy danych. Lakehouse daje Ci jedno i drugie. W Lakehouse możesz przechowywać surowe pliki jak CSV, JSON czy nawet obrazy. Możesz także przechowywać ustrukturyzowane tabele, które odpytasz za pomocą SQL. Oba typy znajdują się w tym samym miejscu. Tabele te korzystają z formatu Delta Parkę, tego samego szybkiego, otwartego formatu, którego używa Databricks i inne platformy do obsługi ogromnych ilości danych. Lakehouse obsługuje wiele narzędzi. Możesz użyć Sparka do przetwarzania danych na dużą skalę. Możesz użyć Pythona do uczenia maszynowego. Możesz użyć SQL do prostych zapytań. Niezależnie od preferowanego narzędzia, Lakehouse sobie z nim poradzi. Pomyśl o Lakehouse jak o swoim środowisku pracy do budowania potoków danych. Wprowadzasz surowe dane, przekształcasz je, czyścisz i przygotowujesz do analizy. Możesz na nich uruchamiać modele uczenia maszynowego. Możesz tworzyć zestawy danych treningowych, wszystko w jednym miejscu. Dla inżynierów danych preferujących środowisko przyjazne kodowaniu, Lakehouse obsługuje notatniki. To interaktywne dokumenty, w których piszesz kod, widzisz wyniki i dokumentujesz pracę jak laboratoryjny notes dla danych. Możesz napisać kod Spark w jednej komórce, zobaczyć wynik w kolejnej, a potem wyjaśnić swoje działania w następnej. Lakehouse to punkt wejścia dla większości inżynierów danych pracujących w fabrik. To tutaj wykonuje się najcięższą pracę, a ponieważ wszystko zapisywane jest w jednym jeziorze, każda dana w Lakehouse jest natychmiast dostępna dla innych obciążeń fabrik w magazynach danych, czyli silniku analitycznym SQL. Jeśli więc Lakehouse to centrum inżynierii danych, traktuj magazyn danych jako silnik analityczny SQL stworzony dla innego typu użytkownika. Magazyn danych w usłudze fabrik to w pełni zarządzana baza danych analitycznych SQL. Jeśli jesteś administratorem baz danych lub programistą SQL, poczujesz się tutaj jak w domu. Możesz pisać zapytania TSQL, tworzyć widoki, procedury składowane oraz polityki bezpieczeństwa. Wygląda i działa jak tradycyjny magazyn danych, ale oto co go wyróżnia. W przeciwieństwie do tradycyjnych magazynów, magazyn w fabrik przechowuje dane bezpośrednio w OneLake. Nie ma oddzielnej warstwy pamięci masowej, ani dodatkowej infrastruktury do zarządzania. Dane znajdują się w OneLake, a magazyn jest tylko interfejsem służącym do ich odpytywania. Ma to znaczenie, ponieważ magazyn i Lakehouse współdzielą te same dane, więc niczego nie duplikujesz. Jeśli inżynier danych załaduje dane do Lakehouse, programista SQL może od razu odpytać je z magazynu. Bez kopiowania, bez przenoszenia. To te same dane, do których dostęp uzyskuje się za pomocą różnych narzędzi. Magazyn został stworzony do analityki na dużą skalę. Pod maską wykorzystuje masowe przetwarzanie równoległe do obsługi ogromnych zbiorów danych. Firma Microsoft intensywnie inwestuje w wydajność. Tylko w ciągu ostatnich 6 miesięcy wydajność wzrosła o 36%. To ogromna poprawa w krótkim czasie. Jeśli migrujesz z innej platformy, fabrik oferuje asystenta migracji, który ułatwia przejście ze Snowflake lub Synapse. Analizuje on twoją dotychczasową konfigurację i prowadzi przez cały proces. Celem jest uczynienie migracji tak bezbolesną, jak to tylko możliwe. Czym więc różni się Lakehouse od magazynu danych? Wszystko sprowadza się do interfejsu. Magazyny stawiają na pierwszym miejscu SQL. Są stworzone dla osób myślących kategoriami tabel, zapytań i procedur składowanych. Lakehouse stawiają na pierwszym miejscu programistów. Są stworzone dla osób, które chcą używać Sparka, Pythona i notatników. Ale pod spodem oba rozwiązania przechowują dane w OneLake. To dwa sposoby pracy z tymi samymi danymi. Pozyskiwanie danych, Data Factory, Mirroring i skróty. Masz więc jeden magazyn danych, Lakehouse do transformacji i magazyn SQL do odpytywania, ale jak dane faktycznie trafiają do środka? Tu wkracza Data Factory. Data Factory to wbudowana usługa integracji danych w Fabrik, oferująca ponad 200 łączników do pobierania danych z baz danych, pamięci w chmurze, aplikacji SAS i innych. To najczęściej używane narzędzie do integracji danych na świecie i nie bez powodu. Wewnątrz Data Factory znajdziesz Dataflow z GEN2, które umożliwiają transformację danych bez kodowania za pomocą Power Query. Jeśli kiedykolwiek używałeś Power Query w Excelu lub Power BI, znasz już ten mechanizm. Klikasz w wizualnym interfejsie, aby czyścić, przekształcać i łączyć dane. Kodowanie nie jest wymagane, a rozwiązanie jest klasy korporacyjnej, skalowalne do obsługi ogromnych zbiorów danych. Ponad 22 miliardy operacji uruchamianych w Data Factory każdego miesiąca oznacza miliardy automatycznych transferów danych, co czyni to rozwiązanie kluczowym elementem infrastruktury. Istnieje jednak jeszcze prostszy sposób na przeniesienie danych do Onelejk – Mirroring. Mirroring kopiuje dane z zewnętrznych baz takich jak Azure SQL, Oracle czy Google BigQuery do Onelejk niemal w czasie rzeczywistym, a co najlepsze, jest to darmowe, wliczone w cenę usługi, bez żadnych dodatkowych kosztów. Wskazujesz tylko bazę źródłową, a resztą zajmuje się Fabrik. Są też skróty, o których wspominaliśmy wcześniej, ale zasługują one na większą uwagę. Skróty to wirtualne wskaźniki do danych przechowywanych gdzie indziej, które nie wymagają przenoszenia plików. Tworzysz skrót do zasobnika AWSS3, a on pojawia się w Onelejk, jakby był tam przechowywany, podczas gdy dane pozostają na swoim miejscu. Po prostu wskazujesz na nie. A teraz skróty potrafią coś więcej niż tylko wskazywać. Transformacje skrótów pozwalają na stosowanie przekształceń opartych na sztucznej inteligencji w locie. Możesz przeprowadzić analizę sentymentu danych tekstowych, przetłumaczyć treść lub wykryć dane osobowe, nie przenosząc danych ani nie budując potoków. Transformacja następuje w momencie uzyskiwania dostępu do danych. Cel tych wszystkich narzędzi jest prosty – zgromadzić wszystkie dane w Onelejk bez budowania złożonych potoków. Niezależnie od tego, czy używasz Data Factory do tradycyjnego ETL, mirroringu do replikacji w czasie rzeczywistym, czy skrótów do wirtualnego dostępu, wynik jest ten sam. Twoje dane trafiają do Onelejk, gotowe do użycia w każdym zadaniu Fabrik. Analiza w czasie rzeczywistym, bazy danych i AI. Do tej pory mówiliśmy o przenoszeniu i przechowywaniu danych, ale co z danymi, które nieustannie napływają? Strumieniowanie danych z czujników i od kliknięć na stronach w W, telemetria z urządzeń. Wtedy do gry wchodzi analiza w czasie rzeczywistym. Fabrik obsługuje strumienie danych za pomocą tak zwanej Event House, który przechowuje i przeszukuje ogromne ilości danych szeregów czasowych przy użyciu KQL, czyli Kusto Query Language. To ten sam silnik, który napędza Azure Data Explorer, stworzony z myślą o szybkości, dzięki czemu możesz przetwarzać miliony zdarzeń na sekundę i przeszukiwać je w milisekundach. To ma znaczenie, a oto dlaczego. 46% klientów Fabrik już korzysta z analityki w czasie rzeczywistym. To niemal połowa. Zastosowania są wszędzie. Firma logistyczna śledząca ciężarówki, sprzedawca monitorujący ruch w sklepie, producent obserwujący dane z czujników w fabryce, wszystko dzieje się w czasie rzeczywistym. Ale Fabrik to nie tylko analityka. Obejmuje również operacyjne bazy danych, takie jak SQL dla danych relacyjnych i Cosmos DB dla obciążeń NoSQL. To te same bazy, których użyłbyś do obsługi swoich aplikacji. A ponieważ są one wbudowane w Fabrik, automatycznie przechowują swoje dane w OneLake. Bez dodatkowych potoków, bez ręcznego kopiowania. Twoje dane transakcyjne i analityczne znajdują się w tym samym miejscu. Porozmawiajmy teraz o sztucznej inteligencji, bo to tutaj Fabrik staje się naprawdę interesujący. Integracja AI jest głęboko osadzona w platformie, oferując gotowe modele do analizy tekstu, tłumaczeń i analizy wydźwięku. Możesz używać ich bezpośrednio w przepływach danych bez pisania kodu. Wystarczy wskazać dane, wybrać model i gotowe. Jest też Copilot, który został wbudowany w cały system Fabrik. Pomaga w pisaniu zapytań, tworzeniu raportów i budowaniu potoków danych. Opisujesz po prostu, czego potrzebujesz prostym językiem, a Copilot generuje kod. To tak, jakby obok Ciebie siedział młodszy inżynier danych, gotowy pomóc w każdej chwili. Wizja jest prosta, AI pracuje na Twoich danych bez przenoszenia ich gdziekolwiek indziej. Twoje dane pozostają w OneLake, a modele AI przychodzą do danych. Bez kopiowania, bez eksportowania, bez zagrożeń bezpieczeństwa. Dane nigdy nie opuszczają Twojego zarządzanego środowiska. Power BI, ład korporacyjny i wartość biznesowa. Przejdźmy teraz do części, którą większość ludzi widzi w pierwszej kolejności, czyli bramy do wglądu w Power BI. Korzysta z niego 550 tysięcy organizacji i 34 miliony użytkowników miesięcznie, co czyni go najczęściej używanym narzędziem BI na świecie. A w ramach Fabrik staje się on jeszcze potężniejszy. Oto klucz. W systemie Fabrik Power BI łączy się bezpośrednio z OneLake za pomocą trybu DirectLake. Różni się to od tradycyjnego trybu importu, w którym kopiujesz dane do wewnętrznej pamięci Power BI. Zamiast tego DirectLake odpytuje dane w miejscu ich przechowywania, w OneLake bez konieczności odświeżania czy duplikacji dane są zawsze aktualne i działają błyskawicznie. Pod każdym raportem Power BI znajduje się model semantyczny, czyli mózg raportu, gdzie definiujesz logikę biznesową, miary i relacje. Teraz możesz tworzyć te modele w całości w przeglądarce internetowej. Modelowanie w przeglądarce jest powszechnie dostępne, więc możesz tworzyć modele semantyczne, budować relacje i pisać miary DAX bezpośrednio w przeglądarce, nawet na komputerze Mac. Żadna aplikacja komputerowa nie jest wymagana. Jednak cała ta potęga danych nic nie znaczy bez odpowiedniego zarządzania, dlatego Fabrik ma je budowane od samego początku. Microsoft Perview zapewnia etykiety poufności, które podążają za Twoimi danymi wszędzie. Jeśli raport zawiera wrażliwe informacje, etykieta pozostaje z nim nawet po wyeksportowaniu. Zasady zapobiegania utracie danych automatycznie wykrywają poufne informacje i blokują nieautoryzowane udostępnianie, a kontrola dostępu zapewnia, że tylko odpowiednie osoby widzą odpowiednie dane. Domeny pomagają organizować dane według obszarów biznesowych z oddzielnymi regułami zarządzania, dzięki czemu dane finansowe mogą podlegać surowszej kontroli niż dane marketingowe. Każdą domeną może zarządzać osobny zespół, co pozwala na sprawowanie nadzoru, który skaluje się wraz z Twoją organizacją. Teraz porozmawiajmy o prawdziwych wynikach. To nie jest tylko teoria. Firma Eastman Chemical wykorzystała Fabrik, aby skrócić czas przygotowania sprzedaży o 83%. To, co kiedyś zajmowało 4 godziny, teraz trwa około 40 minut. Eaton Solutions ograniczyło pracę ręczną o 75%, a procesy wymagające wcześniej od 10 do 15 kroków teraz wymagają dwóch. Z kolei Sonata Software zaoszczędziła rocznie 30 tysięcy godzin ręcznych uzgodnień, kierując ten potencjał ludzki do pracy o wyższej wartości. Model kosztów jest prosty. Płacisz za wydajność, czyli moc obliczeniową, która obsługuje Twoje obciążenia. Microsoft posiada wbudowane mechanizmy wygładzania i ochrony przed nagłymi skokami obciążenia. Wygładzanie rozkłada koszty operacji w tle na 24 godziny, więc nie zaskoczą Cię nagłe piki, a ochrona przed skokami ogranicza zadania w tle w okresach wzmożonego ruchu, aby utrzymać stabilność interaktywną. Płacisz za to, z czego korzystasz, dzięki czemu unikasz niespodzianek. Podsumujmy to wszystko. Fabrik to nie tylko kolejny produkt Microsoftu. To całkowite przemyślenie na nowo sposobu działania platform danych. Jedna platforma, jedno jezioro danych, onelej, jedna kopia danych i nieskończone możliwości. Dzięki budowanej sztucznej inteligencji i kopilotowi jest on dostępny dla każdego. Nie tylko dla specjalistów od danych, ale też analityków biznesowych, zespołów sprzedaży, menedżerów operacyjnych, każdego, kto potrzebuje odpowiedzi płynących z danych. Oto Twoje zadanie domowe. Wejdź na fabric.microsoft.com, uruchom bezpłatną wersję próbną i stwórz swój pierwszy obszar roboczy. Po prostu wypróbuj. Zobaczysz, jak elementy do siebie pasują w sposób, którego nie zastąpi żadna ilość czytania. Jeśli ten odcinek pomógł Ci lepiej zrozumieć Fabrik, zasubskrybuj nas na swojej ulubionej platformie podcastowej i udostępnij go komuś, kto rozpoczyna swoją przygodę z danymi. Będzie Ci wdzięczny. Następnym razem wyjaśnimy, czym są skróty One Lake używając prostego języka. Jak działają, dlaczego są ważne i jak z nich korzystać bez przenoszenia danych. Tego nie możesz przegapić. Do tego czasu ucz się dalej.