Cześć wszystkim, witajcie w kolejnym odcinku Pigułek Wiedzy Microsoft na kanale M365FM. Nazywam się Mirko Peters i będę Waszym gospodarzem. Tematem dzisiejszego odcinka jest coś, o czym słyszał prawie każdy, ale niewielu tak naprawdę rozumie. Bazy danych wektorowych. Prawdopodobnie widzieliście ten termin w artykułach o sztucznej inteligencji lub słyszeliście go w rozmowach o kopilocie i szapt. Ale czym dokładniej jest baza danych wektorowych? Czy to tylko zwykła baza danych z bardziej wymyślną nazwą? Czy może coś zupełnie innego? Co? Wyobraźcie sobie, że szukacie w sklepie internetowym czerwonej kurtki i otrzymujecie wyniki z karmazynowym płaszczem oraz bordową odzieżą wierzchnią. Skąd komputer wie, że to to samo? Nie dopasowuje słów kluczowych. Karmazynowy to nie czerwony, a płaszcz to nie kurtka. Mimo to wyszukiwarka rozumie, że są ze sobą powiązane i właśnie tak działa wyszukiwanie wektorowe. Pod koniec tego odcinka zrozumiecie, czym właściwie są bazy danych wektorowych, dlaczego napędzają wyszukiwanie, a i kopilota oraz jak wpisują się w chmurę Microsoft. Wyjaśnimy to w prosty sposób. Bez matematyki, bez żargonu, tylko jasne podstawy. Czym właściwie jest wektor? Zacznijmy od kluczowego pytania. Czym dokładnie jest wektor? Gdy większość ludzi słyszy słowo wektor, wyobraża sobie strzałkę z lekcji fizyki, wskazującą kierunek i zwrot. W informatyce jest to znacznie prostsze. Wektor to tak naprawdę po prostu lista liczb. Jednowymiarowa tablica, która reprezentuje coś w formacie, z którym komputer może pracować. Oto praktyczny sposób, by to sobie wyobrazić. Jeśli powiedziałbym Wam, żebyście spotkali się ze mną na trzecim piętrze, w skrzydle B, w pokoju 12, to trzy liczby opisujące konkretną lokalizację. To trójwymiarowy wektor informujący dokładnie, gdzie coś znajduje się w budynku. Teraz wyobraźcie sobie, że dodaję więcej szczegółów. Kolor drzwi, wielkość pokoju, cena za metr kwadratowy. Każdy nowy szczegół staje się kolejnym wymiarem. Więc im więcej wymiarów dodasz, tym więcej informacji możesz uchwycić na temat danej rzeczy. Samochód można opisać za pomocą prędkości przebiegu, ceny, masy i oceny bezpieczeństwa. To wektor pięciowymiarowy. Produkt może być opisany przez setki cech, co daje wektor wysokowymiarowy. W tym właśnie rzecz. Wektory pozwalają nam zamienić rzeczy na liczby, które komputery mogą porównywać. Słowa, obrazy, dźwięki, dokumenty, wszystko może stać się listą liczb. Gdy wszystko jest już liczbami, można zacząć mierzyć, jak bardzo podobne są do siebie dwie rzeczy. Dwa pokoje na tym samym piętrze z podobnymi kolorami drzwi znajdą się blisko siebie w przestrzeni wektorowej. Produkty o podobnych cechach również będą się grupować. Ta prosta koncepcja sprawia, że nowoczesne wyszukiwanie AI jest możliwe. Od wektorów do osadzeń nie wszystkie wektory są takie same. Istnieje specjalny rodzaj zwany embeddingiem i to właśnie w nim tkwi prawdziwa moc. Czym więc dokładnie jest embedding? Embedding to wektor, który reprezentuje znaczenie. Model uczenia maszynowego, taki jak Azure OpenAI, tekst EMBEDD i NG3Small odczytuje tekst i umieszcza go w przestrzeni wielowymiarowej. Model uczył się na miliardach przykładów, więc rozumie relacje między słowami. Król i królowa znajdują się blisko siebie, ponieważ dzielą podobny kontekst. Król i kawa znajdują się daleko od siebie, ponieważ go nie dzielą. Oto co to oznacza w prostym języku. Gdy szukasz czerwonej kurtki, system znajduje szkarłatny płaszcz. Model embeddingowy rozpoznaje, że czerwony i szkarłatny mają zbliżone znaczenie, podobnie jak kurtka i płaszcz. Embeddingi dla tych dwóch fraz stają się sąsiadami w przestrzeni wektorowej. Komputer nie dopasowuje już tylko liter. Dopasowuje znaczenie. Pozwólcie, że podam klasyczny przykład. Weź wektor dla króla, odejmij wektor dla mężczyzny i dodaj wektor dla kobiety. Wynik jest bardzo zbliżony do wektora dla królowej. Król minus mężczyzna plus kobieta równa się królowa. Może to brzmieć jak magia, ale w rzeczywistości model w ten sposób przekłada relacje na liczby. Nauczył się, że król i królowa dzielą relację podobną do mężczyzny i kobiety, a ta relacja jest zakodowana w współrzędnych. Modele embeddingowe przyjmują surowy dany tekst, obrazy lub dźwięk i zamieniają je na listę liczb reprezentujących ich znaczenie. Liczby te stają się współrzędnymi w przestrzeni wielowymiarowej. Następnie, gdy wyszukujesz, twoje zapytanie jest przekształcane w ten sam rodzaj współrzędnych. Wystarczy tylko zmierzyć odległość między nimi. To jest główna idea. Dlaczego tradycyjne bazy danych zawodzą? Jeśli embeddingi są tak potężne, dlaczego nie możemy użyć zwykłej bazy danych? Odpowiedzmy na to. Tradycyjne bazy danych SQL są stworzone do dokładnych dopasowań. Piszesz, gdzie kolor równa się czerwony i znajduje każdy wiersz, w którym kolumna koloru dosłownie zawiera słowo czerwony. Działa to świetnie dla danych strukturalnych, takich jak nazwiska klientów, daty zamówień czy ceny produktów, ale zupełnie zawodzi, gdy potrzebujesz nieostrego znaczenia. Spróbuj napisać zapytanie SQL, które znajdziesz karłatny płaszcz, gdy w danych masz tylko bordową kurtkę. Nie możesz, ponieważ SQL nie rozumie pojęć. Tradycyjne bazy danych przechowują dane w wierszach i kolumnach. Są zoptymalizowane pod kątem łączeń, agregacji i dokładnych wyszukiwań. Nie wiedzą, że samochód i auto to to samo. Nie wiedzą, że podekscytowany i zachwycony to podobne emocje. Dopasowują po prostu ciągi znaków. A jeśli dane są niestrukturalne, jak pliki PDF, obrazy, nagrania audio czy długie dokumenty, tradycyjne bazy mogą je przechowywać jako obiekt typu blob, ale nie potrafią przeszukać ich zawartości. Potrzebne byłoby wyszukiwanie pełnotekstowe, które wciąż opiera się na dopasowywaniu słów kluczowych. Jeśli użytkownik wpisze raport budżetowy, a w dokumencie widnieje podsumowanie finansowe, wyszukiwanie słów kluczowych całkowicie to pominie. Pomyśl o tym w ten sposób. Zwykła baza danych jest jak szafka na dokumenty. Musisz znać dokładną nazwę pliku, aby znaleźć to, czego szukasz. Baza wektorowa jest jak bibliotekarz, który rozumie, o co Ci chodzi. Możesz powiedzieć, potrzebuje dokumentu o wydatkach z ostatniego kwartału, a bibliotekarz wie dokładnie, który folder wyciągnąć, nawet jeśli jest opisany jako podsumowanie finansowe za trzeci kwartał. Bibliotekarz rozumie intencje, a nie tylko etykiety. Dlatego właśnie istnieją bazy danych wektorowych. Przechowują one osadzenia, czyli wektory oddające znaczenie i indeksują je w sposób umożliwiający szybkie wyszukiwanie podobieństw. Nie zastępują one tradycyjnych baz danych. Dodają one warstwę zrozumienia, a ta warstwa zmienia wszystko. Jak działają bazy danych wektorowych? Jak to wszystko działa za kulisami? Przejdźmy przez dwie główne fazy – wczytywanie i zapytanie. Wczytywanie to faza konfiguracji. Bierzesz surowe dane, opisy produktów, zgłoszenia do pomocy technicznej, dokumenty wewnętrzne, cokolwiek masz i przepuszczasz każdy element przez model osadzania. Ten model zamienia tekst w wektor, czyli listę liczb, która oddaje jego znaczenie. Następnie zapisujesz ten wektor w bazie wraz z metadanymi, oryginalnym tekstem, znacznikiem czasu, kategorią czy adresem źródłowym. A teraz najsprytniejsza część. Gdybyś miał milion dokumentów, sprawdzanie każdego wektora z osobna trwałoby wieczność. Dlatego bazy danych używają czegoś, co nazywamy indeksowaniem. Pomyśl o indeksowaniu jak o tworzeniu mapy przestrzeni wektorowej zamiast pukania do każdych drzwi z osobna. Dwie powszechne metody to IVF i HNSW. IVF oznacza odwrócony indeks plikowy. Działa poprzez grupowanie podobnych wektorów w klastry. Podczas wyszukiwania, zamiast przeszukiwać wszystkie miliony wektorów, sprawdzasz tylko najbardziej obiecujące klastry. To jak szukanie książki w bibliotece. Idziesz prosto do odpowiedniego działu, zamiast przeglądać każdą półkę. HNSW oznacza hierarchiczny graf małych światów. Ten pomysł jest całkiem elegancki. Buduje on wielowarstwową mapę twoich wektorów. Górna warstwa zawiera kilka reprezentatywnych wektorów, które dają ogólne rozeznanie, gdzie co jest. Każda kolejna warstwa w dół jest bardziej szczegółowa. Podczas wyszukiwania zaczynasz od góry, znajdujesz ogólne sąsiedztwo, a następnie drążysz warstwa po warstwie, aż trafisz na dokładne dopasowanie. To jak użycie najpierw mapy miasta, potem mapy dzielnicy, a na końcu planu ulic. Każdy kolejny krok przybliża cię do celu. Rezultatem jest możliwość przeszukiwania milionów wektorów w milisekundach. To właśnie napędza funkcje, a i działające w czasie rzeczywistym. Gdy wpisujesz pytanie w kopilota i w kilka sekund otrzymujesz odpowiedź, gdzieś w tle baza wektorowa właśnie przeprowadziła wyszukiwanie podobieństwa w tysiącach lub milionach dokumentów. Faza zapytania działa w odwrotną stronę w ten sam sposób. Wpisujesz swoje pytanie. Pytanie to zostaje przekształcone w wektor przy użyciu tego samego modelu osadzeń. Następnie baza danych odnajduje najbliższych sąsiadów twojego wektora zapytania, korzystając z indeksu. Zwraca najbardziej zbliżone wyniki uszeregowane według odległości. Im bliżej siebie znajdują się wektory, tym bardziej trafny jest wynik. Ekosystem Microsoft, w którym żyją wektory. Gdzie więc to wszystko znajduje się w świecie Microsoft? Krótka odpowiedź brzmi – wszędzie. Microsoft dodaje obsługę wektorów do platform danych, z których już korzystasz, zamiast zmuszać cię do używania oddzielnej, wyspecjalizowanej bazy danych. Przejdźmy przez najważniejsze z nich. Azure AI Search to najpopularniejszy magazyn wektorowy dla rozwiązań RAC klasy korporacyjnej. To znaczy Retrival Augmented Generation. Obsługuje wyszukiwanie hybrydowe, co oznacza połączenie tradycyjnego dopasowywania słów kluczowych z podobieństwem wektorowym. Dlaczego to jest ważne? Ponieważ niektóre wyszukiwania działają najlepiej dzięki słowom kluczowym, kodom produktów, nazwom czy datom, podczas gdy inne wymagają zrozumienia semantycznego. Wyszukiwanie hybrydowe oferuje obie te możliwości. Azure AI Search zawiera także zintegrowaną wektoryzację, więc możesz skonfigurować potok, który automatycznie dzieli dokumenty, generuje osadzenia i indeksuje je bez pisania własnego kodu. Cosmos DB posiada teraz natywne wyszukiwanie wektorowe z indeksowaniem Disk-Anne. Disk-Anne oznacza wyszukiwanie przybliżonych najbliższych sąsiadów na dysku i jest zaprojektowane dla opóźnień poniżej 20 milisekund nawet przy ogromnej skali. To świetne rozwiązanie dla danych operacyjnych, które już znajdują się w Cosmos DB. Załóżmy, że budujesz aplikację e-commerce bezpośrednio do katalogu produktów bez przenoszenia danych do oddzielnej usługi. Klient szuka lekkich butów letnich, a Twoja aplikacja znajduje produkty o podobnych opisach bezpośrednio w istniejącej bazie danych. Azure SQL Server 2025 i Azure SQL Database również dołączyły do tego grona. Zawierają teraz natywny typ danych wektorowych oraz funkcje takie jak wyszukiwanie wektorowe. Oznacza to, że możesz przechowywać osadzenia bezpośrednio obok swoich danych relacyjnych. Rekordy klientów z wektorowymi reprezentacjami preferencji, pozycje w magazynie z wektorowymi opisami, zgłoszenia pomocy z wektorowymi osadzeniami ich treści. Nie potrzebujesz oddzielnej bazy wektorowej. Twoje dotychczasowe umiejętności SQL pozostają w użyciu. Wystarczy dodać kolumnę wektorową, stworzyć indeks i rozpocząć wyszukiwanie według podobieństwa. Oto jak Copilot wykorzystuje to od strony technicznej. Kiedy pytasz, pokaż mi raport sprzedaży za trzeci kwartał z zeszłego roku, Copilot nie szuka dokładnej frazy raport sprzedaży za trzeci kwartał. Konwertuje Twoje pytanie na wektor, przeszukuje zindeksowane dokumenty, e-maile, pliki SharePoint, dokumenty OnDrive, czaty, Teams i znajduje dokument, którego osadzenie jest najbliższe Twojemu zapytaniu. Może znaleźć plik o nazwie Podsumowanie finansowe za trzeci kwartał 2024, ponieważ znaczenie się zgadza, mimo że dokładne słowa nie. Tak właśnie działa wyszukiwanie wektorowe. Kluczowym spostrzeżeniem jest tutaj strategia firmy Microsoft. Zamiast mówić, kup specjalistyczną bazę wektorową, dodają możliwości wektorowe do narzędzi, których już używasz. Azure AI Search, Cosmos DB, SQL Server, wszystkie one obsługują teraz wektory. Nie musisz uczyć się nowego systemu. Wystarczy, że zrozumiesz koncepcję, a Microsoft zajmie się całą ciężką pracą. Rzeczywiste zastosowania w AI. Gdzie więc dzisiaj w praktyce widzimy działanie baz wektorowych? Oto jak to wygląda w rzeczywistości. RAC to najważniejszy przykład. Skrót ten oznacza Retrival Augmented Generation i tak obecnie działa większość systemów AI w przedsiębiorstwach. Kiedy zadajesz hotbotowi pytanie, nie zgaduje on na podstawie swoich danych treningowych. Zamiast tego przeszukuje bazę wektorową w poszukiwaniu odpowiednich dokumentów, pobiera najbliższe dopasowania i przekazuje je modelowi językowemu jako kontekst. Następnie model buduje odpowiedź w oparciu o te konkretne dokumenty. Oznacza to dokładne odpowiedzi dotyczące zasad produktów lub danych twojej firmy. Bez baz wektorowych, a i zgadywałoby na podstawie ogólnej wiedzy z internetu. Dzięki nim korzysta bezpośrednio z twoich rzeczywistych plików. Silniki rekomendacji to kolejne ogromne pole zastosowań. Netflix, Amazon, YouTube wszystkie działają w ten sam sposób. Zamieniają użytkowników w wektory na podstawie zachowania tego, co oglądasz, kupujesz lub w co klikasz. Zamieniają też elementy w wektory na podstawie opisów, recenzji i cech. Następnie po prostu znajdują najbliższych sąsiadów. Jeśli twój wektor jest blisko wektora filmu, polecają ten film. To wyszukiwanie podobieństwa na masową skalę działające setki razy na sekundę dla każdego użytkownika. Wyszukiwanie semantyczne to trzecie duże zastosowanie. To wyszukiwanie według znaczenia, a nie słów kluczowych. Pracownik wsparcia wpisuje klient nie może się zalogować po zresetowaniu hasła i znajduje artykuł pod tytułem Rozwiązywanie problemów z uwierzytelnianiem po aktualizacji danych logowania. Słowa się nie zgadzają, ale znaczenie tak. To właśnie umożliwia wyszukiwanie wektorowe. Dla zespołu obsługującego setki zgłoszeń dziennie drastycznie skraca to czas ich rozwiązywania. Jest jeszcze wykrywanie anomalii. Mniej oczywiste, ale bardzo skuteczne. Osadzasz typowe zachowania, wzorce transakcji, zwykłe metryki systemu, standardowe działania użytkownika. Przechowujesz te wektory, a następnie flagujesz wszystko, co znajduje się daleko od skupiska. Transakcja, która w niczym nie przypomina normalnej, to oszustwo. Metryka serwera, znacznie wykraczająca poza zwykły zakres, to zwiastun nadchodzącej awarii. Bazy danych wektorowych sprawiają, że dzieje się to wystarczająco szybko, by działać w czasie rzeczywistym. W świecie Microsoftu widać to wszędzie. Power Apps wykorzystuje wyszukiwanie wektorowe do sugestii, a i podczas tworzenia formularzy. Dynamics 365 używa go do inteligentnego przeszukiwania rekordów klientów. Transkrypcje spotkań w Teams są zamieniane na wektory, dzięki czemu możesz zapytać, co postanowiliśmy w sprawie budżetu i znaleźć dokładny moment w nagraniu. Kopilot dla Microsoft 365 to w istocie ogromny system RAC działający w oparciu o Twoje dane osobiste i firmowe, wspierany wyszukiwaniem wektorowym. Utrzymanie tego wszystkiego w synchronizacji to proces ETL dla wektorów. Oto praktyczne wyzwanie. Dane się zmieniają, dokumenty są aktualizowane, dodawane są nowe produkty, a stare zasady archiwizowane. Za każdym razem, gdy zmieniają się dane źródłowe, muszą zmienić się również Twoje wektory. Właśnie tu wkracza wektorowe ETL. ETL oznacza ekstrakcję, transformację i ładowanie Extract Transform Blob. W przypadku baz danych wektorowych proces wygląda następująco. Najpierw wyodrębniasz nowe lub zmienione dokumenty ze źródła, na przykład kontenera magazynu Blob, biblioteki SharePoint lub bazy danych SQL. Następnie transformujesz je, dzieląc tekst na łatwe do zarządzania fragmenty i przepuszczając każdy z nich przez model osadzania. Na koniec ładujesz wynikowe wektory do magazynu wraz z metadanymi, takimi jak oryginalny adres URL, znacznik czasu i użyta wersja modelu. Najlepszą praktyką jest tutaj przetwarzanie przyrostowe. Nie przetwarzaj ponownie całego korpusu za każdym razem, gdy coś się zmieni. Przetwarzaj tylko te dokumenty, które faktycznie uległy zmianie. Śledź, która wersja modelu wygenerowała dane osadzenie, przy aktualizacji modelu stare wektory staną się niespójne z nowymi. I pilnuj kosztów. Interfejsy API do osadzania naliczają opłaty za token, więc przetwarzanie milionów dokumentów szybko się sumuje. W Azure typowy przepływ pracy jest prosty. Umieść dokumenty w magazynie Blob. Następnie skonfiguruj indeksator Azure i SERP ze zintegrowanym zestawem umiejętności, który automatycznie obsługuje dzielenie i osadzanie. Microsoft udostępnia funkcję dzielenia tekstu oraz umiejętność modelu osadzania Azure OpenAI do generowania wektorów. Indeksator uruchamia się zgodnie z harmonogramem, pobiera nowe pliki, przetwarza je i dodaje lub aktualizuje wektory w indeksie. Nie potrzeba żadnego niestandardowego kodu potoku. Oto częsty błąd, ignorowanie metadanych. Każdy wektor potrzebuje odniesienia do źródła, nazwy i wersji modelu osadzania oraz znacznika czasu utworzenia. Bez tego nie prześledzisz pochodzenia wyniku, nie dokonasz ponownego osadzenia przy zmianie modelu i będziesz mieć problemy z audytami zgodności. Traktuj swoje wektory jak każde inne dane biznesowe, by spróbować samodzielnie? Zacznij od prostych rzeczy. Otwórz portal Azure i utwórz zasób Azure AI Search. Następnie włącz wyszukiwanie wektorowe w istniejącym indeksie. Prześlij kilka dokumentów, wybierz model osadzeń i uruchom zapytanie o podobieństwo. Zobaczysz, że działa w mniej niż godzinę. Programiści mogą pobrać zestaw Python SDK, osadzić garść dokumentów przy użyciu Azure OpenAI, zapisać je w wyszukiwarce wektorowej Cosmos DB i napisać zapytanie znajdujące najbliższe dopasowanie. Microsoft udostępnia przejrzyste przykłady kodu i dokumentacje, które przeprowadzą Cię przez ten proces. Nie musisz być analitykiem danych, aby korzystać z baz danych wektorowych. Narzędzia Microsoft zajmują się generowaniem osadzeń, indeksowaniem i logiką zapytań. Twoim jedynym zadaniem jest zrozumienie koncepcji i skierowanie narzędzi na własne dane. Oto wyzwanie. Pomyśl o problemie z wyszukiwaniem, z którym mierzysz się dzisiaj. Może chodzi o znajdowanie dokumentów wewnętrznych, przeszukiwanie katalogu produktów lub odpowiadanie na pytania klientów z bazy wiedzy. Czy wyszukiwanie wektorowe poradzi sobie lepiej niż dopasowywanie słów kluczowych? Wybierz mały zestaw danych, nawet 100 dokumentów i spróbuj. Poczujesz różnicę od razu. Więc teraz już rozumiesz, czym właściwie są bazy danych wektorowych. To nie jest żadna tajemnicza technologia AI. To po prostu sposób na przechowywanie i przeszukiwanie znaczenia danych zamiast dokładnych słów. Napędzają one inteligentne wyszukiwanie i funkcje AI wewnątrz Microsoft 365, Azure i Copilot. Za każdym razem, gdy zadajesz pytanie i otrzymujesz trafną odpowiedź, gdzieś w tle baza danych wektorowych znalazła najbliższe dopasowanie do Twojego zapytania. Twoje ustrukturyzowane fakty, nazwiska klientów, kwoty zamówień czy stany magazynowe, nadal znajdują się w tradycyjnych bazach danych. Bazy danych wektorowych dodają warstwę zrozumienia. Pozwalają one Twojej aplikacji przeszukiwać dane według znaczenia, intencji i kontekstu. To jest szerszy obraz. Zasubskrybuj, aby otrzymywać więcej wyjaśnień technologii Microsoft prostym językiem. Następnym razem przyjrzymy się, jak działają potoki RAC i jak możesz zbudować taki w jedno popołudnie. Dzięki za uwagę. ...