Wyobraź sobie taką sytuację. Pracujesz w firmowej aplikacji. Może to portal HR, baza wsparcia klienta albo wewnętrzna wiki ze wszystkimi zasadami, których musisz przestrzegać. Wpisujesz pytanie w pasek wyszukiwania. Na przykład jak rozliczyć wydatki na kolację z klientem? Naciskasz Enter i co dostajesz? Nic. Albo gorzej listę przypadkowych plików PDF sprzed 3 lat, które jako tako pasują do wpisanych słów. Z wyszukiwarek korzystamy każdego dnia, a przez większość czasu działają one fatalnie. Ale wiesz co? Wcale nie muszą. Co gdyby Twoje aplikacje rzeczywiście rozumiały? O co pytasz? Co gdyby wyszukiwały jak Google, znajdując właściwą odpowiedź, nawet jeśli nie używasz idealnie dobranych słów? Dziś zajmiemy się Azure AI Search. Czym dokładnie jest, jak działa od środka i dlaczego jest silnikiem wyszukiwania, na którym bazują nowoczesne aplikacje? Złap kawę i zaczynajmy. Dlaczego wyszukiwanie nie działa?

Aby zrozumieć, dlaczego wyszukiwanie zazwyczaj zawodzi, musimy przyjrzeć się, jak robi to większość aplikacji. Tradycyjny sposób nazywa się wyszukiwaniem słów kluczowych lub wyszukiwaniem leksykalnym. Wpisujesz słowo laptop w pole, a system przeszukuje wszystko i znajduje każdy dokument zawierający dokładnie to słowo. Od środka wiele z tych systemów korzysta z algorytmu o nazwie BM25. Nie jest skomplikowany, ale na swój sposób pomysłowy. BM25 szereguje wyniki w oparciu o kilka czynników. Jak często szukany termin występuje w dokumencie, jak długi jest dokument i jak rzadki jest ten termin w całym zbiorze danych. Pomyśl o tym, jak o bardzo zaawansowanym liczniku słów, który na podstawie tych czynników ustala, które dokumenty są najistotniejsze. W tym miejscu pojawiają się problemy. Ludzki język jest skomplikowany. Ludzie nie zadają pytań, używając dokładnie tych samych słów, które znajdują się w dokumentach.

Podam Ci konkretny przykład. Użytkownik wpisuje w portalu wsparcia takie zdanie. Mój laptop zacina się podczas rozmów wideo. Wyszukiwanie słów kluczowych posłusznie poszuka dokumentów zawierających słowa laptop zacina podczas rozmów wideo. A co, jeśli najlepszy artykuł na ten temat nosi tytuł Rozwiązywanie problemów z zawieszaniem systemu podczas spotkań Teams? Albo zarządzanie dławieniem procesora w stacjach dokujących? Wyszukiwanie słów kluczowych całkowicie je pominie. Dlaczego? Ponieważ słowa się nie zgadzają. Kluczowy problem jest następujący. Wyszukiwanie słów kluczowych rozumie pisownie. Rozumie wzorce znaków, ale nie rozumie znaczenia. Dostajesz wyniki, które mają poprawne litery, ale często błędną treść. Jeśli więc dopasowywanie słów co do joty zostawia takie luki, to jaka jest alternatywa? Nowy sposób. Wyszukiwanie wektorowe. Wyszukiwanie wektorowe to zupełnie inne podejście do działania.

Zamiast dopasowywać dokładne słowa, dopasowuje znaczenie. Brzmi to abstrakcyjnie, więc rozbijmy to na części. Najprostsza definicja, jaką musisz znać wektor, to po prostu lista liczb, która reprezentuje coś, z czym komputer może pracować. To wszystko lista liczb. Embedding to specjalny rodzaj wektora, który przechwytuje znaczenie tekstu. Zamienia zdanie akapit, a nawet cały dokument w długą listę liczb. Komputer nie rozumie słów, ale rozumie liczby. Oto pomocna analogia. Pomyśl o wektorach jak o współrzędnych na mapie. Na mapie podobne miejsca znajdują się blisko siebie. W przestrzeni wektorowej podobne pojęcia znajdują się blisko siebie. Wektor dla króla i wektor dla królowej są blisko siebie, ponieważ reprezentują powiązane idee. Wektor dla króla i wektor dla jabłka są daleko od siebie. Komputer nie wie, co słowo król oznacza w ludzkim sensie, ale potrafi zmierzyć odległość między jego współrzędnymi, a współrzędnymi każdego innego słowa lub dokumentu.

To jak posiadanie GPS dla idei. System wie, jak daleko od siebie znajdują się pojęcia, patrząc tylko na liczby. Gdy wyszukujesz za pomocą wektorów, system przekształca twoje zapytanie w embedding. Następnie znajduje dokumenty, których embeddingi są najbliższe twojemu. Znajduje rzeczy semantycznie podobne, które dzielą znaczenie, a nie tylko słownictwo. Wyobraź sobie, że szukasz dokumentu o rozwiązywaniu problemów z zawieszonym laptopem. W wyszukiwaniu słów kluczowych musiałbyś wpisać dokładnie zawieszenie lub zawiecha. Ale przy wyszukiwaniu wektorowym możesz wpisać mój komputer ciągle się zacina, a on znajdzie właściwy dokument. Na tym polega moc rozumienia znaczenia. Wróćmy do naszego przykładu z zepsutym wyszukiwaniem. Użytkownik wpisuje mój laptop ciągle się zawiesza. Dzięki wyszukiwaniu wektorowemu system może zwrócić artykuł o zawieszaniu systemu podczas spotkań na Teams, nawet jeśli żadne z tych słów nie pojawia się w zapytaniu.

Dlaczego? Ponieważ znaczenie zawieszania systemu jest bardzo bliskie zawieszaniu komputera w przestrzeni wektorowej. Te pojęcia znajdują się blisko siebie na tej mapie. System nie przejmuje się dokładnymi słowami, dba o to, co masz na myśli. To jest przełom. Komputery zaczynają rozumieć intencje, a nie tylko pisownie. Znajdują odpowiedzi, które wyszukiwanie słów kluczowych całkowicie by pominęło. Ale wyszukiwanie wektorowe ma też swoje słabości. Może pominąć dokładne dopasowania, które są absolutnie krytyczne. Jeśli technik szuka konkretnego kodu błędu, na przykład X870570, wyszukiwanie wektorowe może nadać priorytet dokumentom o błędach dysku lub uszkodzeniach systemu plików, zamiast wskazać dokument omawiający ten konkretny kod. Przedkłada zrozumienie nad precyzję. Mamy więc dwie metody. Wyszukiwanie słów kluczowych świetnie sprawdza się w kwestii precyzji. Doskonale radzi sobie z dokładnymi terminami, identyfikatorami produktów czy numerami umów.

Wyszukiwanie wektorowe świetnie sprawdza się w kwestii znaczenia. Gdy nie używasz odpowiednich słów, każda z nich ma swoje słabe punkty. To rodzi oczywiste pytanie. Co, gdyby można było połączyć oba podejścia i czerpać z nich to? Co najlepsze? Przełom hybrydowy. Wyszukiwanie hybrydowe to połączenie zalet obu rozwiązań. Uruchamia jednocześnie wyszukiwanie słów kluczowych i wektorowe, a następnie łączy wyniki w jedną rankingową listę. Zamiast wybierać jedną metodę, system stosuje tak zwany fuzję odwrotności rank, czyli RRF. Oto jak to działa. RRF sprawdza, jakie miejsce dany dokument zajmuje w wynikach słów kluczowych, a jakie w wynikach wektorowych. Następnie nadaje mu łączną punktację. Jeśli dokument wypada dobrze w obu, zyskuje wyższą pozycję. To tak, jakby zestawić opinię dwóch ekspertów i wyciągnąć z nich średnią. Ostateczna odpowiedź jest bardziej wiarygodna niż w przypadku każdej z metod z osobna.

Ma to znaczenie, ponieważ wyszukiwanie słów kluczowych i wektorowe mają fundamentalnie różne mocne strony. Wyszukiwanie słów kluczowych przoduje w dokładnych dopasowaniach. Jest niezastąpione przy identyfikatorach produktów, numerach umów, konkretnych nazwach czy kodach błędów. Jest precyzyjne i przewidywalne. Wyszukiwanie wektorowe przoduje w podobieństwie semantycznym, znajdując dokumenty o tym samym znaczeniu, co zapytanie, nawet jeśli nie zawierają one dokładnie tych samych słów. Razem eliminują swoje wzajemne słabe punkty. System wychwytuje dokładne i koncepcyjne dopasowania w ramach jednego zapytania. Na tym polega prawdziwa siła. I nie jest to tylko teoria. Badania nad korporacyjnym wyszukiwaniem hybrydowym pokazują, że zapewnia ono od 70 do 80% precyzji pobierania, w zależności od zbioru danych. To o około 15 do 20 punktów procentowych więcej niż w przypadku samego wyszukiwania wektorowego.

Różnica jest znacząca i przekłada się na rzeczywiste wyniki biznesowe. Weźmy pod uwagę platformę księgową Xero. Wdrożyli wyszukiwanie hybrydowe w swojej obsłudze klienta za pośrednictwem firmy Caveo. W ciągu trzech miesięcy odnotowali 20% wzrost liczby rozwiązań uzyskanych dzięki samoobsłudze. Klienci częściej znajdowali odpowiedzi samodzielnie, bez potrzeby kontaktowania się z obsługą. Inni klienci w tym samym studium w przypadku odnotowali do 40% skrócenia czasu rozwiązywania spraw przez wsparcie. Oznacza to, że agenci szybciej znajdowali właściwe informacje, klienci otrzymywali odpowiedzi szybciej, a koszty wsparcia zmalały. To nie tylko miły dodatek, to mierzalny wpływ na wynik finansowy. To najważniejszy wniosek. Wyszukiwanie hybrydowe to nie tylko miłe ulepszenie, czy pozycja na liście funkcji to wymiernie lepsze rozwiązanie. Zapewnia wyższą precyzję, lepszy odzysk informacji i lepsze wyniki dla użytkownika.

I to właśnie połączenie tych podejść sprawia, że Azure AI Search jest tak potężne w nowoczesnych aplikacjach. Istnieje jednak inna technologia, którą to połączenie odblokowuje, a która obecnie zyskuje dużą popularność. Nazywa się RAC, czyli połączenie RAC. Porozmawiajmy więc o RAC. RAC to skrót od Retrival Augmented Generation, czyli generowania wspomaganego wyszukiwaniem. To trudne do wymówienia, ale oto najprostsza definicja. To framework, który daje asystentom, a i dostęp do informacji, na których nie byli szkoleni. Duże modele językowe, takie jak GPT, wiedzą wiele o historii, nauce i programowaniu, ale nie znają wewnętrznych dokumentów Twojej firmy, polityk, historii klientów, czy konkretnych procedur stosowanych przez Twój zespół. Większość ludzi uważa, że można po prostu wrzucić całą tę wewnętrzną wiedzę do samego modelu. To nie działa. Jest to kosztowne i trudne do aktualizacji. RAC rozwiązuje ten problem w sprytny sposób.

Zamiast upychać wszystko w modelu, pobierasz istotne informacje z bazy wiedzy w momencie, gdy ktoś zadaje pytanie. Bierzesz zapytanie użytkownika, przeszukujesz wewnętrzne dane, znajdujesz najbardziej odpowiednie dokumenty i przekazujesz ten kontekst do modelu LLM wraz z oryginalnym pytaniem. Model LLM generuje następnie odpowiedź opartą na Twoich danych. Na tym polega magia. Azure iSearch stanowi połowę tego równania, odpowiedzialną za wyszukiwanie. To silnik, który znajduje właściwe dokumenty, aby model LLM mógł odpowiedzieć precyzyjnie. Bez solidnej warstwy wyszukiwania, system RAC jest tylko tak dobry, jak dokumenty, które znajduje. I właśnie tutaj wyszukiwanie hybrydowe naprawdę błyszczy, ponieważ zapytania RAC to często pytania w języku naturalnym, a odpowiedzi często znajdują się w dokumentach używających zupełnie innej terminologii. Podam kilka litw, które naprawdę pokazują różnicę.

Badanie dotyczące wyszukiwania w aplikacjach korporacyjnych wykazało, że hybrydowy framework RAC poprawił dokładność wyszukiwania TOPKa od 18 do 25 razy w porównaniu z samym wyszukiwaniem słów kluczowych. Dokładność wykonywania zadań w ramach przepływu pracy poprawiła się 21-krotnie. Oznacza to, że użytkownicy znacznie częściej skutecznie kończyli złożone zadania, gdy wspierał ich system RAC korzystający z wyszukiwania hybrydowego. Ogólnie rzecz biorąc, odpowiednio wdrożone systemy RAC mogą zwiększyć dokładność wyszukiwania średnio o 85%, a w niektórych wyspecjalizowanych dziedzinach nawet do 99%. A ponieważ model LLM generuje odpowiedzi na podstawie pobranego kontekstu, a nie własnych domysłów, systemy RAC wykazały około 40% redukcję halucynacji w odpowiedziach. Dlatego właśnie Azure AI Search ma kluczowe znaczenie dla tworzenia agentów AI i kopilotów. Zapewnia oparte na faktach wyszukiwanie, dzięki któremu modele LLM stają się godne zaufania w kontekście biznesowym.

Jeśli tworzysz asystenta, który ma precyzyjnie odpowiadać na pytania i podawać źródła architektura, wyszukiwanie hybrydowe plus RAC będzie najlepszym wyborem. Zatem wyszukiwanie hybrydowe w połączeniu z RAC to potężne rozwiązanie. Ale jak to właściwie wygląda w praktyce? Jaki jest realny wpływ tego rozwiązania? Gdzie więc możemy spotkać to w praktyce? Podam kilka przykładów. Handel elektroniczny jest prawdopodobnie najbardziej znany. Klient wpisuje w pasek wyszukiwania wygodne buty do biegania. Opis produktu może zawierać hasło amortyzowane obuwie sportowe, ponieważ dział marketingu użył innych słów. Samo wyszukiwanie słów kluczowych zupełnie pominęłoby ten wynik. Dzięki Azure AI Search system rozumie, że wygodne i amortyzowane oznaczają w tym kontekście mniej więcej to samo. Wyświetla właściwy produkt, nawet jeśli użyte słowa nie są identyczne. Dzięki temu klient znajduje to, czego szuka, zamiast sfrustrowany opuszczać stronę.

Portale wsparcia klienta działają w ten sam sposób. Wyobraźmy sobie, że klient wpisuje, jak anulować subskrypcję. Odpowiednia polityka może nosić tytuł wypowiedzenie umowy o świadczenie usług. Wyszukiwanie hybrydowe znajduje ten konkretny dokument poprzez dopasowanie słów kluczowych w terminologii prawnej, ale dzięki podobieństwu semantycznemu wskazuje również powiązane FAQ dotyczące wcześniejszego zakończenia planu. Klient otrzymuje wyczerpującą odpowiedź, zamiast przekopywać się przez pięć różnych artykułów. Kolejnym przykładem jest pobieranie dokumentów prawnych. Prawnicy muszą przeszukiwać umowy według dokładnych numerów klauzul i odniesień do sekcji. To domena czystych słów kluczowych, ale muszą oni także znajdować podobne zapisy w różnych umowach, nawet jeśli brzmią one inaczej. Wyszukiwanie hybrydowe obsługuje obie te potrzeby w jednym zapytaniu, a w branżach regulowanych możliwość prześledzenia, dlaczego dany wynik się pojawił, jest kluczowa dla zapewnienia zgodności.

Wewnętrzne bazy wiedzy również na tym korzystają. Pracownik szukający zasad urlopowych otrzymuje oficjalny dokument HR, ale także powiązaną wiadomość e-mail oddziału prawnego dotyczącą przeniesienia dni wolnych oraz najnowszą aktualizację z intranetu firmy. Wyszukiwarka rozumie, że wszystkie te elementy są powiązane z tym samym pytaniem. Produkcja to mniej oczywisty, ale bardzo skuteczny przykład. Technik wpisuje w interfejs wyszukiwania naprawa przegrzewającego się silnika. System zwraca sekcję rozwiązywania problemów z instrukcji obsługi urządzenia oraz zeskanowany schemat przedstawiający odpowiednie części. Chociaż schemat jest obrazem Azure, a iSearch potrafi wyodrębnić i zindeksować jego treść tekstową, dzięki czemu pojawia się on w wynikach wyszukiwania. Wspólnym mianownikiem wszystkich tych przykładów są dane nieustrukturyzowane. Pliki PDF, dokumenty Word, zgłoszenia pomocy technicznej i mail, zeskanowane obrazy.

Tradycyjne zapytania bazodanowe i wyszukiwanie słów kluczowych nigdy nie zostały zaprojektowane do obsługi tego typu danych. Azure iSearch jest stworzony specjalnie dla tego świata i im bardziej się mu przyglądasz, tym wyraźniej widać, że wyszukiwanie hybrydowe to coś więcej niż tylko miły dodatek. To fundamentalny element sposobu budowania nowoczesnych aplikacji. Jak te elementy do siebie pasują, Jak to wszystko właściwie działa pod maską? Azure iSearch ma trzy kluczowe bloki konstrukcyjne źródło danych, indeksator i indeks wyszukiwania. Źródło danych to miejsce, w którym znajdują się Twoje informacje. Może to być blob storage, baza danych Azure SQL, Cosmos DB, a nawet SharePoint. To surowy materiał, który musi stać się przeszukiwalny. Pomyśl o tym, jak o stosie dokumentów czekających na uporządkowanie. Indeksator to potok, który odczytuje dane ze źródła, wyodrębnia zawartość, stosuje skonfigurowane wzbogacenia AI, a następnie buduje indeks wyszukiwania.

Oto prosty sposób, by to sobie wyobrazić. Wyobraź sobie bibliotekarza wchodzącego do magazynu pełnego książek. Czyta każdą z nich, robi szczegółowe notatki, identyfikuje kluczowe tematy i encje oraz organizuje wszystko w katalogu kartkowym. To czytanie i robienie notatek to proces indeksowania. Indeks wyszukiwania to właśnie ten katalog kartkowy. To nie są same książki. To ustrukturyzowany, zoptymalizowany system, który pozwala znaleźć dokładnie to, czego potrzebujesz w milisekundach. Kiedy wpisujesz zapytanie, system nie wraca do oryginalnych dokumentów, aby je przeszukać. Zamiast tego sprawdza indeks, który już wie, gdzie dokładnie wszystko się znajduje. Ta wstępna organizacja nazywana jest indeksem odwróconym. Zamiast przechowywać dokumenty z listą zawartych w nich słów, przechowujesz słowa z listą dokumentów, w których występują. Oznacza to, że podczas wyszukiwania terminu od razu przechodzisz do właściwego miejsca.

Bez konieczności przekartkowywania każdej strony. Efektem jest ogromna poprawa szybkości. Zamiast skanować każdy dokument, co zajmuje coraz więcej czasu wraz ze wzrostem ilości danych, trafiasz od razu w odpowiednie miejsce. Przy milionach dokumentów Ta różnica decyduje o tym, czy wyszukiwanie zajmie sekundy, czy milisekundy. Teraz już rozumiesz, czym jest Azure iSearch, jak pasują do siebie główne komponenty i dlaczego wyszukiwanie hybrydowe zmienia zasady gry. Podsumujmy, co właściwie możesz dzięki temu osiągnąć. Po pierwsze, zrozum swoje dane. Jeśli są już ustrukturyzowane, jak tabele produktów w SQL, rekordy klientów w bazie danych, czy cokolwiek z czytelnymi wierszami i kolumnami, możesz je przeszukiwać bezpośrednio za pomocą SQL. Azure iSearch jest stworzony do nieustrukturyzowanego tekstu. Mowa o plikach PDF, e-mailach, dokumentach Word, zgłoszeniach wsparcia. To tam dostarcza prawdziwą wartość.

Po drugie, jeśli tworzysz aplikację RAC lub asystenta AI Azure, a iSearch z wyszukiwaniem hybrydowym to silnik pobierania danych, którego potrzebujesz. Daje Ci dokładne dopasowania słów kluczowych dla precyzji oraz semantyczne zrozumienie dla kontekstu. Takie połączenie daje bardziej wiarygodne i łatwiejsze do cytowania odpowiedzi niż każde z tych podejść z osobna. Po trzecie, nie komplikuj niepotrzebnie konfiguracji. Portal Azure posiada kreator importu danych. Podłącz swój magazyn obiektów Blob, skonfiguruj kilka ustawień i pozwól indeksatorowi zbudować pierwszy indeks. Możesz przeprowadzić pierwsze wyszukiwanie w mniej niż godzinę. To tyle, jeśli chodzi o Azure, a iSearch wyjaśnione w prostych słowach. Zmienia nieuporządkowane, chaotyczne dane w gotową do przeszukiwania wiedzę, z której skorzysta sztuczna inteligencja. Dziękuję za wspólny czas. Zasubskrybuj kanał i do zobaczenia w kolejnym odcinku.