Уявіть собі таке. Ви працюєте у корпоративному додатку. Можливо, це HR-портал, база даних клієнтської підтримки чи внутрішньої вікі з усіма правилами, яких ви маєте дотримуватися. Ви вводите запитання у рядок пошуку. Наприклад, як мені подати звіт про витрати на бізнес вечерю. Натискаєте ENTA і що отримуєте? Нічого. Або ще гірше, список випадкових PDF-файлів трирічної давнини, які лише приблизно збігаються зі словами, що ви ввели. Ми користуємося пошуком щодня. І здебільшого він жахливий. Але ось у чому річ так не має бути. Що якби ваші додатки могли насправді розуміти, про що ви питаєте? Що якби вони могли шукати як Google, знаходячи правильну відповідь, навіть якщо ви не добираєте ідеальних слів? Сьогодні ми розглянемо Azure AI Search. Що це таке, як воно працює зсередини і чому саме на ньому будуються сучасні пошукові системи? Беріть каву і почнемо. Чому пошук не працює? Щоб зрозуміти, чому пошук часто дає звій, потрібно подивитися, як більшість додатків роблять це насправді.

Традиційний спосіб називається ключовим або лексичним пошуком. Ви вводите слово «ноутбук» у поле, і система знаходить кожен окремий документ, що містить це слово. Зсередини багато таких систем використовують алгоритм під назвою BM25. Він не складний, але по-своєму хитромудрий. BM25 ранжує результати на основі кількох факторів. Як часто ваш пошуковий термін зустрічається в документи, яка довжина документа та наскільки рідкісним є термін у всьому наборі даних? Уявіть це як дуже складний лічильник слів, який визначає, які документи найбільш релевантні на основі цих факторів. І ось тут усе руйнується. Людська мова хаотична. Люди не ставлять запитання, використовуючи ті самі слова, що містяться в документах. Дозвольте навести конкретний приклад. Користувач вводить таке в портал підтримки «Мій ноутбук» постійно зависає під час відеодзвінків. Ключовий пошук сумлінно шукатиме документи, що містять слова «ноутбук» постійно зависає під час відео та дзвінків.

Але що, як найкраща стаття на цю тему, має назву «Усунення системних зависень під час нарад у Teams» або «Керування тротлінгом процесора на підключених ноутбуках». Ключовий пошук повністю пропустить їх. Чому? Тому що слова не збігаються. Основна проблема ось у чому. Ключовий пошук розуміє правопис. Він розуміє послідовності символів, але не розуміє значення. Ви отримуєте результати, де літери правильні, але зміст часто помилковий. Отже, якщо точний збіг слів залишає стільки прогалин, яка є альтернатива. Новий шлях – векторний пошук. Отже, векторний пошук – це зовсім інший підхід до роботи. Замість зіставлення точних слів, він зіставляє значення. Це звучить абстрактно, тому давайте розберемося. Найпростіше визначення, яке варто знати, вектор – це просто набір чисел, що представляє щось зрозуміле для комп'ютера. Це все просто набір чисел. Embedding – це особливий тип вектора, який вловлює значення тексту.

Він бере речення, абзац або цілий документ і перетворює його на довгий список чисел. Комп'ютер не розуміє слів, але він розуміє числа. Ось аналогія, яка допоможе. Уявіть вектори як координати на карті. На карті схожі місця розташовані поруч. У векторному просторі схожі концепції також опиняються поруч. Вектор для короля і вектор для королеви знаходяться близько один до одного, бо вони представляють споріднені поняття. Вектор для короля і вектор для яблука знаходяться далеко один від одного. Комп'ютер не знає, що означає король у людському розумінні, але може виміряти відстань між його координатами та координатами будь-якого іншого слова чи документа. Це як мати GPS для ідей. Система знає, наскільки концепції віддалені одна від одної, просто дивлячись на числа. Коли ви шукаєте за допомогою векторів, система перетворює ваш запит на Embedding. Потім вона знаходить документи, чиї Embeddingи найближчі до вашого.

Вона знаходить речі, які семантично схожі, які мають спільне значення, а не лише словниковий склад. Уявіть, що ви шукаєте документ про усунення несправностей завислого ноутбука. При пошуку за ключовими словами вам довелося б ввести «зависення» або «зависну» дослівно. Але з векторним пошуком ви можете ввести «мій комп'ютер постійно гальмує» і він знайде потрібний документ. У цьому й полягає сила розуміння значення. Повернімося до нашого прикладу з пошуком. Користувач вводить «мій ноутбук» постійно зависає. Завдяки векторному пошуку система може повернути статтю про збої системи під час нарад у Teams, навіть якщо жодне з цих слів не згадується у запиті. Чому? Тому що значення «збої системи» дуже близьке до «зависення» комп'ютера у векторному просторі. Ці концепції знаходяться поруч одна з одною на цій карті. В системі байдуже наточні слова їй важливо те, що ви маєте на увазі. Це і є справжній прорив.

Комп'ютери починають розуміти намір, а не лише написання слів. Вони знаходять відповіді, які пошук за ключовими словами повністю пропустив би.

Якщо технічний фахівець шукає конкретний код помилки, як от X8070570, векторний пошук може надати пріоритет документам про помилки диска або пошкодження файлової системи, замість того, щоб знайти документ, у якому розбирається саме цей код. Він жертвує точністю заради розуміння. Отже, у нас є два методи. Ключовий пошук чудово підходить для точності. Він ідеально знаходить терміни, ідентифікатори продуктів, номери контрактів. Векторний пошук чудово підходить для розуміння сенсу. Він знаходить правильну відповідь, навіть якщо ви не використовуєте правильні слова. Кожен із них має свої сліпі зони. І це викликає цілком логічне запитання, що якби можна було поєднати обидва підходи і отримати переваги кожного з них. Гібридний прорив. Гібридний пошук – це найкраще з обох світів. Він одночасно виконує як ключовий, так і векторний пошук, а потім об'єднує результати в єдиний ранжуваний список. Замість того, щоб обирати один метод, система використовує підхід, що називається взаємним ранжуванням або РАРФ.

Ось як це працює. РАРФ аналізує, яке місце документ займає в результатах ключового пошуку та в результатах векторного пошуку. Потім він присвоює комбіновану оцінку. Якщо документ має високий рейтинг в обох, він отримує підвищення позиції. Це схоже на те, якби ви взяли думку двох експертів і вивели середнє значення. Кінцева відповідь є надійнішою, ніж будь-яка з них окремо. Це важливо, оскільки ключовий і векторний пошук мають принципово різні сильні сторони. Ключовий пошук перевершує інших у знаходженні точних збігів. Це ваш найкращий інструмент для ідентифікаторів продуктів, номерів контрактів, специфічних назв та кодів помилок. Він точний і передбачуваний. Векторний пошук перевершує інших у семантичній схожості, знаходячи документи, що мають спільний зміст із вашим запитом, навіть без точних слів. Разом вони перекривають сліпі зони одне одного. Система знаходить як точні, так і концептуальні збіги в одному запиті.

У цьому справжня сила. І це не просто теорія. Дослідження корпоративного гібридного пошуку показують, що він забезпечує точність пошуку на рівні 70-80% залежно від набору даних. Це приблизно навіть 15-20% пунктів вище, ніж при використанні лише векторного пошуку. Різниця суттєва, і вона відображається в реальних бізнес-результатах. Візьмемо бухгалтерську платформу Zero. Вони впровадили гібридний пошук у свою службу підтримки клієнтів за допомогою компанії Coveo. За три місяці вони побачили збільшення самостійного вирішення проблем на 20%. Клієнти частіше знаходили відповіді самостійно, без необхідності звертатися в підтримку. Інші клієнти в тому ж дослідженні досягли скорочення часу вирішення запитів у підтримку до 40%. Це означає, що агенти швидше знаходили потрібну інформацію, клієнти отримували відповіді оперативніше, а витрати на підтримку зменшилися. Це не просто приємна функція, це вимірний вплив на прибутковість.

Це ключовий момент. Гібридний пошук – це не просто приємне оновлення чи пункт у списку функцій, він справді кращий. Він забезпечує вищу точність, кращу повноту результатів та ефективнішу роботу для користувачів. Саме це поєднання підходів робить Azure AI Search таким потужним інструментом для сучасних додатків. Але ця комбінація відкриває ще одну технологію, яка зараз привертає багато уваги. Вона називається RAD або Зв'язок RAD. Отже, поговоримо про RAD. RAD розшифровується як «Генерація з доповненням пошуком Retrival Augmented Generation». Це складна назва, але ось найпростіше визначення. Це інфраструктура, яка надає ще помічникам доступ до інформації, на якій їх не навчали. Великі мовні моделі, як-от GPT, багато знають про історію, науку та програмування, але вони не знають внутрішніх документів вашої компанії, політик, історії клієнтів чи конкретних процедур, яких дотримується ваша команда.

Більшість людей вважають, що можна просто завантажити всі ці внутрішні знання в саму модель. Це не працює. Це дорого і складно оновлювати. RAD вирішує це досить розумно. Замість того, щоб втискати все в модель, ви отримуєте релевантну інформацію з бази знань у момент, коли хтось ставить запитання. Ви берете запит користувача, шукаєте у своїх внутрішніх даних, знаходите найбільш релевантні документи і передаєте цей контекст у мовну модель разом із оригінальним запитанням. Потім мовна модель генерує відповідь, що ґрунтується на ваших даних. У цьому вся магія. Azure AI Search – це пошукова половина цього рівняння. Це рушій, який знаходить потрібні документи, щоб мовна модель могла відповісти точно. Безнадійного рівня пошуку система RADG настільки ефективна, наскільки ефективні знайдені нею документи. Саме тут гібридний пошук справді демонструє себе, оскільки запити RADG часто є запитаннями природною мовою, а відповіді часто містяться в документах, де використовується зовсім інша термінологія.

Дозвольте навести кілька цифр, які справді показують різницю. Дослідження пошуку в корпоративних додатках показало, що гібридна інфраструктура RADG покращила точність пошуку TOP-K у 18-25 разів порівняно зі звичайним ключовим пошуком. Точність виконання завдань у робочих процесах покращилася в 21 раз. Це означає, що користувачі значно частіше успішно виконували складні завдання, коли їх підтримувала система RADG із гібридним пошуком. Загалом, правильно впроваджені системи RADG можуть підвищити точність пошуку в середньому на 85%, а в деяких спеціалізованих сферах – до 99%. Оскільки мовна модель генерує відповіді на основі отриманого контексту, а не власних здогадок, системи RADG продемонстрували скорочення кількості галюцинацій приблизно на 40%. Ось чому Azure AI Search є центральним елементом для створення щі агентів і копілетів. Він забезпечує пошук на основі підтверджених фактів, що робить мовні моделі надійними в бізнес-середовищі.

Якщо ви створюєте помічника, який має точно відповідати на запитання та посилатися на джерела, гібридний пошук разом із RADG – це архітектура, яка вам потрібна. Отже, гібридний пошук і RADG – це потужна комбінація. Але як це виглядає на практиці? Реальний вплив. Тож, де це насправді проявляється в роботі? Дозвольте навести кілька прикладів. Електронна комерція, мабуть, найвідоміший приклад. Клієнт вводить у рядок пошуку зручні кросівки для бігу. У картці товару може бути написано «Амортизаційне спортивне взуття», бо відділ маркетингу обрав інші слова. Пошук лише за ключовими словами взагалі не дав би результату. Зежур AI Search система розуміє, що зручні та амортизаційні в цьому контексті означають приблизно одне й те саме. Вона показує потрібний товар, навіть якщо слова не збігаються. Це означає, що клієнт знаходить те, що шукав, замість того, щоб розчаровано йти з сайту. Портали підтримки клієнтів працюють так само.

Уявіть, що клієнт вводить, як скасувати мою підписку. Відповідна політика може називатися «Припинення дії договору про надання послуг». Гібридний пошук знаходить саме цей документ через відповідність ключових слів у юридичній термінології, а також пропонує пов'язані питання з FAQ про дострокове завершення плану завдяки семантичній схожості. Клієнт отримує вичерпну відповідь замість того, щоб переглядати п'ять різних статей. Пошук юридичних документів – ще один приклад. Юристам потрібно шукати контракти за точними номерами, пунктів і посиланнями на розділи. Це чиста сфера ключових слів,

Пошук обробляє обидва запити одночасно, а в регульованих галузях можливість відстежити, чому з'явився саме цей результат, є критично важливою для відповідності вимогам. Внутрішні бази знань також отримують вигоду. Працівник, який шукає правила відпусток, отримує офіційний документ HR, а також пов'язаний електронний лист від юридичного відділу про перенесення днів і нещодавнє оновлення на корпоративному порталі. Пошук розуміє, що все це пов'язано з одним і тим самим питанням. Виробництво – менш очевидний, але дуже потужний приклад. Технік вводить у пошуковий інтерфейс усунення перегріву двигуна. Система видає розділ з усунення несправностей спосібника до обладнання, а також відскановану схему, де показані відповідні деталі. Навіть якщо схема – це зображення, Azure AI Search може витягти та проіндексувати її текстовий вміст, щоб він з'явився в результатах пошуку. Спільним для всіх цих прикладів є неструктуровані дані – PDF-файли, документи Word, листи підтримки, відскановані зображення.

Традиційні запити до баз даних і пошук за ключовими словами ніколи не були розраховані на такий тип даних. Azure AI Search створений спеціально для цього світу, і що більше ви його вивчаєте, то очевиднішим стає, що гібридний пошук – це не просто приємна функція. Це фундаментальна частина того, як створюються сучасні програми, як ці елементи поєднуються між собою. Отже, як усе це працює насправді. Azure AI Search має три основні компоненти – джерело даних, індексатор та пошуковий індекс. Джерело даних – це місце, де зберігається ваша інформація. Це може бути блок-сховище, база даних Azure SQL, Cosmos DB або навіть SharePoint. Це необроблені дані, які мають стати доступними для пошуку. Уявіть це як стос документів, що чекають на впорядкування. Індексатор – це конвейер, який щитує дані з джерела, видобуває вміст, застосовує налаштоване вами AI-збагачення, а потім створює пошуковий індекс. Ось простий спосіб – це уявити.

Уявіть бібліотекаря, який заходить на склад повний книжок. Він читає кожну з них, робить детальні нотатки, визначає ключові теми та сутності і впорядкувує все в картковий каталог. Це читання та нотування і є процесом індексації. Пошуковий індекс – це той самий картковий каталог. Це не самі книжки. Це структурована, оптимізована система, що дозволяє знайти саме те, що вам потрібно за мілі секунди. Коли ви вводите запит, система не звертається до оригінальних документів і не сканує їх. Натомість вона переглядає індекс, який уже точно знає, де все розташовано. Така попередня організація називається інвертованим індексом. Замість зберігання документів зі списком слів, ви зберігаєте слова зі списком документів, у яких вони є. Це означає, що коли ви шукаєте термін, ви переходите прямо в потрібне місце. Без потреби гортати кожну сторінку. Результатом є значне підвищення швидкості. Замість сканування кожного документа, що займає більше часу зростом обсягу даних, ви переходите прямо до потрібного місця.

При мільйонах документів ця різниця стає очевидною, пошук займає не секунди, а мілісекунди. Тепер ви розумієте, що таке Azure AI Search, як основні компоненти поєднуються разом і чому гібридний пошук змінює правила гри. Підсумуємо кілька речей, які ви можете зробити за допомогою цього інструменту. По-перше, зрозумійте свої дані. Якщо вони вже структуровані, наприклад, таблиці продуктів у SQL, записи клієнтів у базі даних, усе з чіткими рядками та стопцями, ви можете запитувати їх безпосередньо через SQL. Azure AI Search створений для неструктурованого тексту. Це PDF-файли, електронні листи, документи Word, тікети підтримки. Саме там він забезпечує справжню цінність. По-друге, якщо ви створюєте ArrayG-додаток або AI-помічника, Azure AI Search з гібридним пошуком – це саме той механізм пошуку, який вам потрібен. Він забезпечує точні збіги за ключовими словами для точності та семантичне розуміння для контексту.

Така комбінація забезпечує більш надійні відповіді з посиланнями, ніж кожен із цих підходів окремо. По-третє, не ускладнюйте налаштування. На порталі Azure є майстер імпорту даних. Підключіть сховище блобів, налаштуйте кілька параметрів і дозвольте індексатору створити ваш перший індекс. Ви можете виконати свій перший пошук менш ніж за годину. Отже, це Azure AI Search простими словами. Він бере безладну, неструктуровану інформацію та перетворює її на готові до пошуку знання для ЩІ. Дякую, що були зі мною. Підписуйтесь і побачимося в наступному епізоді.