Сьогоднішня тема – це те, про що майже всі чули, але майже ніхто не може пояснити простими словами. RIG або генерація з доповненням пошуком. Ви бачили цю абревіатуру всюди в оголошеннях Microsoft, на конференціях ЩІ, у блогах, але що вона означає насправді. І, що важливіше, чому це має вас цікавити? Ось у чому справа. Великі мовні моделі, як-от GPT-4O, дуже потужні. Вони можуть писати есе, підсумовувати документи і навіть генерувати код, але вони мають дві великі проблеми. По-перше, їхні знання застигли в часі. Запитайте чат-GPT про те, що сталося вчора, і він нічого не знатиме. По-друге, ці моделі ніколи не бачили внутрішніх даних вашої компанії, ваших політик, деталей продуктів, листів клієнтів. Тож, коли ви ставите запитання про свій бізнес до LLM, вона просто вгадує. Ось тут і з'являється генерація з доповненням пошуком. RIG – це не нова модель, це не більший чи кращий GPT. Це зовсім інший підхід. Замість того, щоб просити LLM брати відповіді з пам'яті навчання, RIG спочатку шукає потрібну інформацію у ваших даних і подає її моделі разом із запитанням. Модель використовує цей контекст, щоб дати вам відповіді, які ґрунтуються на реальному актуальному контенті, а не на здогадках. Без RIG ваші працює на основі пам'яті, якій місяці або роки. З RIG він працює на основі ваших актуальних документів прямо зараз. Це різниця міщі, який звучить впевнено, але може помилятися, і тим, який показує, звідки він взяв відповідь. Ось що ми розглянемо сьогодні. Спочатку розберемо дві проблеми, через які RIG став необхідним. Потім розберемо, що таке RIG насправді пошук, доповнення та генерація. Далі ми пройдемося ключовими сервісами Azure, Azure AI Search, Azure OpenAI та Azure AI Foundry. І на завершення покажемо реальний приклад, щоб ви побачили, як усе це працює разом. Почнімо з самої проблеми. Щойно ви її зрозумієте, рішення стане очевидним. Дві проблеми, які мають ЛЛМ. То що не так із великими мовними моделями? Насправді дві речі. По-перше, їхні знання заморожені. Задумайтеся про це. Коли навчали GPT-4O, вона вивчала зріз інтернету, якому вже місяці чи роки, тому вона не знає про нові продукти, нещодавні правила чи вчорашні новини. Запитайте її про зміну політики минулого тижня, вона не матиме змоги дізнатися. Цієї інформації просто немає в даних для її навчання. Модель не має жодного доступу до всього цього. Отже, коли працівник запитує про специфічні бізнес-процеси, модель не може відповісти. Вона не знає того, що знаєте ви. Дехто вважає, що до навчання це вирішує. Ви берете базову модель і трохи до навчаєте її на власних даних. Але до навчання має свої проблеми. Це дорого. Ви платите за час роботи GPU та працю інженерів. Це не вирішує проблему застарілості. Після до навчання модель все одно залишається замороженою в тому часі. Вона не може працювати з даними, що часто змінюються, як от рівень запасів чи ціни. До навчання це як вивчити підручник на пам'ять. Корисно, але прочитати сьогоднішню газету вони не зможуть. Справжнє рішення простіше. Дайте моделі доступ до ваших знань у момент відповіді, замість того, щоб втискати все в її пам'ять. Не змушуйте її запам'ятовувати все. Дозвольте їй шукати дані в реальному часі з ваших актуальних джерел. Саме це робить R.A.G. Проста ідея, але вона змінює все. Що ж таке R.A.G. насправді? Отже, ось R.A.G. одним реченням. Замість того, щоб просити модель брати відповідь зі своїх навчальних даних, ми спершу знаходимо потрібну інформацію, а потім подаємо її моделі разом із запитанням. Це основна ідея. Три прості кроки – пошук, доповнення та генерація. Дозвольте навести аналогію. Уявіть бібліотекаря. Ви заходите в бібліотеку і ставите запитання. Ви ж не очікуєте, що бібліотекар вивчив на пам'ять кожну книжку, правда? Це було б безглуздо. Ви просите їх знайти потрібну книгу, відкрити на правильній сторінці і прочитати вам відповідь. Бібліотекар нічого не запам'ятовує. Вони спочатку знаходять, а потім читають. І це саме те, що робить R.A.G. Спочатку пошук, потім генерація. Ось як це працює на практиці. Користувач ставить запитання. Система шукає в базі знань, ваших документах, даних та конфіденційній інформації. Знайдене передається великій мовній моделі, і вона генерує відповідь на основі цього контексту. І ось що важливо. LLM ніколи не бачить ваших вихідних даних. Вона бачить лише те, що їй надає система пошуку. Це не недолік. Насправді, це функція безпеки. Ваші чутливі документи залишаються у вашому власному сховищі. Під час запиту модель отримує лише відповідні фрагменти, необхідні для відповіді жодного навчання на ваших даних, жодного запам'ятовування, жодного витоку. Ваші дані залишаються там, де їм і місце. Отже, Arrange вирішує обидві проблеми, про які ми говорили раніше. Застарілі дані. Це не проблема. Ваша база знань залишається актуальною. Конфіденційні дані. Модель бачить лише те, що ви вирішите отримати. Це як надати бібліотекарю доступ до вашої картотеки, але дозволити йому дістати лише одну папку, яка вам потрібна саме тоді, коли вона потрібна. Векторні ембединги та семантичний пошук. Тепер ви, мабуть, дивуєтесь, як насправді працює цей пошук. Справа не в порівнянні ключових слів чи натисканні комбінації Ctrl плюс F у ваших документах. Це дещо набагато розумніше. Це називається семантичним пошуком, і він працює на основі векторних ембедингів. Дозвольте пояснити, що таке ембединг. Векторний ембединг – це довгий список чисел, який фіксує значення фрагмента тексту, ніби координати на карті. Кожен документ отримує свою власну координату на цій карті значень. Коли ви ставите запитання, система також перетворює його на координати, а потім знаходить документи, які знаходяться найближче до них. Ключове слово тут – семантичний. Справа не в тому, щоб знайти точні слова, а в тому, щоб зрозуміти концепції. Якщо ви шукаєте бюджетні готелі, система може знайти документи про доступне житло, навіть якщо ці точні слова ніде не згадуються. Чому? Тому що їхні значення близькі. Ембединги для слів «бюджетний» і «доступний» розташовані поруч на цій карті. Спеціальна невелика модель, як от Azure Text Embedding – 3 Latch, створює ці ембединги. Це не гігантська мовна модель, це вузькоспеціалізований інструмент, який виконує одне завдання – перетворити текст на ці координатні числа. Саме це робить RIG таким потужним. Ваші документи перетворюються на ембединги один раз під час індексації. Потім, коли надходить запит, система за мілісекунди знаходить найбільш релевантний контент, навіть якщо точні слова користувача ніде в документах не зустрічаються. Вона розуміє намір, а не просто ключові слова, які ви вводите. Azure AI Search – механізм пошуку та отримання даних. Отже, тепер ви розумієте концепцію. Спочатку отримання, потім генерація. Але де насправді відбувається це отримання? Саме тут на допомогу приходить Azure AI Search. Azure AI Search – це служба, яка зберігає, індексує та отримує ваш контент. Уявіть це як систему зберігання файлів для вашої програми RIG. Вона виконує два основні завдання, давайте їх розглянемо. По-перше, індексація. Це підготовка ваших даних для пошуку. По-друге, пошук. Це безпосередньо знаходження потрібного контенту, коли хтось ставить запитання. Розглянемо спочатку процес індексації. Ви починаєте з того, що вказуєте Azure AI Search на джерело даних, яким може бути контейнер-блоб сховища з PDF-файлами, SQL-база даних із записами клієнтів або будь-яке інше джерело. Служба считує ці документи, розбиває їх на менші частини, звані чанками, створює векторні ембединги для кожного чанка за допомогою моделі ембедингу, про яку ми говорили раніше, і зберігає все це в пошуковому індексі. Уявіть індекс як величезний, добре впорядкований каталог. Кожен фрагмент контенту отримує унікальний ID, частину тексту та набір координат на цій карті значень. Тепер про процес пошуку. Коли користувач ставить запитання, AI Search перетворює його на вектор, використовуючи ту саму модель ембедингів, а потім сканує індекс, щоб знайти фрагменти, чиї координати найближчі до координат запитання. Система повертає найкращі результати, зазвичай від 5 до 10 найбільш релевантних, і робить це за мілісекунди. Тут ви отримуєте кілька потужних варіантів. Чистий векторний пошук знаходить контент за змістом, тому схожі концепції з'являються, навіть якщо точні слова не збігаються. Пошук за ключовими словами працює як традиційна пошукова система, знаходячи точні збіги слів. Або ви можете використати гібридний пошук, який поєднує обидва підходи, і це зазвичай найкращий вибір. Також існує семантичне переранжування, яке бере ці початкові результати та впорядковує їх на основі того, наскільки добре вони відповідають на запитання. Це як другий етап перевірки, що ловить те, що міг пропустити перший. Одне, що вам варто знати, Azure AI Search може бути дорогим. Базовий рівень коштує близько 75 доларів на місяць, і ціна зростає. Якщо ви лише експериментуєте, використовуйте безкоштовний рівень або переконайтеся, що видаляєте ресурси, коли закінчите. Проте для продуктивного використання ці витрати зазвичай виправдовують себе. Ви платите за швидкість та надійність у масштабі. Azure OpenAI плюс AI Foundry – генерація та оркестрація. Отже, ваші дані проіндексовані та готові до пошуку, але LLM все одно має зрозуміти ваше запитання та згенерувати ґрунтовну відповідь. Саме тут на допомогу приходять Azure OpenAI та Azure AI Foundry. Azure OpenAI надає безпосередньо мовну модель GPT-4O, GPT-4 або будь-яку іншу, яку ви оберете. Це і є генеративний рушій. Він отримує запит-промп, що містить як оригінальне запитання користувача, так і контекст, який знайшов Azure AI Search. Модель читає цей контекст і створює відповідь на основі знайденого. Однак не можна просто завантажити все підряд і сподіватися на найкращий результат. Вам потрібен системний промп, набір інструкцій, які ви надаєте моделі заздалегідь щодо того, як їй поводитися. Ви вказуєте їй використовувати лише наданий контекст, посилатися на джерела і, найголовніше, казати «Я не знаю, якщо релевантної інформації немає в отриманих документах». Це те, що змушує модель бути чесною. Без гарного системного промпту модель може звернутися до своїх тренувальних даних або, що гірше, вигадати щось від себе. Тож, як насправді поєднати всі ці елементи разом? Саме для цього існує Azure AI Foundry. Це портал, де ви створюєте проєкт, розгортаєте моделі, підключаєте джерела даних і тестуєте свого агента. Уявіть його як центр керування для всієї вашої системи RADG. У Foundry ви можете додати індекс Azure AI Search як джерело знань для свого агента без написання спеціального коду для базового налаштування. Ви просто створюєте підключення, вибираєте індекс, і агент може автоматично почати робити запити до нього. Портал бере на себе всю оркестрацію. Коли користувач ставить запитання, агент знає, що треба викликати AI Search, отримати відповідні фрагменти і передати їх до LLM разом із вихідним запитанням. Ось конкретний приклад. В одному посібнику, на який я натрапив, хтось створив агента для рекомендації фільмів, використовуючи набір даних Netflix. Вони завантажили CSV-файл із назвами фільмів, описами та інформацією про акторів у сховище Azure Blob, а потім використали Azure AI Search для індексації цих даних. В Azure AI Foundry вони створили агента з GPT-4O і підключили індекс AI Search. Коли користувач запитав «Я люблю трилери, порадьте щось цікаве». Агент здійснив пошук в індексі, знайшов трилери з цього конкретного набору даних і видав рекомендації. І ось головне, він рекомендував лише ті фільми, які насправді були в тому наборі даних. Він нічого не вигадував, не брав інформацію зі своїх тренувальних даних і працював виключно з наданим контентом. У цьому і полягає сила R.A.G. Класичний R.A.G. проти агентного R.A.G. Тепер давайте поговоримо про налаштування. Існує два основні підходи – класичний R.A.G. і агентний R.A.G. Який вибрати залежить від того, що саме ви створюєте. Класичний R.A.G. – це найпростіший підхід. Один запит надходить, один пошук виконується, одна відповідь виходить. Просто, швидко, передбачувано. Уявіть це як візит до стійки реєстрації в офісній будівлі з проханням надати один конкретний документ. Реєстратор бере його, віддає вам, і справу зроблено. Класичний R.A.G. чудово підходить для запитань і відповідей за однією темою, наприклад, яка політика компанії щодо віддаленої роботи. Або покажи мені кроки для вирішення цієї помилки. Це надійно, недорого і легко виправити, якщо щось піде не так, тому що процес лінійний. Агентний R.A.G. – інша справа. AI-агент сам вирішує, як отримувати інформацію. Він може ставити кілька підзапитань, шукати в різних індексах, опрацьовувати результати та синтезувати дані з різних джерел перед відповіддю. Він спілкується з відділом кадрів, перевіряє записи, порівнює політики, а потім повертається з повною відповіддю. Компанія Microsoft провела власні тести і виявила, що агентний R.A.G. покращує релевантність відповідей на складні запитання приблизно на 40%. Це суттєво, проте він використовує втричі в десятеро більше токенів і додає затримку. Для простих запитань ця додаткова робота є зайвою. Класичний R.A.G. чудово справляється з ними. Отже, коли що використовувати? Класичний для рутинних, масових запитів, де швидкість і вартість є найважливішими. Агентний для багатоетапних, неоднозначних або міждисциплінарних запитань, де точність варта додаткових обчислень. Розділ підключення – наскрізний приклад. Погляньмо, як усі ці частини поєднуються на реальному прикладі. Уявіть, що ви створюєте агента підтримки клієнтів для туристичного агентства Mary Bo Old Travels. У вас є брошури про подорожі, відгуки про готелі та документи з політикою, розкидані по всій організації. Ви хочете, щоб клієнти ставили запитання і отримували точні відповіді на основі вашого реального контенту, а не загальних припущень. Крок перший – збережіть весь цей контент у сховищі Azure Blob Storage. Брошури в одній папці, відгуки в іншій, політики в третій, просто файли в контейнері. Крок другий – використайте Azure AI Search для індексації цих даних, запустивши майстер імпорту даних, вказавши на сховище Blob і дозволивши системі працювати. Сервіс считує кожен документ, розбиває їх на частини, створює векторні вкладення та будує індекс для пошуку. Весь процес займає кілька хвилин. Крок третій – зайдіть в Azure AI Foundry і створіть агента. Розгорніть GPT-4O як свою модель, напишіть системний промп, який наказує використовувати лише наданий контекст і цитувати джерела, а потім підключіть індекс Azure AI Search як джерело знань. Кілька кліків і готово. Тепер клієнт запитує, який готель у Дубаї має найкращі відгуки та коштує менше, ніж 300 доларів. Агент отримує запитання і надсилає його до Azure AI Search. Azure AI Search перетворює його на вектор і знаходить найбільш релевантні фрагменти з ваших відгуків і брошур. Ці фрагменти передаються до GPT-4O разом із початковим запитанням. Модель вивчає їх, визначає найкращий збіг і генерує відповідь із посиланнями на ваші вихідні документи. Ось у чому річ. LLM ніколи не запам'ятовувала ці дані. Вона ніколи не навчалася на ваших відгуках про готелі. Вона щоразу працює саме з вашим конкретним контентом. Агент отримує перенавчання. Їй потрібен лише правильний рівень пошуку даних. Тож, як почати будувати RIG на Azure? Давайте розділимо це на три кроки. Найперше, вивчіть свої дані. Перш ніж обирати сервіс, визначте, де зберігається ваш контент, як він організований і хто повинен мати до нього доступ. Якість RIG залежить виключно від якості ваших даних. Далі, не ускладнюйте. Не робіть налаштування надто складними. Використовуйте майстер імпорту даних в Azure AI Search, щоб індексувати лише один набір документів. Протестуйте на базових запитах. Переконайтеся, що пошук працює ідеально, перш ніж додавати LLM. Більшість збоїв RIG – це не проблеми моделі. Це проблеми пошуку даних. Останній крок – додайте LLM. Коли пошук повертає правильні результати, тоді додавайте генерацію. Саме тоді ви підключаєте Azure OpenA и пишете системный промп. Справа в тому, що RIG – це не те, що можна купити. Це шаблон, який ви будуєте. Azure надає вам елементи сховище, пошук, моделі та клей, щоб їх поєднати. Вам просто потрібно правильно скласти все це разом. Якщо це допомогло вам побачити загальну картину, підпишіться на розбори простими словами. Напишіть у коментарях свій варіант використання RIG. Мені цікаво дізнатися, що ви створюєте.