Всім привіт і ласкаво просимо до чергового епізоду Microsoft Knowledge Nuggets, тут на M365FM. Я ваш ведучий Мірко Пітерс. Сьогоднішня тема – це те, про що майже всі чули, але мало хто насправді розуміє. Векторні бази даних. Ви, мабуть, бачили цей термін у статтях про щі або чули в розмовах про Coopilot і ChatGPT. Але що саме таке векторна база даних? Це просто звичайна база даних з вишуканішою назвою. Чи це щось зовсім інше? Уявіть, що ви шукаєте на сайті електронної комерції «червона куртка», а отримуєте результати з «малинове пальто» та «бордовий верхній одяг». Звідки комп'ютер знає, що це одне й те саме? Він не шукає збіги за ключовими словами. «Малиновий» – це не «червоний», а «пальто» – це не «куртка». Проте пошукова система якось розуміє, що вони пов'язані, і це векторний пошук у дії. До кінця цього епізоду ви зрозумієте, що таке векторні бази даних, чому вони забезпечують роботу щі пошуку такого пайлот, і як вони вписуються в хмару Майкрософт. Ми будемо пояснювати простою мовою. Без математики, без жаргону, лише чіткі будівельні блоки. Що ж насправді таке вектор? Почнемо з головного питання. Що саме таке вектор? Коли більшість людей чують слово «вектор», вони уявляють стрілку з уроку фізики, напрямок і величина. У комп'ютерних технологіях все набагато простіше. Вектор – це насправді просто список чисел. Одневимірний масив, який представляє щось у форматі, з яким може працювати комп'ютер. Ось практичний спосіб це уявити. Якби я сказав вам зустрітися зі мною на третьому поверсі в крилі B, кімната 12, це були б три числа, що описують конкретне місце. Це тривимірний вектор, який точно вказує, де щось знаходиться в будівлі. Тепер уявіть, що я додаю більше деталей. Колір дверей, розмір кімнати, ціна за квадратний метр. Кожна нова деталь стає ще одним виміром. Отже, чим більше вимірів ви створюєте, тим більше інформації про об'єкт можна зафіксувати. Автомобіль можна описати за швидкістю, пробігом, ціною, вагою та рейтингом безпеки. Це п'ятивимірний вектор. Продукт можна описати сотнями ознак, що дає вам багатовимірний вектор. Ось у чому справа. Вектори дозволяють нам перетворювати речі на числа, які комп'ютери можуть порівнювати. Слова, зображення, звуки, документи – будь-що може стати списком чисел. Як тільки все стає числами, ви можете почати вимірювати, наскільки схожими є два об'єкти. Дві кімнати на одному поверсі зі схожим кольором дверей опиняються поруч у векторному просторі. І два продукти зі схожими характеристиками також групуються разом. Ця проста ідея і робить сучасний щі пошук можливим. Від векторів до ембеддінгів не всі вектори однакові. Існує особливий тип під назвою «ембеддинг», і саме в ньому полягає справжня сила. Отже, що саме таке ембеддинг? Ембеддинг – це вектор, який представляє значення. Модель машинного навчання, як отежур OpenEyeTextEmbedding –3Small, считує текст і розміщує його у багатовимірному просторі. Модель навчалася на мільярдах прикладів, тому вона розуміє зв'язки між словами. Король і королева опиняються поруч, оскільки мають схожий контекст. Король і кава опиняються далеко одне від одного, бо це не так. Ось що це означає простою мовою. Коли ви шукаєте червона куртка, система знаходить малинове пальто. Модель ембеддингів розпізнає, що червоний і малиновий близькі за значенням, як і куртка та пальто. Ембеддинги для цих двох фраз стають сусідами у векторному просторі. Комп'ютер більше не порівнює літери, він порівнює значення. Тепер дозвольте навести класичний приклад. Візьміть вектор для короля, відніміть вектор «чоловік» і додайте вектор «жінка». Результат буде дуже близьким до вектора «королева». Король мінус чоловік плюс жінка дорівнює королева. Це може здатися магією, але насправді модель просто вкладає зв'язки у цифри. Вона вивчила, що король і королева мають такий самий зв'язок, як «чоловік» і «жінка». І цей зв'язок закодовано в координатах. Отже, моделі ембеддингів беруть ваші серії дані, текст, зображення чи аудіо, і перетворюють їх на список чисел, що відображають їхній зміст. Ці числа стають координатами у багатовимірному просторі. Потім, коли ви здійснюєте пошук, ваш запит перетворюється на такі самі координати. Все, що потрібно зробити, це виміряти відстань між ними. Це і є головна ідея. Чому традиційні бази даних не справляються? Якщо ембеддинги такі потужні, чому ми не можемо просто використовувати звичайну базу даних? Давайте дамо відповідь на це запитання. Традиційні SQL-бази даних створені для точних збігів. Ви пишете, де колір дорівнює червоному, і система знаходить кожен рядок, де в колонці кольору буквально написано «червоний». Це чудово працює зі структурованими даними, як-от імена клієнтів, дати замовлень чи ціни, але зовсім не діє, коли потрібен пошук за змістом. Спробуйте написати SQL-запит, який знайде «малинове пальто», коли у ваших даних лише бордова куртка. Ви не зможете, тому що SQL не розуміє концепції. Традиційні бази даних зберігають інформацію в рядках і стовпцях. Вони оптимізовані для об'єднань, агрегацій і точного пошуку. Вони не знають, що машина і автомобіль – це одне й те саме. Вони не знають, що схвильований і захоплений – це схожі емоції. Вони лише порівнюють рядки символів. А якщо ваші дані не структуровані, як от PDF-файли, зображення, аудіозаписи чи довгі документи, традиційні бази даних можуть зберегти їх як біалу обі об'єкти, але не можуть по-справжньому шукати в їхньому вмісті. Вам знадобиться повнотекстовий пошук, який все ще покладається на збіги за ключовими словами. Якщо користувач вводить бюджетний звіт, а в документи написано «фінансове зведення», пошук за ключовими словами його пропустить. Подумайте про це так. Звичайна база даних – це як картотека. Ви повинні знати точну назву файлу, щоб знайти те, що шукаєте. Векторна база даних – це як бібліотекар, який розуміє, що ви маєте на увазі. Ви можете сказати «Мені потрібен той документ про витрати за останній квартал». І бібліотекар точно знає, яку папку дістати, навіть якщо вона підписана як «фінансове зведення за три квартал». Бібліотекар розуміє намір, а не просто мітки. Ось чому існують векторні бази даних. Вони зберігають ембединги, ці вектори, що вловлюють зміст і індексують їх так, щоб пришвидшити пошук схожості. Вони не замінюють традиційні бази даних. Вони додають рівень розуміння зверху, і цей рівень змінює все. Як працюють векторні бази даних. Отже, як це працює – під капотом. Розгляньмо дві основні фази – завантаження та запит. Завантаження – це етап налаштування. Ви берете ваші серії дані, описи продуктів, тікети підтримки, внутрішні документи і пропускаєте кожен елемент через модель ембедингів. Ця модель перетворює текст на вектор, який, по суті, є списком чисел, що передає зміст. Потім ви зберігаєте цей вектор у базі даних разом із метаданами, оригінальним текстом, часовою міткою, можливо, категорією або посиланням на джерело. А тепер найцікавіше. Якби у вас був мільйон документів, перевірка кожного вектора по черзі тривала б вічність. Ось чому бази даних використовують індексацію. Уявіть індексацію як створення карти векторного простору замість того, щоб стукати у кожній двері. Два поширені методи – це IVF та HNSW. IVF означає інвертований файловий індекс. Він працює шляхом групування схожих векторів у кластери. При пошуку замість сканування всіх мільйонів векторів ви перевіряєте лише найбільш перспективні кластери. Це як пошук книги в бібліотеці. Ви йдете прямо до потрібного відділу замість того, щоб оглядати кожну полицю. HNSW означає «Ієрархічний навігаційний світ тісних зв'язків». Ідея досить елегантна. Він будує багаторівневу карту ваших векторів. Верхній рівень містить кілька представницьких векторів, які дають приблизне уявлення про те, де що знаходиться. Кожен наступний рівень детальніший. При пошуку ви починаєте з верхівки, знаходіть загальну область, а потім заглиблюєтеся рівень за рівнем, доки не знайдете точний збіг. Це як використовувати спочатку карту міста, потім карту району, а потім карту вулиць. Кожен із них наближає вас до мети. Результат полягає в тому, що ви можете шукати мільйони векторів за мілі секунди. Саме це забезпечує роботу функцій SHI в реальному часі. Коли ви вводите запитання в Co-Pilot і отримуєте відповідь за лічені секунди, десь векторна база даних щойно виконала пошук схожості серед тисяч чи мільйонів документів. Фаза запиту працює так само, тільки у зворотному порядку. Ви вводите своє запитання. Це запитання перетворюється на вектор за допомогою тієї ж моделі ембедингів. Потім база даних знаходить найближчих сусідів для вашого вектора запиту за допомогою індексу. Вона повертає найбільш схожі результати, ранжувані за відстанню. Чим ближчі вектори, тим релевантніший результат. Екосистема Microsoft, де живуть вектори. Отже, де все це знаходиться у світі Microsoft? Коротка відповідь – усюди. Microsoft додає векторні можливості до платформ даних, які ви вже використовуєте, замість того, щоб змушувати вас переходити на окрему спеціалізовану базу даних. Давайте розглянемо основні з них. Azure AI Search – це найпопулярніше векторне сховище для корпоративного RAD. Це пошук із доповненою генерацією. Він підтримує гібридний пошук, тобто поєднує традиційне зіставлення за ключовими словами з векторною схожістю. Чому це важливо? Тому що деякі пошукові запити найкраще працюють із ключовими словами, точними кодами товарів, назвами чи датами, тоді як інші потребують семантичного розуміння. Гібридний пошук дає вам і те, і інше. Azure AI Search також містить інтегровану векторизацію, тому ви можете налаштувати конвайер, який автоматично розбиває документи на частини, створює ембеддинги та індексує їх без написання спеціального коду. Cosmos DB тепер має вбудований векторний пошук з індексацією DiskNN. DiskNN означає «дисковий наближений пошук найближчих сусідів», і він створений для затримки менше 20 мілісекунд навіть при величезних масштабах. Це чудово підходить для оперативних даних, які вже знаходяться в Cosmos DB. Припустимо, ви створюєте застосунок для електронної комерції з Cosmos DB як бекендом. Тепер ви можете додати векторний пошук безпосередньо до свого каталогу товарів, не переміщуючи дані в окремий сервіс. Клієнт шукає легке літнє взуття, і ваш застосунок знаходить товари зі схожими описами прямо у вашій базі даних. Azure SQL Server 2025 та Azure SQL Database також приєдналися до цього. Вони тепер містять власний векторний тип даних та функції, як-от векторний пошук. Це означає, що ви можете зберігати ембединги безпосередньо поруч із реляційними даними. Записи клієнтів із векторними представленнями їхніх уподобань, позиції інвентарю з векторними описами, тікети підтримки з векторними ембедингами їхнього вмісту. Вам не потрібна окрема векторна база даних. Ваші наявні навички SQL залишаються актуальними. Просто додайте векторний стовпець, створіть індекс і почніть запити за схожістю. Ось як Coopilot використовує це під капотом. Коли ви запитуєте «Покажи мені звіт про продажі за третій квартал минулого року», Coopilot не шукає точну фразу «Звіт про продажі за третій квартал». Він перетворює ваше запитання на вектор, шукає в індексованих документах, електронних листах, файлах SharePoint, Onedrive, чатах Teams і знаходить документ, чиє вбудовування є найближчим до вашого запиту. Він може знайти файл під назвою «Фінансовий звіт за три квартал 2024 року», оскільки зміст збігається, навіть якщо слова «Ні». Це векторний пошук у дії. Ключовий момент тут – стратегія Microsoft. Замість того, щоб казати «Купіть спеціалізовану векторну базу даних», вони додають векторні можливості до інструментів, якими ви вже користуєтеся. Azure AI Search, Cosmos DB, SQL Server – усі вони тепер розуміють вектори. Вам не потрібно вивчати нову систему. Вам просто потрібно розуміти концепцію, а всю важку роботу бере на себе Microsoft. Реальні приклади використання ЩІ. Отже, де сьогодні насправді працюють векторні бази даних. Ось як це відбувається в реальному світі. RID – це головний приклад. Це розшифровується як пошуково-доповнена генерація, і саме так зараз працює більшість корпоративних систем ЩІ. Коли ви ставите запитання чат-боту, він не вгадує відповідь на основі даних свого навчання. Натомість він шукає відповідні документи у векторній базі даних, бере найбільш схожі та передає їх мовній моделі як контекст. Потім модель будує відповідь на основі цих реальних документів. Це означає точні відповіді щодо політик продуктів або даних вашої компанії. Без векторних баз даних ЩІ вгадував би відповіді на основі загальних знань з інтернету. З ними він бере інформацію безпосередньо з ваших реальних файлів. Система рекомендацій – ще один величезний варіант використання. Netflix, Amazon, YouTube – усі вони працюють однаково. Вони перетворюють користувачів на вектори на основі поведінки того, що ви дивитеся, купуєте чи на що натискаєте. І вони перетворюють об'єкти на вектори на основі описів, відгуків та характеристик. Потім вони просто шукають найближчих сусідів. Якщо ваш вектор близький до вектора фільму, вони рекомендують цей фільм. Це пошук схожості у величезних масштабах, що виконується сотні разів на секунду для кожного окремого користувача. Семантичний пошук – третій великий варіант використання. Це пошук за змістом, а не за ключовими словами. Агент підтримки вводить «Клієнт не може увійти після скидання пароля» і знаходить статтю під назвою «Вирішення проблем автентифікації після оновлення облікових даних». Слова не збігаються, але зміст – так. Саме це забезпечує векторний пошук. Для команди, яка обробляє сотні тікетів на день, це значно скорочує час вирішення проблем. Далі йде виявлення аномалій. Менш очевидно, але потужно. Ви вбудовуєте нормальну поведінку, типові шаблони транзакцій, звичайні показники системи, стандартні дії користувачів. Зберігаєте ці вектори, а потім позначаєте все, що знаходиться далеко від кластера. Транзакція, яка зовсім не схожа на нормальну – це шахрайство. Показник сервера далеко за межами норми – це ознака майбутнього інциденту. Векторні бази даних дозволяють виконувати це достатньо швидко для роботи в реальному часі. У світі Microsoft це зустрічається всюди. PavaApps використовує векторний пошук для AI-підказок під час створення форм. Dynamics 365 використовує його для інтелектуального пошуку за записами клієнтів. Транскрипти зустрічей у Teams перетворюються на вектори, щоб ви могли шукати, що ми вирішили щодо бюджету, і знаходити точний момент у записі. Co-Pilot для Microsoft 365 – це, по суті, гігантська система RIG, що працює поверх ваших особистих і корпоративних даних на базі векторного пошуку. Для підтримки синхронізації існує векторний ETL. А ось і практична проблема. Дані змінюються, документи оновлюються, додаються нові продукти, старі політики архівуються. Щоразу, коли ваші вихідні дані змінюються, ваші вектори також мають змінюватися. Ось тут і стає в пригоді векторний ETL. ETL означає вилучення, перетворення, завантаження, Extract, Transform, Load. Для векторних баз даних процес виглядає так. Спочатку ви вилучаєте нові або змінені документи з джерела, наприклад, контейнера-блоб-сховища, бібліотеки SharePoint або бази даних SQL. Потім ви перетворюєте їх, розбиваючи текст на керовані фрагменти та пропускаючи кожен фрагмент через модель ембедингу. Нарешті ви завантажуєте отримані вектори у своє векторне сховище разом із метаданими, URL-адресою джерела, часовою міткою та версією використаної моделі. Найкраща практика тут – поетапна обробка. Не потрібно повторно створювати ембединги для всього корпусу, коли щось змінюється. Обробляйте лише ті документи, які справді змінилися. Відстежуйте, яка версія моделі створила кожен ембединг о новіть модель, і старі вектори стануть несумісними з новими. І стежте за витратами. А рід для ембедингів тарифікуються за токени, тому обробка мільйонів документів швидко стає дорогою. Вежур типовий робочий процес є досить простим. Розмістіть свої документи в блоб-сховищі. Потім налаштуйте індексатор Azure AI Search із вбудованим набором навичок, який автоматично виконує розбиття та ембединг. Microsoft надає навичку поділу тексту для розбиття та навичку моделі ембедингу Azure OpenAI для генерації векторів. Індексатор працює за розкладом, підхоплює нові файли, обробляє їх і оновлює вектори в індексі. Жодного власного коду конвейера не потрібно. Ось поширена помилка ігнорування метаданих. Кожен вектор потребує посилання на джерело, назву та версію моделі ембедингу, а також часову мітку створення. Без цього ви не зможете простежити походження результату, не зможете повторно створити ембединги при зміні моделей, і у вас будуть проблеми з аудитом відповідності. Ставтеся до своїх векторів, як до будь-яких інших бізнес-даних, відстежуйте їхнє походження. Ваші наступні кроки. Отже, готові спробувати це самостійно. Почніть з простого. Відкрите портал Azure і створіть ресурс Azure AI Search. Потім увімкніть векторний пошук для існуючого індексу. Завантажте кілька документів, оберіть модель ембедингу та виконайте запит на схожість. Ви побачите, що це запрацює менш, ніж за годину. Розробникам варто взяти Python SDK, векторизувати кілька документів через Azure OpenAI, зберегти їх у векторному сховищі Cosmos DB і написати запит для пошуку найближчої відповідності. Microsoft надає зрозумілі приклади коду та документацію, які допоможуть вам у цьому. Вам не обов'язково бути спеціалістом із даних, щоб використовувати векторні бази даних. Інструменти Microsoft беруть на себе генерацію ембедингів, індексацію та логіку запитів. Ваше завдання – лише зрозуміти концепцію та спрямувати інструменти на власні дані. Ось вам завдання. Згадайте проблему пошуку, з якою ви стикаєтесь сьогодні. Можливо, це пошук внутрішніх документів, каталогу товарів або відповідей на запитання клієнтів із бази знань. Чи зможе векторний пошук бути кращим за пошук за ключовими словами? Оберіть невеликий набір даних, хоча б 100 документів і спробуйте. Ви відразу відчуєте різницю. Отже, тепер ви розумієте, що таке векторні бази даних насправді. Це не якась таємнича технологія ЩІ, а просто спосіб зберігати та шукати зміст ваших даних, а не лише точні слова. Вони забезпечують роботу інтелектуального пошуку та функцій ЩІ в Microsoft 365, Azure та Co-Pilot. Щоразу, коли ви ставите запитання і отримуєте релевантну відповідь, десь векторна база даних знайшла найближчу відповідність до вашого запиту. Ваші структуровані факти, імена клієнтів, суми замовлень, кількість запасів – усе це залишається в традиційних базах даних. Векторні бази даних додають рівень розуміння. Вони дозволяють вашому додатку шукати за змістом, за наміром, за контекстом. Ось така загальна картина. Підписуйтесь, щоб отримувати більше простих пояснень технологій Microsoft. Наступного разу ми розглянемо, як працюють ARD-конвейери та як створити такий за півдня. Дякую за увагу!