WEBVTT

00:00:00.000 --> 00:00:05.120
Всім привіт і ласкаво просимо до чергового епізоду Microsoft Knowledge Nuggets, тут на M365FM.

00:00:05.180 --> 00:00:06.680
Я ваш ведучий Мірко Пітерс.

00:00:06.920 --> 00:00:10.620
Сьогоднішня тема – це те, про що майже всі чули, але мало хто насправді розуміє.

00:00:10.880 --> 00:00:12.040
Векторні бази даних.

00:00:12.160 --> 00:00:16.500
Ви, мабуть, бачили цей термін у статтях про щі або чули в розмовах про Coopilot і ChatGPT.

00:00:16.680 --> 00:00:18.520
Але що саме таке векторна база даних?

00:00:18.640 --> 00:00:21.100
Це просто звичайна база даних з вишуканішою назвою.

00:00:21.220 --> 00:00:22.520
Чи це щось зовсім інше?

00:00:22.520 --> 00:00:28.200
Уявіть, що ви шукаєте на сайті електронної комерції «червона куртка», а отримуєте результати з «малинове пальто» та «бордовий верхній одяг».

00:00:28.200 --> 00:00:30.400
Звідки комп'ютер знає, що це одне й те саме?

00:00:30.540 --> 00:00:32.460
Він не шукає збіги за ключовими словами.

00:00:32.620 --> 00:00:35.160
«Малиновий» – це не «червоний», а «пальто» – це не «куртка».

00:00:35.160 --> 00:00:39.200
Проте пошукова система якось розуміє, що вони пов'язані, і це векторний пошук у дії.

00:00:39.200 --> 00:00:46.460
До кінця цього епізоду ви зрозумієте, що таке векторні бази даних, чому вони забезпечують роботу щі пошуку такого пайлот, і як вони вписуються в хмару Майкрософт.

00:00:46.520 --> 00:00:48.400
Ми будемо пояснювати простою мовою.

00:00:48.600 --> 00:00:51.520
Без математики, без жаргону, лише чіткі будівельні блоки.

00:00:51.720 --> 00:00:53.220
Що ж насправді таке вектор?

00:00:53.380 --> 00:00:54.980
Почнемо з головного питання.

00:00:55.180 --> 00:00:56.440
Що саме таке вектор?

00:00:56.600 --> 00:01:01.280
Коли більшість людей чують слово «вектор», вони уявляють стрілку з уроку фізики, напрямок і величина.

00:01:01.460 --> 00:01:03.640
У комп'ютерних технологіях все набагато простіше.

00:01:03.640 --> 00:01:05.720
Вектор – це насправді просто список чисел.

00:01:05.860 --> 00:01:09.420
Одневимірний масив, який представляє щось у форматі, з яким може працювати комп'ютер.

00:01:09.560 --> 00:01:11.220
Ось практичний спосіб це уявити.

00:01:11.400 --> 00:01:16.580
Якби я сказав вам зустрітися зі мною на третьому поверсі в крилі B, кімната 12, це були б три числа, що описують конкретне місце.

00:01:16.720 --> 00:01:19.920
Це тривимірний вектор, який точно вказує, де щось знаходиться в будівлі.

00:01:20.040 --> 00:01:22.080
Тепер уявіть, що я додаю більше деталей.

00:01:22.220 --> 00:01:24.960
Колір дверей, розмір кімнати, ціна за квадратний метр.

00:01:25.080 --> 00:01:27.080
Кожна нова деталь стає ще одним виміром.

00:01:27.080 --> 00:01:31.060
Отже, чим більше вимірів ви створюєте, тим більше інформації про об'єкт можна зафіксувати.

00:01:31.240 --> 00:01:35.080
Автомобіль можна описати за швидкістю, пробігом, ціною, вагою та рейтингом безпеки.

00:01:35.240 --> 00:01:36.540
Це п'ятивимірний вектор.

00:01:36.720 --> 00:01:40.420
Продукт можна описати сотнями ознак, що дає вам багатовимірний вектор.

00:01:40.600 --> 00:01:41.580
Ось у чому справа.

00:01:41.700 --> 00:01:44.560
Вектори дозволяють нам перетворювати речі на числа, які комп'ютери можуть порівнювати.

00:01:44.740 --> 00:01:47.840
Слова, зображення, звуки, документи – будь-що може стати списком чисел.

00:01:47.840 --> 00:01:51.580
Як тільки все стає числами, ви можете почати вимірювати, наскільки схожими є два об'єкти.

00:01:51.720 --> 00:01:55.640
Дві кімнати на одному поверсі зі схожим кольором дверей опиняються поруч у векторному просторі.

00:01:55.760 --> 00:01:58.780
І два продукти зі схожими характеристиками також групуються разом.

00:01:58.900 --> 00:02:01.740
Ця проста ідея і робить сучасний щі пошук можливим.

00:02:01.920 --> 00:02:04.640
Від векторів до ембеддінгів не всі вектори однакові.

00:02:04.780 --> 00:02:08.240
Існує особливий тип під назвою «ембеддинг», і саме в ньому полягає справжня сила.

00:02:08.420 --> 00:02:09.920
Отже, що саме таке ембеддинг?

00:02:09.920 --> 00:02:12.420
Ембеддинг – це вектор, який представляє значення.

00:02:12.580 --> 00:02:16.060
Модель машинного навчання, як отежур OpenEyeTextEmbedding –3Small,

00:02:16.200 --> 00:02:18.880
считує текст і розміщує його у багатовимірному просторі.

00:02:19.020 --> 00:02:22.900
Модель навчалася на мільярдах прикладів, тому вона розуміє зв'язки між словами.

00:02:23.020 --> 00:02:26.620
Король і королева опиняються поруч, оскільки мають схожий контекст.

00:02:26.740 --> 00:02:29.860
Король і кава опиняються далеко одне від одного, бо це не так.

00:02:29.960 --> 00:02:31.820
Ось що це означає простою мовою.

00:02:31.980 --> 00:02:35.540
Коли ви шукаєте червона куртка, система знаходить малинове пальто.

00:02:35.540 --> 00:02:41.340
Модель ембеддингів розпізнає, що червоний і малиновий близькі за значенням, як і куртка та пальто.

00:02:41.460 --> 00:02:44.900
Ембеддинги для цих двох фраз стають сусідами у векторному просторі.

00:02:45.000 --> 00:02:48.400
Комп'ютер більше не порівнює літери, він порівнює значення.

00:02:48.560 --> 00:02:50.820
Тепер дозвольте навести класичний приклад.

00:02:51.000 --> 00:02:55.360
Візьміть вектор для короля, відніміть вектор «чоловік» і додайте вектор «жінка».

00:02:55.360 --> 00:02:58.040
Результат буде дуже близьким до вектора «королева».

00:02:58.040 --> 00:03:00.540
Король мінус чоловік плюс жінка дорівнює королева.

00:03:00.540 --> 00:03:04.880
Це може здатися магією, але насправді модель просто вкладає зв'язки у цифри.

00:03:05.020 --> 00:03:10.200
Вона вивчила, що король і королева мають такий самий зв'язок, як «чоловік» і «жінка».

00:03:10.200 --> 00:03:12.320
І цей зв'язок закодовано в координатах.

00:03:12.440 --> 00:03:16.380
Отже, моделі ембеддингів беруть ваші серії дані, текст, зображення чи аудіо,

00:03:16.460 --> 00:03:19.760
і перетворюють їх на список чисел, що відображають їхній зміст.

00:03:19.920 --> 00:03:22.900
Ці числа стають координатами у багатовимірному просторі.

00:03:23.040 --> 00:03:26.620
Потім, коли ви здійснюєте пошук, ваш запит перетворюється на такі самі координати.

00:03:26.620 --> 00:03:29.040
Все, що потрібно зробити, це виміряти відстань між ними.

00:03:29.200 --> 00:03:30.400
Це і є головна ідея.

00:03:30.540 --> 00:03:32.360
Чому традиційні бази даних не справляються?

00:03:32.520 --> 00:03:35.620
Якщо ембеддинги такі потужні, чому ми не можемо просто використовувати звичайну базу даних?

00:03:35.740 --> 00:03:37.440
Давайте дамо відповідь на це запитання.

00:03:37.680 --> 00:03:40.420
Традиційні SQL-бази даних створені для точних збігів.

00:03:40.560 --> 00:03:43.580
Ви пишете, де колір дорівнює червоному, і система знаходить кожен рядок,

00:03:43.660 --> 00:03:45.740
де в колонці кольору буквально написано «червоний».

00:03:45.740 --> 00:03:48.820
Це чудово працює зі структурованими даними, як-от імена клієнтів,

00:03:48.820 --> 00:03:52.360
дати замовлень чи ціни, але зовсім не діє, коли потрібен пошук за змістом.

00:03:52.500 --> 00:03:55.720
Спробуйте написати SQL-запит, який знайде «малинове пальто»,

00:03:55.720 --> 00:03:57.720
коли у ваших даних лише бордова куртка.

00:03:57.900 --> 00:04:00.620
Ви не зможете, тому що SQL не розуміє концепції.

00:04:00.840 --> 00:04:04.040
Традиційні бази даних зберігають інформацію в рядках і стовпцях.

00:04:04.260 --> 00:04:07.340
Вони оптимізовані для об'єднань, агрегацій і точного пошуку.

00:04:07.340 --> 00:04:10.520
Вони не знають, що машина і автомобіль – це одне й те саме.

00:04:10.640 --> 00:04:13.580
Вони не знають, що схвильований і захоплений – це схожі емоції.

00:04:13.760 --> 00:04:15.520
Вони лише порівнюють рядки символів.

00:04:15.660 --> 00:04:19.480
А якщо ваші дані не структуровані, як от PDF-файли, зображення, аудіозаписи чи довгі документи,

00:04:19.580 --> 00:04:21.820
традиційні бази даних можуть зберегти їх як біалу обі об'єкти,

00:04:21.920 --> 00:04:23.600
але не можуть по-справжньому шукати в їхньому вмісті.

00:04:23.720 --> 00:04:27.440
Вам знадобиться повнотекстовий пошук, який все ще покладається на збіги за ключовими словами.

00:04:27.580 --> 00:04:31.160
Якщо користувач вводить бюджетний звіт, а в документи написано «фінансове зведення»,

00:04:31.160 --> 00:04:32.980
пошук за ключовими словами його пропустить.

00:04:33.180 --> 00:04:34.240
Подумайте про це так.

00:04:34.240 --> 00:04:36.220
Звичайна база даних – це як картотека.

00:04:36.420 --> 00:04:39.180
Ви повинні знати точну назву файлу, щоб знайти те, що шукаєте.

00:04:39.340 --> 00:04:42.540
Векторна база даних – це як бібліотекар, який розуміє, що ви маєте на увазі.

00:04:42.660 --> 00:04:45.940
Ви можете сказати «Мені потрібен той документ про витрати за останній квартал».

00:04:45.940 --> 00:04:51.240
І бібліотекар точно знає, яку папку дістати, навіть якщо вона підписана як «фінансове зведення за три квартал».

00:04:51.240 --> 00:04:53.720
Бібліотекар розуміє намір, а не просто мітки.

00:04:53.720 --> 00:04:55.940
Ось чому існують векторні бази даних.

00:04:55.940 --> 00:05:01.280
Вони зберігають ембединги, ці вектори, що вловлюють зміст і індексують їх так, щоб пришвидшити пошук схожості.

00:05:01.440 --> 00:05:03.560
Вони не замінюють традиційні бази даних.

00:05:03.720 --> 00:05:06.940
Вони додають рівень розуміння зверху, і цей рівень змінює все.

00:05:07.100 --> 00:05:10.280
Вони додають рівень розуміння зверху, і цей рівень змінює все.

00:05:10.460 --> 00:05:12.280
Як працюють векторні бази даних.

00:05:12.400 --> 00:05:14.240
Отже, як це працює – під капотом.

00:05:14.240 --> 00:05:17.220
Розгляньмо дві основні фази – завантаження та запит.

00:05:17.380 --> 00:05:19.340
Завантаження – це етап налаштування.

00:05:19.340 --> 00:05:27.240
Ви берете ваші серії дані, описи продуктів, тікети підтримки, внутрішні документи і пропускаєте кожен елемент через модель ембедингів.

00:05:27.360 --> 00:05:32.220
Ця модель перетворює текст на вектор, який, по суті, є списком чисел, що передає зміст.

00:05:32.360 --> 00:05:39.260
Потім ви зберігаєте цей вектор у базі даних разом із метаданами, оригінальним текстом, часовою міткою, можливо, категорією або посиланням на джерело.

00:05:39.420 --> 00:05:40.620
А тепер найцікавіше.

00:05:40.780 --> 00:05:44.640
Якби у вас був мільйон документів, перевірка кожного вектора по черзі тривала б вічність.

00:05:44.640 --> 00:05:51.800
Ось чому бази даних використовують індексацію. Уявіть індексацію як створення карти векторного простору замість того, щоб стукати у кожній двері.

00:05:51.920 --> 00:05:54.280
Два поширені методи – це IVF та HNSW.

00:05:54.460 --> 00:05:59.160
IVF означає інвертований файловий індекс. Він працює шляхом групування схожих векторів у кластери.

00:05:59.320 --> 00:06:03.280
При пошуку замість сканування всіх мільйонів векторів ви перевіряєте лише найбільш перспективні кластери.

00:06:03.440 --> 00:06:05.060
Це як пошук книги в бібліотеці.

00:06:05.220 --> 00:06:08.140
Ви йдете прямо до потрібного відділу замість того, щоб оглядати кожну полицю.

00:06:08.140 --> 00:06:11.400
HNSW означає «Ієрархічний навігаційний світ тісних зв'язків».

00:06:11.400 --> 00:06:15.000
Ідея досить елегантна. Він будує багаторівневу карту ваших векторів.

00:06:15.160 --> 00:06:19.400
Верхній рівень містить кілька представницьких векторів, які дають приблизне уявлення про те, де що знаходиться.

00:06:19.560 --> 00:06:21.260
Кожен наступний рівень детальніший.

00:06:21.420 --> 00:06:27.160
При пошуку ви починаєте з верхівки, знаходіть загальну область, а потім заглиблюєтеся рівень за рівнем, доки не знайдете точний збіг.

00:06:27.280 --> 00:06:31.060
Це як використовувати спочатку карту міста, потім карту району, а потім карту вулиць.

00:06:31.060 --> 00:06:32.800
Кожен із них наближає вас до мети.

00:06:32.920 --> 00:06:36.020
Результат полягає в тому, що ви можете шукати мільйони векторів за мілі секунди.

00:06:36.200 --> 00:06:38.640
Саме це забезпечує роботу функцій SHI в реальному часі.

00:06:38.800 --> 00:06:41.940
Коли ви вводите запитання в Co-Pilot і отримуєте відповідь за лічені секунди,

00:06:42.060 --> 00:06:45.680
десь векторна база даних щойно виконала пошук схожості серед тисяч чи мільйонів документів.

00:06:45.800 --> 00:06:48.200
Фаза запиту працює так само, тільки у зворотному порядку.

00:06:48.360 --> 00:06:49.660
Ви вводите своє запитання.

00:06:49.820 --> 00:06:53.020
Це запитання перетворюється на вектор за допомогою тієї ж моделі ембедингів.

00:06:53.020 --> 00:06:56.940
Потім база даних знаходить найближчих сусідів для вашого вектора запиту за допомогою індексу.

00:06:57.060 --> 00:07:00.120
Вона повертає найбільш схожі результати, ранжувані за відстанню.

00:07:00.260 --> 00:07:02.760
Чим ближчі вектори, тим релевантніший результат.

00:07:03.160 --> 00:07:05.400
Екосистема Microsoft, де живуть вектори.

00:07:05.540 --> 00:07:07.760
Отже, де все це знаходиться у світі Microsoft?

00:07:08.040 --> 00:07:09.420
Коротка відповідь – усюди.

00:07:09.560 --> 00:07:12.020
Microsoft додає векторні можливості до платформ даних, які ви вже використовуєте,

00:07:12.660 --> 00:07:15.520
замість того, щоб змушувати вас переходити на окрему спеціалізовану базу даних.

00:07:15.660 --> 00:07:17.320
Давайте розглянемо основні з них.

00:07:17.320 --> 00:07:21.440
Azure AI Search – це найпопулярніше векторне сховище для корпоративного RAD.

00:07:21.660 --> 00:07:23.820
Це пошук із доповненою генерацією.

00:07:23.980 --> 00:07:29.120
Він підтримує гібридний пошук, тобто поєднує традиційне зіставлення за ключовими словами з векторною схожістю.

00:07:29.280 --> 00:07:30.180
Чому це важливо?

00:07:30.340 --> 00:07:34.400
Тому що деякі пошукові запити найкраще працюють із ключовими словами, точними кодами товарів, назвами чи датами,

00:07:34.520 --> 00:07:36.160
тоді як інші потребують семантичного розуміння.

00:07:36.280 --> 00:07:38.120
Гібридний пошук дає вам і те, і інше.

00:07:38.120 --> 00:07:42.100
Azure AI Search також містить інтегровану векторизацію, тому ви можете налаштувати конвайер,

00:07:42.220 --> 00:07:47.120
який автоматично розбиває документи на частини, створює ембеддинги та індексує їх без написання спеціального коду.

00:07:47.280 --> 00:07:50.780
Cosmos DB тепер має вбудований векторний пошук з індексацією DiskNN.

00:07:50.940 --> 00:07:53.820
DiskNN означає «дисковий наближений пошук найближчих сусідів»,

00:07:53.820 --> 00:07:57.180
і він створений для затримки менше 20 мілісекунд навіть при величезних масштабах.

00:07:57.280 --> 00:08:00.600
Це чудово підходить для оперативних даних, які вже знаходяться в Cosmos DB.

00:08:00.600 --> 00:08:04.500
Припустимо, ви створюєте застосунок для електронної комерції з Cosmos DB як бекендом.

00:08:04.620 --> 00:08:07.840
Тепер ви можете додати векторний пошук безпосередньо до свого каталогу товарів,

00:08:07.920 --> 00:08:09.580
не переміщуючи дані в окремий сервіс.

00:08:09.720 --> 00:08:15.980
Клієнт шукає легке літнє взуття, і ваш застосунок знаходить товари зі схожими описами прямо у вашій базі даних.

00:08:16.100 --> 00:08:20.420
Azure SQL Server 2025 та Azure SQL Database також приєдналися до цього.

00:08:20.620 --> 00:08:24.000
Вони тепер містять власний векторний тип даних та функції, як-от векторний пошук.

00:08:24.000 --> 00:08:27.820
Це означає, що ви можете зберігати ембединги безпосередньо поруч із реляційними даними.

00:08:27.960 --> 00:08:32.580
Записи клієнтів із векторними представленнями їхніх уподобань, позиції інвентарю з векторними описами,

00:08:32.720 --> 00:08:35.260
тікети підтримки з векторними ембедингами їхнього вмісту.

00:08:35.400 --> 00:08:37.440
Вам не потрібна окрема векторна база даних.

00:08:37.560 --> 00:08:39.900
Ваші наявні навички SQL залишаються актуальними.

00:08:40.020 --> 00:08:43.500
Просто додайте векторний стовпець, створіть індекс і почніть запити за схожістю.

00:08:43.640 --> 00:08:46.020
Ось як Coopilot використовує це під капотом.

00:08:46.020 --> 00:08:49.680
Коли ви запитуєте «Покажи мені звіт про продажі за третій квартал минулого року»,

00:08:49.680 --> 00:08:53.040
Coopilot не шукає точну фразу «Звіт про продажі за третій квартал».

00:08:53.040 --> 00:08:56.380
Він перетворює ваше запитання на вектор, шукає в індексованих документах,

00:08:56.480 --> 00:09:00.480
електронних листах, файлах SharePoint, Onedrive, чатах Teams і знаходить документ,

00:09:00.580 --> 00:09:02.760
чиє вбудовування є найближчим до вашого запиту.

00:09:02.940 --> 00:09:07.000
Він може знайти файл під назвою «Фінансовий звіт за три квартал 2024 року»,

00:09:07.000 --> 00:09:09.300
оскільки зміст збігається, навіть якщо слова «Ні».

00:09:09.300 --> 00:09:10.720
Це векторний пошук у дії.

00:09:10.720 --> 00:09:12.960
Ключовий момент тут – стратегія Microsoft.

00:09:13.240 --> 00:09:15.780
Замість того, щоб казати «Купіть спеціалізовану векторну базу даних»,

00:09:15.780 --> 00:09:18.640
вони додають векторні можливості до інструментів, якими ви вже користуєтеся.

00:09:18.760 --> 00:09:22.520
Azure AI Search, Cosmos DB, SQL Server – усі вони тепер розуміють вектори.

00:09:22.640 --> 00:09:24.400
Вам не потрібно вивчати нову систему.

00:09:24.600 --> 00:09:28.340
Вам просто потрібно розуміти концепцію, а всю важку роботу бере на себе Microsoft.

00:09:28.560 --> 00:09:30.380
Реальні приклади використання ЩІ.

00:09:30.540 --> 00:09:33.460
Отже, де сьогодні насправді працюють векторні бази даних.

00:09:33.460 --> 00:09:35.500
Ось як це відбувається в реальному світі.

00:09:35.640 --> 00:09:37.080
RID – це головний приклад.

00:09:37.080 --> 00:09:41.500
Це розшифровується як пошуково-доповнена генерація, і саме так зараз працює більшість корпоративних систем ЩІ.

00:09:41.620 --> 00:09:45.300
Коли ви ставите запитання чат-боту, він не вгадує відповідь на основі даних свого навчання.

00:09:45.500 --> 00:09:48.600
Натомість він шукає відповідні документи у векторній базі даних,

00:09:48.720 --> 00:09:51.660
бере найбільш схожі та передає їх мовній моделі як контекст.

00:09:51.760 --> 00:09:54.760
Потім модель будує відповідь на основі цих реальних документів.

00:09:54.880 --> 00:09:58.400
Це означає точні відповіді щодо політик продуктів або даних вашої компанії.

00:09:58.400 --> 00:10:02.040
Без векторних баз даних ЩІ вгадував би відповіді на основі загальних знань з інтернету.

00:10:02.180 --> 00:10:04.720
З ними він бере інформацію безпосередньо з ваших реальних файлів.

00:10:04.880 --> 00:10:07.320
Система рекомендацій – ще один величезний варіант використання.

00:10:07.480 --> 00:10:09.940
Netflix, Amazon, YouTube – усі вони працюють однаково.

00:10:10.080 --> 00:10:12.580
Вони перетворюють користувачів на вектори на основі поведінки того,

00:10:12.760 --> 00:10:14.660
що ви дивитеся, купуєте чи на що натискаєте.

00:10:14.800 --> 00:10:18.160
І вони перетворюють об'єкти на вектори на основі описів, відгуків та характеристик.

00:10:18.260 --> 00:10:20.340
Потім вони просто шукають найближчих сусідів.

00:10:20.340 --> 00:10:23.380
Якщо ваш вектор близький до вектора фільму, вони рекомендують цей фільм.

00:10:23.480 --> 00:10:25.240
Це пошук схожості у величезних масштабах,

00:10:25.360 --> 00:10:28.380
що виконується сотні разів на секунду для кожного окремого користувача.

00:10:28.580 --> 00:10:31.060
Семантичний пошук – третій великий варіант використання.

00:10:31.240 --> 00:10:33.540
Це пошук за змістом, а не за ключовими словами.

00:10:33.720 --> 00:10:37.300
Агент підтримки вводить «Клієнт не може увійти після скидання пароля»

00:10:37.300 --> 00:10:41.800
і знаходить статтю під назвою «Вирішення проблем автентифікації після оновлення облікових даних».

00:10:41.800 --> 00:10:43.740
Слова не збігаються, але зміст – так.

00:10:43.740 --> 00:10:45.740
Саме це забезпечує векторний пошук.

00:10:45.860 --> 00:10:49.540
Для команди, яка обробляє сотні тікетів на день, це значно скорочує час вирішення проблем.

00:10:49.760 --> 00:10:51.280
Далі йде виявлення аномалій.

00:10:51.440 --> 00:10:52.980
Менш очевидно, але потужно.

00:10:53.140 --> 00:10:55.800
Ви вбудовуєте нормальну поведінку, типові шаблони транзакцій,

00:10:55.920 --> 00:10:58.460
звичайні показники системи, стандартні дії користувачів.

00:10:58.600 --> 00:11:02.100
Зберігаєте ці вектори, а потім позначаєте все, що знаходиться далеко від кластера.

00:11:02.240 --> 00:11:04.740
Транзакція, яка зовсім не схожа на нормальну – це шахрайство.

00:11:04.740 --> 00:11:07.820
Показник сервера далеко за межами норми – це ознака майбутнього інциденту.

00:11:07.940 --> 00:11:11.160
Векторні бази даних дозволяють виконувати це достатньо швидко для роботи в реальному часі.

00:11:11.280 --> 00:11:13.400
У світі Microsoft це зустрічається всюди.

00:11:13.540 --> 00:11:17.020
PavaApps використовує векторний пошук для AI-підказок під час створення форм.

00:11:17.200 --> 00:11:21.240
Dynamics 365 використовує його для інтелектуального пошуку за записами клієнтів.

00:11:21.380 --> 00:11:23.680
Транскрипти зустрічей у Teams перетворюються на вектори,

00:11:23.760 --> 00:11:25.920
щоб ви могли шукати, що ми вирішили щодо бюджету,

00:11:26.080 --> 00:11:28.080
і знаходити точний момент у записі.

00:11:28.080 --> 00:11:32.560
Co-Pilot для Microsoft 365 – це, по суті, гігантська система RIG,

00:11:32.780 --> 00:11:36.780
що працює поверх ваших особистих і корпоративних даних на базі векторного пошуку.

00:11:36.980 --> 00:11:39.740
Для підтримки синхронізації існує векторний ETL.

00:11:39.880 --> 00:11:41.240
А ось і практична проблема.

00:11:41.500 --> 00:11:45.700
Дані змінюються, документи оновлюються, додаються нові продукти, старі політики архівуються.

00:11:45.900 --> 00:11:48.860
Щоразу, коли ваші вихідні дані змінюються, ваші вектори також мають змінюватися.

00:11:49.000 --> 00:11:50.620
Ось тут і стає в пригоді векторний ETL.

00:11:50.740 --> 00:11:53.540
ETL означає вилучення, перетворення, завантаження, Extract, Transform, Load.

00:11:53.540 --> 00:11:55.740
Для векторних баз даних процес виглядає так.

00:11:55.880 --> 00:11:58.380
Спочатку ви вилучаєте нові або змінені документи з джерела,

00:11:58.520 --> 00:12:02.180
наприклад, контейнера-блоб-сховища, бібліотеки SharePoint або бази даних SQL.

00:12:02.400 --> 00:12:05.440
Потім ви перетворюєте їх, розбиваючи текст на керовані фрагменти

00:12:05.440 --> 00:12:07.960
та пропускаючи кожен фрагмент через модель ембедингу.

00:12:08.120 --> 00:12:12.000
Нарешті ви завантажуєте отримані вектори у своє векторне сховище разом із метаданими,

00:12:12.180 --> 00:12:15.620
URL-адресою джерела, часовою міткою та версією використаної моделі.

00:12:15.620 --> 00:12:17.940
Найкраща практика тут – поетапна обробка.

00:12:18.080 --> 00:12:21.300
Не потрібно повторно створювати ембединги для всього корпусу, коли щось змінюється.

00:12:21.440 --> 00:12:23.880
Обробляйте лише ті документи, які справді змінилися.

00:12:24.040 --> 00:12:27.300
Відстежуйте, яка версія моделі створила кожен ембединг о новіть модель,

00:12:27.400 --> 00:12:29.300
і старі вектори стануть несумісними з новими.

00:12:29.420 --> 00:12:30.600
І стежте за витратами.

00:12:30.780 --> 00:12:34.880
А рід для ембедингів тарифікуються за токени, тому обробка мільйонів документів швидко стає дорогою.

00:12:35.020 --> 00:12:37.240
Вежур типовий робочий процес є досить простим.

00:12:37.240 --> 00:12:39.500
Розмістіть свої документи в блоб-сховищі.

00:12:39.620 --> 00:12:43.300
Потім налаштуйте індексатор Azure AI Search із вбудованим набором навичок,

00:12:43.380 --> 00:12:45.660
який автоматично виконує розбиття та ембединг.

00:12:45.840 --> 00:12:49.780
Microsoft надає навичку поділу тексту для розбиття та навичку моделі ембедингу

00:12:49.780 --> 00:12:51.700
Azure OpenAI для генерації векторів.

00:12:51.820 --> 00:12:56.640
Індексатор працює за розкладом, підхоплює нові файли, обробляє їх і оновлює вектори в індексі.

00:12:56.780 --> 00:12:58.900
Жодного власного коду конвейера не потрібно.

00:12:59.040 --> 00:13:01.320
Ось поширена помилка ігнорування метаданих.

00:13:01.320 --> 00:13:06.000
Кожен вектор потребує посилання на джерело, назву та версію моделі ембедингу, а також часову мітку створення.

00:13:06.180 --> 00:13:08.160
Без цього ви не зможете простежити походження результату,

00:13:08.240 --> 00:13:11.940
не зможете повторно створити ембединги при зміні моделей, і у вас будуть проблеми з аудитом відповідності.

00:13:12.060 --> 00:13:15.740
Ставтеся до своїх векторів, як до будь-яких інших бізнес-даних, відстежуйте їхнє походження.

00:13:15.920 --> 00:13:17.000
Ваші наступні кроки.

00:13:17.200 --> 00:13:19.200
Отже, готові спробувати це самостійно.

00:13:19.340 --> 00:13:20.400
Почніть з простого.

00:13:20.620 --> 00:13:23.240
Відкрите портал Azure і створіть ресурс Azure AI Search.

00:13:23.240 --> 00:13:25.820
Потім увімкніть векторний пошук для існуючого індексу.

00:13:25.940 --> 00:13:29.280
Завантажте кілька документів, оберіть модель ембедингу та виконайте запит на схожість.

00:13:29.420 --> 00:13:31.560
Ви побачите, що це запрацює менш, ніж за годину.

00:13:31.740 --> 00:13:35.620
Розробникам варто взяти Python SDK, векторизувати кілька документів через Azure OpenAI,

00:13:35.740 --> 00:13:40.120
зберегти їх у векторному сховищі Cosmos DB і написати запит для пошуку найближчої відповідності.

00:13:40.240 --> 00:13:43.700
Microsoft надає зрозумілі приклади коду та документацію, які допоможуть вам у цьому.

00:13:43.700 --> 00:13:47.240
Вам не обов'язково бути спеціалістом із даних, щоб використовувати векторні бази даних.

00:13:47.320 --> 00:13:51.300
Інструменти Microsoft беруть на себе генерацію ембедингів, індексацію та логіку запитів.

00:13:51.480 --> 00:13:55.200
Ваше завдання – лише зрозуміти концепцію та спрямувати інструменти на власні дані.

00:13:55.340 --> 00:13:56.260
Ось вам завдання.

00:13:56.440 --> 00:13:58.880
Згадайте проблему пошуку, з якою ви стикаєтесь сьогодні.

00:13:59.020 --> 00:14:03.840
Можливо, це пошук внутрішніх документів, каталогу товарів або відповідей на запитання клієнтів із бази знань.

00:14:03.960 --> 00:14:07.160
Чи зможе векторний пошук бути кращим за пошук за ключовими словами?

00:14:07.160 --> 00:14:10.840
Оберіть невеликий набір даних, хоча б 100 документів і спробуйте.

00:14:11.120 --> 00:14:12.880
Ви відразу відчуєте різницю.

00:14:13.100 --> 00:14:16.420
Отже, тепер ви розумієте, що таке векторні бази даних насправді.

00:14:16.580 --> 00:14:21.860
Це не якась таємнича технологія ЩІ, а просто спосіб зберігати та шукати зміст ваших даних, а не лише точні слова.

00:14:22.080 --> 00:14:27.180
Вони забезпечують роботу інтелектуального пошуку та функцій ЩІ в Microsoft 365, Azure та Co-Pilot.

00:14:27.400 --> 00:14:30.160
Щоразу, коли ви ставите запитання і отримуєте релевантну відповідь,

00:14:30.260 --> 00:14:33.160
десь векторна база даних знайшла найближчу відповідність до вашого запиту.

00:14:33.160 --> 00:14:38.820
Ваші структуровані факти, імена клієнтів, суми замовлень, кількість запасів – усе це залишається в традиційних базах даних.

00:14:38.960 --> 00:14:41.180
Векторні бази даних додають рівень розуміння.

00:14:41.360 --> 00:14:44.660
Вони дозволяють вашому додатку шукати за змістом, за наміром, за контекстом.

00:14:44.800 --> 00:14:46.060
Ось така загальна картина.

00:14:46.200 --> 00:14:49.300
Підписуйтесь, щоб отримувати більше простих пояснень технологій Microsoft.

00:14:49.560 --> 00:14:53.520
Наступного разу ми розглянемо, як працюють ARD-конвейери та як створити такий за півдня.

00:14:53.720 --> 00:14:54.760
Дякую за увагу!
