WEBVTT

00:00:00.000 --> 00:00:04.980
Всем привет! Добро пожаловать на очередной выпуск Microsoft NoLedge на где-то здесь, на M365FM.

00:00:05.120 --> 00:00:09.240
С вами ваш ведущий Мирку Питерс. Сегодняшняя тема – та, о которой почти все слышали,

00:00:09.420 --> 00:00:13.540
но мало кто действительно понимает. Векторные базы данных. Вы наверняка видели этот термин в

00:00:13.540 --> 00:00:18.060
статьях об И или слышали в разговорах о Капайлот и Чат-ГПТ. Но что же такое векторная база данных

00:00:18.060 --> 00:00:22.160
на самом деле? Это просто обычная база данных с более модным названием. Или нечто совершенно

00:00:22.160 --> 00:00:26.300
иное. Представьте, что вы ищете красную куртку на сайте интернет-магазина и получаете результаты

00:00:26.300 --> 00:00:30.440
«малиновым пальто» и «бордовой верхней одеждой». Откуда компьютер знает, что это одно и то же?

00:00:30.560 --> 00:00:35.160
Он не сопоставляет ключевые слова. «Малиновый» – это не «красный», а «пальто» – не «куртка».

00:00:35.160 --> 00:00:38.760
И все же поисковая система каким-то образом понимает, что они связаны. Это и есть векторный

00:00:38.760 --> 00:00:42.060
поиск в действии. К концу этого выпуска вы поймете, что на самом деле представляют собой

00:00:42.060 --> 00:00:46.040
векторные базы данных, почему они лежат в основе и поиска Икопайлот, и как они вписываются в облако

00:00:46.040 --> 00:00:51.060
Microsoft. Мы будем объяснять все простыми словами. Никакой математики, никакого жаргона, только понятные

00:00:51.060 --> 00:00:55.640
основы. Что же такое вектор на самом деле? Давайте начнем с главного вопроса. Что конкретно

00:00:55.640 --> 00:00:59.620
означает слово «вектор»? Когда большинство людей слышат слово «вектор», они представляют стрелку

00:00:59.620 --> 00:01:03.540
из школьного курса физики, направления и величина. В вычислительной технике все гораздо проще.

00:01:03.720 --> 00:01:08.080
Вектор – это, по сути, просто список чисел. Одномерный массив, который представляет объект в

00:01:08.080 --> 00:01:12.000
формате, понятном компьютеру. Вот наглядный пример, как это представить. Если я скажу вам

00:01:12.000 --> 00:01:15.960
встретиться со мной на третьем этаже в крыле в кабинете 12, это три числа, описывающих конкретное

00:01:15.960 --> 00:01:19.940
местоположение. Это трехмерный вектор, который точно указывает, где находится объект в здании.

00:01:19.940 --> 00:01:24.580
Теперь представьте, что я добавлю больше деталей. Цвет двери, размер комнаты, цена за квадратный

00:01:24.580 --> 00:01:28.720
метр. Каждая новая деталь становится еще одним измерением. Таким образом, чем больше измерений вы

00:01:28.720 --> 00:01:32.320
создаете, тем больше информации об объекте вы можете зафиксировать. Автомобиль можно описать

00:01:32.320 --> 00:01:37.200
скоростью, пробегом, ценой, весом и рейтингом безопасности. Это пятимерный вектор. Продукт может

00:01:37.200 --> 00:01:41.880
быть описан сотнями характеристик, что дает вам многомерный вектор. В этом-то и суть. Векторы

00:01:41.880 --> 00:01:45.460
позволяют нам превращать объекты в числа, которые компьютеры могут сравнивать. Слова, изображения,

00:01:45.640 --> 00:01:49.260
звуки, документы, что угодно можно превратить в список чисел. Когда все становится числами,

00:01:49.260 --> 00:01:53.360
можно начать измерять, насколько похожи два объекта. Две комнаты на одном этаже с похожим цветом

00:01:53.360 --> 00:01:56.800
дверей окажутся близко друг к другу в векторном пространстве. И два продукта с похожими

00:01:56.800 --> 00:02:00.680
характеристиками тоже будут сгруппированы вместе. Эта простая идея делает возможным

00:02:00.680 --> 00:02:05.580
современный ИИ-поиск. От векторов к эмбиддингам не все векторы одинаковы. Существует особый тип

00:02:05.580 --> 00:02:09.840
данных, называемый эмбиддингом, и именно в нем кроется настоящая мощь. Так что же такое эмбиддинг?

00:02:10.080 --> 00:02:14.400
Эмбиддинг — это вектор, который представляет смысл. Модель машинного обучения, такая как текст

00:02:14.400 --> 00:02:18.240
эмбиддинг минус три смол от Азура Упиной Ай, считывает текст и размещает его в многомерном

00:02:18.240 --> 00:02:22.540
пространстве. Модель обучалась на миллиардах примеров, поэтому она понимает взаимосвязи между

00:02:22.540 --> 00:02:27.620
словами. Король и королева оказываются рядом, потому что у них схожий контекст. Король и кофе

00:02:27.620 --> 00:02:31.860
оказываются далеко друг от друга, потому что это не так. Вот что это означает простыми словами.

00:02:32.000 --> 00:02:37.160
Когда вы ищете «красная куртка», система находит «алое пальто». Модель эмбиддингов распознает,

00:02:37.360 --> 00:02:43.380
что «красный» и «алый» близки по смыслу, как и «куртка» с пальто. Эмбиддинги для этих двух фраз становятся

00:02:43.380 --> 00:02:48.000
соседями в векторном пространстве. Компьютер больше не сопоставляет буквы, он сопоставляет

00:02:48.000 --> 00:02:53.100
смыслы. Теперь позвольте привести классический пример. Возьмите вектор «король», вычтите вектор

00:02:53.100 --> 00:02:58.000
«мужчина» и прибавьте вектор «женщина». Результат будет очень близок к вектору «королева».

00:02:58.000 --> 00:03:02.880
Король минус мужчина плюс женщина равно королева. Это может звучать как магия, но на самом деле

00:03:02.880 --> 00:03:07.880
модель просто закладывает отношения в цифры. Она усвоила, что связь между королем и королевой

00:03:07.880 --> 00:03:12.220
похожа на связь между мужчиной и женщиной, и эта связь закодирована в координатах.

00:03:12.220 --> 00:03:16.740
Таким образом, модели имбиддингов берут ваши исходные данные, будь то текст, изображение или

00:03:16.740 --> 00:03:21.780
аудио, и преобразуют их в список чисел, отражающих их смысл. Эти числа становятся координатами в

00:03:21.780 --> 00:03:26.260
многомерном пространстве. Затем, когда вы выполняете поиск, ваш запрос преобразуется в такой же набор

00:03:26.260 --> 00:03:29.880
координат. Все, что остается сделать, это измерить расстояние между ними. В этом и заключается

00:03:29.880 --> 00:03:33.860
основная идея. Почему традиционные базы данных не справляются? Если имбиддинги настолько мощны,

00:03:33.980 --> 00:03:37.220
почему мы не можем просто использовать обычную базу данных? Давайте ответим на этот вопрос.

00:03:37.440 --> 00:03:42.020
Традиционные SQL-базы данных созданы для точных совпадений. Вы пишете, где цвет равен красному,

00:03:42.180 --> 00:03:45.860
и система находит все строки, где столбец цвета буквально содержит значение «красный». Это

00:03:45.860 --> 00:03:49.600
отлично работает для структурированных данных, таких как имена клиентов, даты заказов или цены на

00:03:49.600 --> 00:03:53.260
товары, но полностью проваливается, когда нужен нечеткий поиск по смыслу. Попробуйте написать

00:03:53.260 --> 00:03:57.840
SQL-запрос, который найдет «алое пальто», если в ваших данных записана только «бордовая куртка».

00:03:57.840 --> 00:04:02.880
У вас не получится, потому что SQL не понимает концепций. Традиционные базы данных хранят информацию

00:04:02.880 --> 00:04:07.860
в строках и столбцах. Они оптимизированы для объединений, агрегации и точного поиска. Они не

00:04:07.860 --> 00:04:12.920
знают, что «автомобиль» и «машина» — это одно и то же. Они не знают, что «взволнованный» и «в восторге»

00:04:12.920 --> 00:04:16.780
— это похожие эмоции. Они просто сопоставляют строки. И если ваши данные не структурированы,

00:04:16.860 --> 00:04:20.560
например, PDF-файлы, изображения, аудиозаписи или длинные документы, традиционные базы данных

00:04:20.560 --> 00:04:23.520
могут сохранить их как большой бинарный объект, но не могут полноценно искать по их содержанию.

00:04:23.660 --> 00:04:27.580
Вам понадобится полнотекстовый поиск, который по-прежнему опирается на сопоставление по ключевым словам.

00:04:27.580 --> 00:04:31.800
Если пользователь введет отчет о бюджете, а в документе написано «финансовая сводка»,

00:04:31.800 --> 00:04:36.220
ключевой поиск его пропустит. Представьте это так. Обычная база данных — это как картотека.

00:04:36.400 --> 00:04:40.460
Вам нужно знать точное название файла, чтобы найти-то, что ищете. Векторная база данных — это

00:04:40.460 --> 00:04:44.540
как библиотекарь, который понимает, что вы имеете в виду. Вы можете сказать «мне нужен тот документ

00:04:44.540 --> 00:04:49.280
о расходах за прошлый квартал». И библиотекарь точно знает, какую папку достать, даже если она подписана

00:04:49.280 --> 00:04:53.720
как «финансовая сводка за третий квартал». Библиотекарь понимает намерения, а не только ярлыки.

00:04:53.720 --> 00:04:57.940
Вот почему существуют векторные базы данных. Они хранят имбиддинги, те самые векторы,

00:04:58.060 --> 00:05:01.440
передающие смысл, и индексируют их так, чтобы поиск по сходству был быстрым.

00:05:01.540 --> 00:05:06.320
Они не заменяют традиционные базы данных. Они добавляют уровень понимания, и этот уровень

00:05:06.320 --> 00:05:11.800
меняет все. Они добавляют уровень понимания, и этот уровень меняет все. Как работают векторные базы

00:05:11.800 --> 00:05:17.320
данных. Итак, как же все это работает за кулисами? Давайте разберем две основные фазы — загрузку и запрос.

00:05:17.500 --> 00:05:21.940
Загрузка — это этап настройки. Вы берете свои необработанные данные, описание продуктов,

00:05:21.940 --> 00:05:26.540
тикеты поддержки, внутренние документы, что угодно, и пропускаете все это через так называемую

00:05:26.540 --> 00:05:31.300
модель имбиддингов. Эта модель превращает текст в вектор, который по сути является списком чисел,

00:05:31.440 --> 00:05:35.680
фиксирующим смысл. Затем вы сохраняете этот вектор в базу данных вместе с метадонами,

00:05:35.840 --> 00:05:39.200
исходным текстом, временной меткой, категорией или ссылкой на источник.

00:05:39.300 --> 00:05:43.240
А вот теперь самое интересное. Если бы у вас был миллион документов, проверка каждого вектора

00:05:43.240 --> 00:05:47.340
по очереди заняла бы вечность. Вот почему базы данных используют так называемое индексирование.

00:05:47.500 --> 00:05:50.600
Представьте индексирование как создание карты векторного пространства вместо того,

00:05:50.600 --> 00:05:54.420
чтобы стучаться в каждую дверь. Два распространенных метода — это IVF и HNSW.

00:05:54.600 --> 00:05:59.100
IVF означает инвертированный файловый индекс. Он работает путем группировки похожих векторов в кластеры.

00:05:59.240 --> 00:06:02.940
При поиске, вместо сканирования всех миллионов векторов, вы проверяете только наиболее подходящие

00:06:02.940 --> 00:06:06.980
кластеры. Это похоже на поиск книги в библиотеке. Вы сразу идете в нужный раздел, вместо того,

00:06:07.100 --> 00:06:11.280
чтобы просматривать каждую полку. HNSW означает иерархический графовый поиск в малых мирах.

00:06:11.480 --> 00:06:15.880
Идея довольно изящная. Она строит многоуровневую карту ваших векторов. Верхний слой содержит

00:06:15.880 --> 00:06:19.120
несколько репрезентативных векторов, которые дают общее представление о том, где что находится.

00:06:19.300 --> 00:06:23.080
Каждый последующий слой становится более детализированным. При поиске вы начинаете с вершины,

00:06:23.260 --> 00:06:27.180
находите общую область, а затем погружаетесь слой за слоем, пока не найдете точное совпадение.

00:06:27.340 --> 00:06:31.800
Это как использовать сначала карту города, затем карту района, а потом карту улиц. Каждый шаг

00:06:31.800 --> 00:06:35.880
приближает вас к цели. В результате вы можете искать по миллионам векторов за миллисекунды.

00:06:36.040 --> 00:06:40.160
Именно это обеспечивает работу функции и в реальном времени. Когда вы вводите вопрос в Капайлот,

00:06:40.160 --> 00:06:44.260
и через секунды получаете ответ. Где-то векторная база данных только что выполнила поиск сходства

00:06:44.260 --> 00:06:48.340
среди тысяч или миллионов документов. Фаза запроса работает точно так же, но в обратном порядке.

00:06:48.500 --> 00:06:52.920
Вы вводите свой вопрос. Этот вопрос преобразуется в вектор с помощью той же самой модели имбиддингов.

00:06:53.120 --> 00:06:56.760
Затем база данных находит ближайших соседей к вектору вашего запроса, используя индекс.

00:06:56.940 --> 00:07:01.240
Она возвращает наиболее похожие результаты, ранжированные по расстоянию. Чем ближе векторы,

00:07:01.500 --> 00:07:05.540
тем релевантнее результат. Экосистема Microsoft, в которой существуют векторы.

00:07:05.540 --> 00:07:09.340
Итак, где все это находится в мире Microsoft? Короткий ответ – везде.

00:07:09.520 --> 00:07:12.920
Microsoft добавляет векторные возможности в платформы данных, которыми вы уже пользуетесь,

00:07:12.920 --> 00:07:15.560
вместо того, чтобы навязывать отдельную специализированную базу данных.

00:07:15.680 --> 00:07:19.360
Давайте рассмотрим основные из них. Azure AI Search – самое популярное векторное

00:07:19.360 --> 00:07:23.680
хранилище для корпоративных ARG-систем. Это поиск с дополнением генерации Retrival Augmented

00:07:23.680 --> 00:07:27.720
Generation. Он поддерживает гибридный поиск, который объединяет традиционное сопоставление по

00:07:27.720 --> 00:07:31.440
ключевым словам с векторным сходством. Почему это важно? Потому что некоторые запросы лучше

00:07:31.440 --> 00:07:34.960
работают с ключевыми словами, точными кодами продуктов, именами или датами, в то время как другие

00:07:34.960 --> 00:07:39.580
требуют семантического понимания. Гибридный поиск дает вам это и другое. Azure AI Search также включает

00:07:39.580 --> 00:07:42.900
встроенную векторизацию, поэтому вы можете настроить конвейер, который автоматически

00:07:42.900 --> 00:07:46.920
разбивает документы на части, создает имбидинги и индексирует их без написания пользовательского

00:07:46.920 --> 00:07:51.980
кода. CosmosDB теперь имеет встроенный векторный поиск с индексацией диска ИНН. Диск ИНН означает

00:07:51.980 --> 00:07:56.260
дисковый приближенный поиск ближайшего соседа и создан для задержки менее 20 миллисекунд даже

00:07:56.260 --> 00:08:00.140
при огромных масштабах. Это отлично подходит для операционных данных, которые уже хранятся в

00:08:00.140 --> 00:08:04.000
CosmosDB. Предположим, вы создаете приложение для электронной коммерции, используя CosmosDB в

00:08:04.000 --> 00:08:07.600
качестве бэкенда. Теперь вы можете добавить векторный поиск прямо в каталог своих товаров,

00:08:07.600 --> 00:08:12.280
не перемещая данные в отдельный сервис. Клиент ищет легкую летнюю обувь, и ваше приложение

00:08:12.900 --> 00:08:18.800
с похожими описаниями прямо в вашей существующей базе данных. Azure SQL Server 2025 и Azure SQL

00:08:18.800 --> 00:08:22.760
Database тоже присоединились к этому списку. Они теперь включают собственный тип данных для векторов

00:08:22.760 --> 00:08:26.980
и функции для векторного поиска. Это означает, что вы можете хранить имбидинги прямо рядом с вашими

00:08:26.980 --> 00:08:31.400
реляционными данными. Записи клиентов с векторным представлением их предпочтений, товары в инвентаре

00:08:31.400 --> 00:08:36.420
с векторными описаниями, тикеты поддержки с векторными имбидингами их содержимого. Вам не нужна отдельная

00:08:36.420 --> 00:08:40.820
векторная база данных. Ваши текущие навыки SQL по-прежнему применимы. Просто добавьте векторный

00:08:40.820 --> 00:08:45.260
столбец, создайте индекс и начните выполнять запросы по сходству. Вот как Капайлот использует это

00:08:45.260 --> 00:08:49.820
под капотом. Когда вы просите «покажи мне отчет о продажах за третий квартал прошлого года»,

00:08:49.820 --> 00:08:54.400
Капайлот не ищет точную фразу «отчет о продажах за третий квартал». Он преобразует ваш вопрос в вектор,

00:08:54.560 --> 00:08:58.660
выполняет поиск по индексированным документам, электронной почте, файлам SharePoint, документам

00:08:58.660 --> 00:09:03.680
OneDrive, чатам Teams и находит документ имбидинг, которого наиболее близок к вашему запросу. Он может найти файл

00:09:03.680 --> 00:09:08.640
под названием «финансовый отчет за три квартал 2024 года», потому что смысл совпадает, даже если слова

00:09:08.640 --> 00:09:13.400
различаются. Вот как работает векторный поиск. Ключевой момент здесь – стратегия Microsoft. Вместо

00:09:13.400 --> 00:09:16.580
того, чтобы говорить «идите и купите специализированную векторную базу данных», они добавляют

00:09:16.580 --> 00:09:21.440
векторные возможности в инструменты, которые вы уже используете. Azure AI Search, Cosmos DB, SQL Server – все

00:09:21.440 --> 00:09:25.980
они теперь работают с векторами. Вам не нужно изучать новую систему. Вам нужно лишь понять концепцию,

00:09:26.200 --> 00:09:31.520
а всю сложную работу берет на себя Microsoft. Реальные сценарии использования и… Итак, где именно

00:09:31.520 --> 00:09:36.860
сегодня применяются векторные базы данных? Вот как это выглядит на практике. RAG – самый важный из них.

00:09:36.860 --> 00:09:39.840
Это расшифровывается как «генерация с дополнением поиском Retrival Augmented Generation»,

00:09:39.840 --> 00:09:42.680
и именно так сегодня работает большинство корпоративных систем, и, когда вы задаете чат-боту

00:09:42.680 --> 00:09:46.060
вопрос, он не пытается угадать ответ, основываясь на данных своего обучения. Вместо этого он

00:09:46.060 --> 00:09:49.800
ищет подходящие документы в векторной базе данных, находит наиболее близкие совпадения и

00:09:49.800 --> 00:09:53.900
передает их языковой модели в качестве контекста. Затем модель формирует ответ на основе этих

00:09:53.900 --> 00:09:57.960
реальных документов. Это означает точные ответы, касающиеся политики, продуктов или данных именно

00:09:57.960 --> 00:10:02.080
вашей компании. Без векторных баз данных и и строил бы догадки на основе общих знаний из интернета.

00:10:02.080 --> 00:10:06.240
С ними он берет информацию прямо из ваших реальных файлов. Рекомендательные системы – еще один

00:10:06.240 --> 00:10:10.680
огромный сценарий использования. Netflix, Amazon, YouTube – все они работают одинаково. Они превращают

00:10:10.680 --> 00:10:14.300
пользователей в векторы на основе их поведения – того, что вы смотрите, покупаете или на что

00:10:14.300 --> 00:10:18.640
нажимаете. И превращают товары в векторы на основе описаний, отзывов и характеристик. Затем

00:10:18.640 --> 00:10:22.940
они просто находят ближайших соседей. Если ваш вектор близок к вектору фильма, они рекомендуют вам

00:10:22.940 --> 00:10:27.400
этот фильм. Это поиск по сходству в огромных масштабах, выполняемый сотни раз в секунду для каждого

00:10:27.400 --> 00:10:31.720
отдельного пользователя. Семантический поиск – третий важный сценарий использования. Это поиск

00:10:31.720 --> 00:10:36.320
по смыслу, а не по ключевым словам. Специалист поддержки вводит, клиент не может войти в систему

00:10:36.320 --> 00:10:40.440
после сброса пароля, и находит статью под названием «Устранение неполадок с аутентификацией

00:10:40.440 --> 00:10:44.940
после обновления учетных данных». Слова не совпадают, но смысл – да. Именно это обеспечивает

00:10:44.940 --> 00:10:48.720
векторный поиск. Для команды, обрабатывающей сотни заявок в день, это значительно сокращает

00:10:48.720 --> 00:10:53.800
время решения проблем. Далее идет обнаружение аномалий. Менее очевидный, но мощный инструмент. Вы превращаете

00:10:53.800 --> 00:10:57.320
в имбидинге нормальное поведение, типичные шаблоны транзакций, привычные показатели системы,

00:10:57.420 --> 00:11:00.440
стандартные действия пользователей. Сохраняете эти векторы, а затем помечаете все,

00:11:00.620 --> 00:11:04.040
что оказывается далеко от основного кластера. Транзакция, которая совсем не похожа на обычную,

00:11:04.140 --> 00:11:07.900
это мошенничество. Если показатель сервера сильно отклоняется от нормы, значит, назревает инцидент.

00:11:08.060 --> 00:11:11.000
Векторные базы данных позволяют выполнять этот анализ в режиме реального времени.

00:11:11.180 --> 00:11:15.580
В экосистеме Microsoft это встречается повсеместно. PowerApps использует векторный поиск для

00:11:15.580 --> 00:11:20.740
ай-подсказок при создании форм. Dynamics 365 применяет его для интеллектуального поиска по записям

00:11:20.740 --> 00:11:24.780
клиентов. Расшифровки встреч в Teams преобразуются в векторы, чтобы вы могли найти ответ на вопрос,

00:11:25.000 --> 00:11:28.140
что мы решили по бюджету, и точно определить нужный момент в записи.

00:11:28.260 --> 00:11:33.960
Copilot для Microsoft 365 это по сути огромная ARG-система, работающая на основе ваших личных и

00:11:33.960 --> 00:11:37.920
корпоративных данных. И все это на базе векторного поиска. Чтобы поддерживать все в актуальном

00:11:37.920 --> 00:11:41.400
состоянии, используется векторный ETL. А теперь о практической сложности.

00:11:41.400 --> 00:11:45.880
Данные меняются, документы обновляются, добавляются новые продукты, старые политики уходят в архив.

00:11:46.000 --> 00:11:49.800
Каждый раз, когда меняются исходные данные, должны меняться и ваши векторы. Именно здесь на помощь

00:11:49.800 --> 00:11:53.480
приходит векторный ETL. ETL расшифровывается как извлечение, преобразование и загрузка.

00:11:53.640 --> 00:11:57.500
Для векторных баз данных процесс выглядит так. Сначала вы извлекаете новые или измененные

00:11:57.500 --> 00:12:01.760
документы из источника, например, из хранилища биолоби-объектов, библиотеки SharePoint или базы

00:12:01.760 --> 00:12:06.820
данных SQL. Затем вы преобразуете их, разбивая текст на удобные фрагменты и пропуская каждый из них

00:12:06.820 --> 00:12:11.520
через модель имбиддингов. Наконец, вы загружаете полученные векторы в векторное хранилище вместе с

00:12:11.520 --> 00:12:15.580
метадонами, такими как исходный URL, временная метка и версия используемой модели.

00:12:15.580 --> 00:12:19.800
Лучшая практика здесь — инкрементальная обработка. Не пересоздавайте имбиддинги для всей базы

00:12:19.800 --> 00:12:23.440
каждый раз, когда что-то меняется. Обрабатывайте только те документы, которые действительно

00:12:23.440 --> 00:12:27.460
изменились. Очлеживайте, какой версией модели был создан каждый имбиддинг, обновите модель,

00:12:27.600 --> 00:12:30.580
и старые векторы станут несовместимы с новыми. И следите за расходами.

00:12:30.720 --> 00:12:33.980
API имбиддингов взимают плату за токены, поэтому обработка миллионов документов быстро

00:12:33.980 --> 00:12:38.300
выливается в крупные суммы. В Azure типичный рабочий процесс довольно прост. Разместите свои документы

00:12:38.300 --> 00:12:41.740
в хранилище биолоби-объектов. Затем настройте индексатор Azure AI Search с

00:12:41.740 --> 00:12:45.760
интегрированным набором навыков, который автоматически выполняет разбиение и создание имбиддингов.

00:12:45.860 --> 00:12:49.920
Microsoft предоставляет навык разделения текста для фрагментации и навык моделей имбиддингов

00:12:49.920 --> 00:12:54.300
Azure OpenAI для генерации векторов. Индексатор работает по расписанию. Он находит новые файлы,

00:12:54.460 --> 00:12:58.760
обрабатывает их и добавляет или обновляет векторы в индексе. Собственный код конвейера не требуется.

00:12:58.980 --> 00:13:03.080
Вот типичная ошибка — игнорирование метадонных. Для каждого вектора нужны ссылка на источник,

00:13:03.280 --> 00:13:07.060
название и версия моделей имбиддингов, а также временная метка создания. Без этого вы не сможете

00:13:07.060 --> 00:13:10.400
отследить источник результата, повторно создать имбиддинги при смене моделей и столкнетесь с

00:13:10.400 --> 00:13:13.920
трудностями при аудите соответствия требованиям. Относитесь к своим векторам, как к любым другим

00:13:13.920 --> 00:13:18.780
бизнес-данным, очлеживайте их происхождение. Ваши следующие шаги. Итак, готовы попробовать

00:13:18.780 --> 00:13:24.000
сами? Начните с простого. Откройте портал Azure и создайте ресурс Azure AI Search. Затем включите

00:13:24.000 --> 00:13:28.160
векторный поиск для существующего индекса. Загрузите несколько документов, выберите модель имбиддингов и

00:13:28.160 --> 00:13:32.400
выполните запрос на поиск сходства. Вы увидите, как это работает, меньше чем за час. Разработчикам

00:13:32.400 --> 00:13:37.080
стоит взять Python SDK, векторизовать документы через Azure OpenAI, сохранить их в векторном поиске

00:13:37.080 --> 00:13:41.320
Cosmos DB и написать запрос, находящий ближайшие совпадения. Microsoft предоставляет понятные

00:13:41.320 --> 00:13:44.520
примеры кода и документацию, которые помогут вам во всем разобраться. Вам не нужно быть

00:13:44.520 --> 00:13:48.620
специалистом по Data Science, чтобы использовать векторные базы данных. Инструменты Microsoft берут на

00:13:48.620 --> 00:13:53.060
себя создание имбиддингов, индексацию и логику запросов. Ваша единственная задача — понять

00:13:53.060 --> 00:13:57.580
концепцию и направить инструменты на свои данные. Вот вам задача. Вспомните, с какой проблемой

00:13:57.580 --> 00:14:02.280
поиска вы сталкиваетесь сегодня. Возможно, это поиск внутренних документов, каталога товаров или ответы

00:14:02.280 --> 00:14:07.120
на вопросы клиентов из базы знаний. Справится ли векторный поиск лучше, чем поиск по ключевым словам?

00:14:07.300 --> 00:14:12.300
Возьмите небольшой набор данных, хотя бы 100 документов, и попробуйте. Вы сразу почувствуете

00:14:12.300 --> 00:14:17.340
разницу. Итак, теперь вы понимаете, что такое векторные базы данных на самом деле. Это не какая-то

00:14:17.340 --> 00:14:22.000
загадочная и технология, а просто способ хранения и поиска смысла данных вместо точных словарей.

00:14:22.000 --> 00:14:27.180
Они обеспечивают работу интеллектуального поиска и функций и в Microsoft 365 Azure и Copilot.

00:14:27.320 --> 00:14:31.560
Каждый раз, когда вы задаете вопрос и получаете релевантный ответ, где-то векторная база данных нашла

00:14:31.560 --> 00:14:36.100
ближайшее соответствие вашему запросу. Ваши структурированные факты, имена клиентов, суммы заказов

00:14:36.100 --> 00:14:40.060
и остатки на складе по-прежнему хранятся в традиционных базах данных. Векторные базы данных

00:14:40.060 --> 00:14:44.960
добавляют уровень понимания. Они позволяют вашему приложению искать по смыслу, намерениям и контексту.

00:14:45.080 --> 00:14:49.200
Вот в чем суть. Подписывайтесь, чтобы видеть больше простых разборов технологий Microsoft.

00:14:49.200 --> 00:14:53.580
В следующий раз мы рассмотрим, как работают ARG-конвейеры и как создать такой за один день.

00:14:53.760 --> 00:14:54.660
Спасибо за внимание.
