Всем привет! Добро пожаловать на очередной выпуск Microsoft NoLedge на где-то здесь, на M365FM. С вами ваш ведущий Мирку Питерс. Сегодняшняя тема – та, о которой почти все слышали, но мало кто действительно понимает. Векторные базы данных. Вы наверняка видели этот термин в статьях об И или слышали в разговорах о Капайлот и Чат-ГПТ. Но что же такое векторная база данных на самом деле? Это просто обычная база данных с более модным названием. Или нечто совершенно иное. Представьте, что вы ищете красную куртку на сайте интернет-магазина и получаете результаты «малиновым пальто» и «бордовой верхней одеждой». Откуда компьютер знает, что это одно и то же? Он не сопоставляет ключевые слова. «Малиновый» – это не «красный», а «пальто» – не «куртка». И все же поисковая система каким-то образом понимает, что они связаны. Это и есть векторный поиск в действии. К концу этого выпуска вы поймете, что на самом деле представляют собой векторные базы данных, почему они лежат в основе и поиска Икопайлот, и как они вписываются в облако Microsoft. Мы будем объяснять все простыми словами. Никакой математики, никакого жаргона, только понятные основы. Что же такое вектор на самом деле? Давайте начнем с главного вопроса. Что конкретно означает слово «вектор»? Когда большинство людей слышат слово «вектор», они представляют стрелку из школьного курса физики, направления и величина. В вычислительной технике все гораздо проще. Вектор – это, по сути, просто список чисел. Одномерный массив, который представляет объект в формате, понятном компьютеру. Вот наглядный пример, как это представить. Если я скажу вам встретиться со мной на третьем этаже в крыле в кабинете 12, это три числа, описывающих конкретное местоположение. Это трехмерный вектор, который точно указывает, где находится объект в здании. Теперь представьте, что я добавлю больше деталей. Цвет двери, размер комнаты, цена за квадратный метр. Каждая новая деталь становится еще одним измерением. Таким образом, чем больше измерений вы создаете, тем больше информации об объекте вы можете зафиксировать. Автомобиль можно описать скоростью, пробегом, ценой, весом и рейтингом безопасности. Это пятимерный вектор. Продукт может быть описан сотнями характеристик, что дает вам многомерный вектор. В этом-то и суть. Векторы позволяют нам превращать объекты в числа, которые компьютеры могут сравнивать. Слова, изображения, звуки, документы, что угодно можно превратить в список чисел. Когда все становится числами, можно начать измерять, насколько похожи два объекта. Две комнаты на одном этаже с похожим цветом дверей окажутся близко друг к другу в векторном пространстве. И два продукта с похожими характеристиками тоже будут сгруппированы вместе. Эта простая идея делает возможным современный ИИ-поиск. От векторов к эмбиддингам не все векторы одинаковы. Существует особый тип данных, называемый эмбиддингом, и именно в нем кроется настоящая мощь. Так что же такое эмбиддинг? Эмбиддинг — это вектор, который представляет смысл. Модель машинного обучения, такая как текст эмбиддинг минус три смол от Азура Упиной Ай, считывает текст и размещает его в многомерном пространстве. Модель обучалась на миллиардах примеров, поэтому она понимает взаимосвязи между словами. Король и королева оказываются рядом, потому что у них схожий контекст. Король и кофе оказываются далеко друг от друга, потому что это не так. Вот что это означает простыми словами. Когда вы ищете «красная куртка», система находит «алое пальто». Модель эмбиддингов распознает, что «красный» и «алый» близки по смыслу, как и «куртка» с пальто. Эмбиддинги для этих двух фраз становятся соседями в векторном пространстве. Компьютер больше не сопоставляет буквы, он сопоставляет смыслы. Теперь позвольте привести классический пример. Возьмите вектор «король», вычтите вектор «мужчина» и прибавьте вектор «женщина». Результат будет очень близок к вектору «королева». Король минус мужчина плюс женщина равно королева. Это может звучать как магия, но на самом деле модель просто закладывает отношения в цифры. Она усвоила, что связь между королем и королевой похожа на связь между мужчиной и женщиной, и эта связь закодирована в координатах. Таким образом, модели имбиддингов берут ваши исходные данные, будь то текст, изображение или аудио, и преобразуют их в список чисел, отражающих их смысл. Эти числа становятся координатами в многомерном пространстве. Затем, когда вы выполняете поиск, ваш запрос преобразуется в такой же набор координат. Все, что остается сделать, это измерить расстояние между ними. В этом и заключается основная идея. Почему традиционные базы данных не справляются? Если имбиддинги настолько мощны, почему мы не можем просто использовать обычную базу данных? Давайте ответим на этот вопрос. Традиционные SQL-базы данных созданы для точных совпадений. Вы пишете, где цвет равен красному, и система находит все строки, где столбец цвета буквально содержит значение «красный». Это отлично работает для структурированных данных, таких как имена клиентов, даты заказов или цены на товары, но полностью проваливается, когда нужен нечеткий поиск по смыслу. Попробуйте написать SQL-запрос, который найдет «алое пальто», если в ваших данных записана только «бордовая куртка». У вас не получится, потому что SQL не понимает концепций. Традиционные базы данных хранят информацию в строках и столбцах. Они оптимизированы для объединений, агрегации и точного поиска. Они не знают, что «автомобиль» и «машина» — это одно и то же. Они не знают, что «взволнованный» и «в восторге» — это похожие эмоции. Они просто сопоставляют строки. И если ваши данные не структурированы, например, PDF-файлы, изображения, аудиозаписи или длинные документы, традиционные базы данных могут сохранить их как большой бинарный объект, но не могут полноценно искать по их содержанию. Вам понадобится полнотекстовый поиск, который по-прежнему опирается на сопоставление по ключевым словам. Если пользователь введет отчет о бюджете, а в документе написано «финансовая сводка», ключевой поиск его пропустит. Представьте это так. Обычная база данных — это как картотека. Вам нужно знать точное название файла, чтобы найти-то, что ищете. Векторная база данных — это как библиотекарь, который понимает, что вы имеете в виду. Вы можете сказать «мне нужен тот документ о расходах за прошлый квартал». И библиотекарь точно знает, какую папку достать, даже если она подписана как «финансовая сводка за третий квартал». Библиотекарь понимает намерения, а не только ярлыки. Вот почему существуют векторные базы данных. Они хранят имбиддинги, те самые векторы, передающие смысл, и индексируют их так, чтобы поиск по сходству был быстрым. Они не заменяют традиционные базы данных. Они добавляют уровень понимания, и этот уровень меняет все. Они добавляют уровень понимания, и этот уровень меняет все. Как работают векторные базы данных. Итак, как же все это работает за кулисами? Давайте разберем две основные фазы — загрузку и запрос. Загрузка — это этап настройки. Вы берете свои необработанные данные, описание продуктов, тикеты поддержки, внутренние документы, что угодно, и пропускаете все это через так называемую модель имбиддингов. Эта модель превращает текст в вектор, который по сути является списком чисел, фиксирующим смысл. Затем вы сохраняете этот вектор в базу данных вместе с метадонами, исходным текстом, временной меткой, категорией или ссылкой на источник. А вот теперь самое интересное. Если бы у вас был миллион документов, проверка каждого вектора по очереди заняла бы вечность. Вот почему базы данных используют так называемое индексирование. Представьте индексирование как создание карты векторного пространства вместо того, чтобы стучаться в каждую дверь. Два распространенных метода — это IVF и HNSW. IVF означает инвертированный файловый индекс. Он работает путем группировки похожих векторов в кластеры. При поиске, вместо сканирования всех миллионов векторов, вы проверяете только наиболее подходящие кластеры. Это похоже на поиск книги в библиотеке. Вы сразу идете в нужный раздел, вместо того, чтобы просматривать каждую полку. HNSW означает иерархический графовый поиск в малых мирах. Идея довольно изящная. Она строит многоуровневую карту ваших векторов. Верхний слой содержит несколько репрезентативных векторов, которые дают общее представление о том, где что находится. Каждый последующий слой становится более детализированным. При поиске вы начинаете с вершины, находите общую область, а затем погружаетесь слой за слоем, пока не найдете точное совпадение. Это как использовать сначала карту города, затем карту района, а потом карту улиц. Каждый шаг приближает вас к цели. В результате вы можете искать по миллионам векторов за миллисекунды. Именно это обеспечивает работу функции и в реальном времени. Когда вы вводите вопрос в Капайлот, и через секунды получаете ответ. Где-то векторная база данных только что выполнила поиск сходства среди тысяч или миллионов документов. Фаза запроса работает точно так же, но в обратном порядке. Вы вводите свой вопрос. Этот вопрос преобразуется в вектор с помощью той же самой модели имбиддингов. Затем база данных находит ближайших соседей к вектору вашего запроса, используя индекс. Она возвращает наиболее похожие результаты, ранжированные по расстоянию. Чем ближе векторы, тем релевантнее результат. Экосистема Microsoft, в которой существуют векторы. Итак, где все это находится в мире Microsoft? Короткий ответ – везде. Microsoft добавляет векторные возможности в платформы данных, которыми вы уже пользуетесь, вместо того, чтобы навязывать отдельную специализированную базу данных. Давайте рассмотрим основные из них. Azure AI Search – самое популярное векторное хранилище для корпоративных ARG-систем. Это поиск с дополнением генерации Retrival Augmented Generation. Он поддерживает гибридный поиск, который объединяет традиционное сопоставление по ключевым словам с векторным сходством. Почему это важно? Потому что некоторые запросы лучше работают с ключевыми словами, точными кодами продуктов, именами или датами, в то время как другие требуют семантического понимания. Гибридный поиск дает вам это и другое. Azure AI Search также включает встроенную векторизацию, поэтому вы можете настроить конвейер, который автоматически разбивает документы на части, создает имбидинги и индексирует их без написания пользовательского кода. CosmosDB теперь имеет встроенный векторный поиск с индексацией диска ИНН. Диск ИНН означает дисковый приближенный поиск ближайшего соседа и создан для задержки менее 20 миллисекунд даже при огромных масштабах. Это отлично подходит для операционных данных, которые уже хранятся в CosmosDB. Предположим, вы создаете приложение для электронной коммерции, используя CosmosDB в качестве бэкенда. Теперь вы можете добавить векторный поиск прямо в каталог своих товаров, не перемещая данные в отдельный сервис. Клиент ищет легкую летнюю обувь, и ваше приложение с похожими описаниями прямо в вашей существующей базе данных. Azure SQL Server 2025 и Azure SQL Database тоже присоединились к этому списку. Они теперь включают собственный тип данных для векторов и функции для векторного поиска. Это означает, что вы можете хранить имбидинги прямо рядом с вашими реляционными данными. Записи клиентов с векторным представлением их предпочтений, товары в инвентаре с векторными описаниями, тикеты поддержки с векторными имбидингами их содержимого. Вам не нужна отдельная векторная база данных. Ваши текущие навыки SQL по-прежнему применимы. Просто добавьте векторный столбец, создайте индекс и начните выполнять запросы по сходству. Вот как Капайлот использует это под капотом. Когда вы просите «покажи мне отчет о продажах за третий квартал прошлого года», Капайлот не ищет точную фразу «отчет о продажах за третий квартал». Он преобразует ваш вопрос в вектор, выполняет поиск по индексированным документам, электронной почте, файлам SharePoint, документам OneDrive, чатам Teams и находит документ имбидинг, которого наиболее близок к вашему запросу. Он может найти файл под названием «финансовый отчет за три квартал 2024 года», потому что смысл совпадает, даже если слова различаются. Вот как работает векторный поиск. Ключевой момент здесь – стратегия Microsoft. Вместо того, чтобы говорить «идите и купите специализированную векторную базу данных», они добавляют векторные возможности в инструменты, которые вы уже используете. Azure AI Search, Cosmos DB, SQL Server – все они теперь работают с векторами. Вам не нужно изучать новую систему. Вам нужно лишь понять концепцию, а всю сложную работу берет на себя Microsoft. Реальные сценарии использования и… Итак, где именно сегодня применяются векторные базы данных? Вот как это выглядит на практике. RAG – самый важный из них. Это расшифровывается как «генерация с дополнением поиском Retrival Augmented Generation», и именно так сегодня работает большинство корпоративных систем, и, когда вы задаете чат-боту вопрос, он не пытается угадать ответ, основываясь на данных своего обучения. Вместо этого он ищет подходящие документы в векторной базе данных, находит наиболее близкие совпадения и передает их языковой модели в качестве контекста. Затем модель формирует ответ на основе этих реальных документов. Это означает точные ответы, касающиеся политики, продуктов или данных именно вашей компании. Без векторных баз данных и и строил бы догадки на основе общих знаний из интернета. С ними он берет информацию прямо из ваших реальных файлов. Рекомендательные системы – еще один огромный сценарий использования. Netflix, Amazon, YouTube – все они работают одинаково. Они превращают пользователей в векторы на основе их поведения – того, что вы смотрите, покупаете или на что нажимаете. И превращают товары в векторы на основе описаний, отзывов и характеристик. Затем они просто находят ближайших соседей. Если ваш вектор близок к вектору фильма, они рекомендуют вам этот фильм. Это поиск по сходству в огромных масштабах, выполняемый сотни раз в секунду для каждого отдельного пользователя. Семантический поиск – третий важный сценарий использования. Это поиск по смыслу, а не по ключевым словам. Специалист поддержки вводит, клиент не может войти в систему после сброса пароля, и находит статью под названием «Устранение неполадок с аутентификацией после обновления учетных данных». Слова не совпадают, но смысл – да. Именно это обеспечивает векторный поиск. Для команды, обрабатывающей сотни заявок в день, это значительно сокращает время решения проблем. Далее идет обнаружение аномалий. Менее очевидный, но мощный инструмент. Вы превращаете в имбидинге нормальное поведение, типичные шаблоны транзакций, привычные показатели системы, стандартные действия пользователей. Сохраняете эти векторы, а затем помечаете все, что оказывается далеко от основного кластера. Транзакция, которая совсем не похожа на обычную, это мошенничество. Если показатель сервера сильно отклоняется от нормы, значит, назревает инцидент. Векторные базы данных позволяют выполнять этот анализ в режиме реального времени. В экосистеме Microsoft это встречается повсеместно. PowerApps использует векторный поиск для ай-подсказок при создании форм. Dynamics 365 применяет его для интеллектуального поиска по записям клиентов. Расшифровки встреч в Teams преобразуются в векторы, чтобы вы могли найти ответ на вопрос, что мы решили по бюджету, и точно определить нужный момент в записи. Copilot для Microsoft 365 это по сути огромная ARG-система, работающая на основе ваших личных и корпоративных данных. И все это на базе векторного поиска. Чтобы поддерживать все в актуальном состоянии, используется векторный ETL. А теперь о практической сложности. Данные меняются, документы обновляются, добавляются новые продукты, старые политики уходят в архив. Каждый раз, когда меняются исходные данные, должны меняться и ваши векторы. Именно здесь на помощь приходит векторный ETL. ETL расшифровывается как извлечение, преобразование и загрузка. Для векторных баз данных процесс выглядит так. Сначала вы извлекаете новые или измененные документы из источника, например, из хранилища биолоби-объектов, библиотеки SharePoint или базы данных SQL. Затем вы преобразуете их, разбивая текст на удобные фрагменты и пропуская каждый из них через модель имбиддингов. Наконец, вы загружаете полученные векторы в векторное хранилище вместе с метадонами, такими как исходный URL, временная метка и версия используемой модели. Лучшая практика здесь — инкрементальная обработка. Не пересоздавайте имбиддинги для всей базы каждый раз, когда что-то меняется. Обрабатывайте только те документы, которые действительно изменились. Очлеживайте, какой версией модели был создан каждый имбиддинг, обновите модель, и старые векторы станут несовместимы с новыми. И следите за расходами. API имбиддингов взимают плату за токены, поэтому обработка миллионов документов быстро выливается в крупные суммы. В Azure типичный рабочий процесс довольно прост. Разместите свои документы в хранилище биолоби-объектов. Затем настройте индексатор Azure AI Search с интегрированным набором навыков, который автоматически выполняет разбиение и создание имбиддингов. Microsoft предоставляет навык разделения текста для фрагментации и навык моделей имбиддингов Azure OpenAI для генерации векторов. Индексатор работает по расписанию. Он находит новые файлы, обрабатывает их и добавляет или обновляет векторы в индексе. Собственный код конвейера не требуется. Вот типичная ошибка — игнорирование метадонных. Для каждого вектора нужны ссылка на источник, название и версия моделей имбиддингов, а также временная метка создания. Без этого вы не сможете отследить источник результата, повторно создать имбиддинги при смене моделей и столкнетесь с трудностями при аудите соответствия требованиям. Относитесь к своим векторам, как к любым другим бизнес-данным, очлеживайте их происхождение. Ваши следующие шаги. Итак, готовы попробовать сами? Начните с простого. Откройте портал Azure и создайте ресурс Azure AI Search. Затем включите векторный поиск для существующего индекса. Загрузите несколько документов, выберите модель имбиддингов и выполните запрос на поиск сходства. Вы увидите, как это работает, меньше чем за час. Разработчикам стоит взять Python SDK, векторизовать документы через Azure OpenAI, сохранить их в векторном поиске Cosmos DB и написать запрос, находящий ближайшие совпадения. Microsoft предоставляет понятные примеры кода и документацию, которые помогут вам во всем разобраться. Вам не нужно быть специалистом по Data Science, чтобы использовать векторные базы данных. Инструменты Microsoft берут на себя создание имбиддингов, индексацию и логику запросов. Ваша единственная задача — понять концепцию и направить инструменты на свои данные. Вот вам задача. Вспомните, с какой проблемой поиска вы сталкиваетесь сегодня. Возможно, это поиск внутренних документов, каталога товаров или ответы на вопросы клиентов из базы знаний. Справится ли векторный поиск лучше, чем поиск по ключевым словам? Возьмите небольшой набор данных, хотя бы 100 документов, и попробуйте. Вы сразу почувствуете разницу. Итак, теперь вы понимаете, что такое векторные базы данных на самом деле. Это не какая-то загадочная и технология, а просто способ хранения и поиска смысла данных вместо точных словарей. Они обеспечивают работу интеллектуального поиска и функций и в Microsoft 365 Azure и Copilot. Каждый раз, когда вы задаете вопрос и получаете релевантный ответ, где-то векторная база данных нашла ближайшее соответствие вашему запросу. Ваши структурированные факты, имена клиентов, суммы заказов и остатки на складе по-прежнему хранятся в традиционных базах данных. Векторные базы данных добавляют уровень понимания. Они позволяют вашему приложению искать по смыслу, намерениям и контексту. Вот в чем суть. Подписывайтесь, чтобы видеть больше простых разборов технологий Microsoft. В следующий раз мы рассмотрим, как работают ARG-конвейеры и как создать такой за один день. Спасибо за внимание.