皆さんこんにちは m365fmでお届けするマイクロソフトナレッジナゲットへようこそホストのミルコピーターズです今日のトピックは誰もが耳にしたことはあるものの実際に理解している人はごくわずかというものですベクトルデータベースについてです ai に関する記事やコパイロットやチャット gpt についての会話の中でこの言葉を目にしたことがあるでしょうではベクトルデータベースとは一体何なのでしょうか単なる通常のデータベースにおしゃれな名前をつけただけなのでしょうかそれとも全く異なるものなのでしょうか ec サイトで赤いジャケットと検索した際に真紅のコートやバーガンディー色のアウターが表示される場面を想像してみてくださいコンピュータはどうやってそれらが同じものだと判断しているのでしょうかキーワードの一致ではありません真紅は赤ではありませんしコートはジャケットではありませんそれでも検索エンジンはそれらが関連していることを理解しておりこれこそがベクトル検索の仕組みですこのエピソードを終える頃にはベクトルデータベースの正体それがなぜ ai 検索やコパイロットを支えているのかそしてマイクロソフトのクラウドにどう適合するのかが理解できるはずです専門用語を避けてわかりやすく解説します数学や難しい言葉は使わず基礎からシンプルに説明しますそもそもベクトルとは何でしょうか革新的な質問から始めましょうベクトルとは一体何なのでしょうかベクトルという言葉を聞くと物理の授業で習った方向と大きさを示す矢印を想像する人が多いでしょうコンピュータの世界ではもっと単純なものですベクトルとは実際にはただの数字のリストのことです コンピュータが処理できる形式で何かを表現するための一次元配列です具体的にイメージしてみましょう3階のビームで12号室で待ち合わせしようといえばそれは特定の場所を示す3つの数字になりますこれは建物内のどこに何があるかを正確に伝える3次元ベクトルです ではそこにさらに詳細情報を加えてみましょうドアの色部屋の広さ平前単価などです詳細な情報が増えるごとに次元が一つずつ増えていきます つまり次元を積み重ねるほどその対象についてより多くの情報を捉えられるようになるのです車であれば速度走行距離価格重量安全性評価などで表現できます これは5次元ベクトルとなります製品であれば数百もの特徴で説明でき高次元ベクトルが得られますここがポイントです ベクトルを使えばあらゆるものをコンピュータが比較できる数字に変えることができます言葉画像音ドキュメントなどどんなものでも数字のリストに変換可能です すべてが数字になれば2つのものがどれほど似ているかを測定できるようになります同じ階にあってドアの色が似ている2つの部屋はベクトル空間上で近くに配置されることになります 同じように特徴が似ている2つの製品もベクトル空間で近くに集まりますこの単純なアイデアこそが現代のAI検索を可能にしているのです ベクトルから埋め込みへすべてのベクトルが同じというわけではありませんエンベディングと呼ばれる特別な種類がありそこに真のパワーが秘められています ではエンベディングとは正確には何でしょうかエンベディングとは意味を表現するベクトルですアジュールオープンAIのテキストエンベディング3スモールのような機械学習モデルはテキストを読み取り 高次元空間に配置しますこのモデルは数十億の例から学習しているため単語同士の関係性を理解しています 王キングと女王クイーンは文脈が似ているため近くに配置されます王キングとコーヒーコーヒーは関連性がないため遠くに配置されます これを平易な言葉で説明しましょう赤いジャケットで検索するとシステムは真紅のコートを見つけ出しますエンベディングモデルは赤と真紅の意味が近くジャケットとコートも同様に近いことを認識しています これら2つのフレーズのエンベディングはベクトル空間で隣人となりますコンピュータはもう文字の一致を調べているのではありません 意味の一致を調べているのですここで古典的な例を挙げましょう王のベクトルから男のベクトルを引き女のベクトルを足します その結果は女王のベクトルに非常に近いものになります王-男プラス女は女王に等しいのです 魔法のように聞こえるかもしれませんがこれはモデルが関係性を数値として組み込んでいる仕組みに他なりませんモデルは王と女王が男と女と同じ関係にあることを学習しており その関係が座標に符号化されているのですつまりエンベディングモデルはテキスト画像音声といった性のデータをその意味を表す数値のリストに変換しますそれらの数値は高次元空間における座標となります そして検索時にはクエリも同じ種類の座標に変換されますあとはそれらの間の距離を測定するだけです それが確信となる考え方ですなぜ従来のデータベースでは不十分なのか エンベディングがこれほど強力ならなぜ通常のデータベースではいけないのでしょうかその理由をお答えしましょう 従来のSQLデータベースは完全一致のために構築されています色イコール赤と書けば色絡むが文字通り赤であるすべての行を見つけ出しますこれは顧客名注文日商品価格のような構造化データには最適ですが 曖昧な意味を扱う必要がある場合には全く機能しませんデータにはバーガンディのジャケットとしか書かれていないのに 真空のコートを見つけるようなSQLクエリを書いてみてくださいSQLは概念を理解できないためそれは不可能です従来のデータベースは行と列でデータを保存しますこれらは結合集計そして完全一致検索に最適化されていますそれらは車カーと自動車オートモビルが同じものであることを知りません興奮したエキサイティッドとワクワクしたスリルドが似た感情であることも知りませんそれらは単に文字列を称号しているだけなのですまたPDF画像音声録音長い文書のような非構造化データの場合従来のデータベースはそれをバイナリデータとして保存できても その内容を実質的に検索することはできないのです全文検索が必要になりますがそれでもキーワードの一致に頼ることになりますもしユーザーが予算報告書と入力してもドキュメントに財務概要と書かれていれば キーワード検索では全くヒットしませんこのように考えてみてください通常のデータベースは書類棚のようなものです探しているものを見つけるには正確なファイル名を知っておく必要がありますベクトルデータベースはあなたの意図を理解してくれる図書館の司書のようなものです全市販機の支出に関するあの資料が必要だということができますすると司書はたとえフォルダ名が第三市販機財務概要であってもどのフォルダを取り出せば良いか正確に把握しています司書はラベルだけでなく意図を理解するからですそれがベクトルデータベースが存在する理由ですこれらは意味を捉えたベクトルである埋め込みを保存し類似検索を高速化する方法でインデックス化しますこれらは従来のデータベースを置き換えるものではありませんその上に理解の層を追加するものでありその層があらゆるものを変えるのです ベクトルデータベースの仕組みではこれらは舞台裏でどのように動いているのでしょうかインジェスト取り込み特入検索という2つの主要なフェーズを見ていきましょうインジェストはセットアップのフェーズです製品説明サポートチケット社内文書などどのような生データでもそれぞれを埋め込みモデルというものに通しますそのモデルがテキストをベクトルに変換しますベクトルとは基本的に意味を捉えた数値のリストです次にそのベクトルをメタデータ元のテキストタイムスタンプカテゴリーソースURLなどと一緒にデータベースに保存しますここで賢い工夫がありますもし100万件のドキュメントがあれば全てのベクトルを一つずつ確認するのは非常に時間がかかりますだからこそベクトルデータベースはインデックス作成というものを使うのですインデックス作成とは全ての扉を叩く代わりにベクトル空間の地図を作るようなものだと考えてください一般的な2つの手法がIVFとHNSWですIVFはインバーテッドファイルインデックス・テンチファイルインデックスの略ですこれは似たベクトルをクラスターにグループ化することで機能します検索する際100万個のベクトル全てをスキャンするのではなく有望なクラスターのみを確認しますこれは図書館で本を探すようなものです全ての棚を確認する代わりに適切なセクションへ直接向かうのですHNSWはヒエラルチカルナビガブルスモールワールドの略ですその考え方は非常に洗練されていますベクトルを多層構造の地図として構築しますモガミ層には代表的なベクトルがいくつか配置されており大まかな位置関係を把握できます下の階層へ行くほど詳細になっていきます検索時は上層から初めて大まかな近傍を見つけ正確な位置にたどり着くまで層ごとに掘り下げていきます最初は市全体の地図を使い次に地域の地図最後に街路図を使うようなものですそれぞれが正解へと近づけますその結果数百万ものベクトルをミリ秒単位で検索できるようになりますそれがリアルタイムのAI機能を支えていますコパイロットに質問を入力して数秒で回答が得られるときどこかのベクトルデータベースでは数千数百万ものドキュメントを対象に類似性検索が実行されていますクエリフェーズも同様の手順を逆にたどります質問を入力しますその質問は全く同じ埋め込みモデルを使用してベクトルに変換されます次にデータベースがインデックスを使用してクエリベクトルに最も近い近傍点を探し出します距離に応じてランク付けされた最も類似した結果が返されますベクトルが近いほど関連性の高い結果になりますベクトルが存在するマイクロソフトエコシステムではこれらすべてはマイクロソフトの世界のどこにあるのでしょうか簡潔に言えば至るところにありますマイクロソフトは専門のデータベースを別途用意させるのではなくすでに利用しているデータプラットフォームにベクトル機能を組み込んでいます主要なものを順に見ていきましょうAzure iSearchはエンタープライズラグにおいて最も一般的なベクトルストアですこれは検索拡張生成のことですハイブリッド検索をサポートしており従来のキーワードマッチングとベクトル類似性を組み合わせることができますなぜそれが重要なのでしょうかキーワードや正確な製品コード名前日付などが有効な検索もあれば意味の理解が必要な検索もあるからですハイブリッド検索ならその両方が可能ですAzure iSearchにはベクトル化機能も統合されているためカスタムコードを書かずにドキュメントのチャンク分割埋め込みの生成インデックス作成を自動で行うパイプラインを構築できますCosmos DBでもディスクANNインデックスによるネイティブベクトル検索が利用可能になりましたディスクANNとはディスクベースの近似細菌棒探索のことで大規模な環境でも20ミリ秒以下の低遅延を実現するよう設計されていますこれはすでにCosmos DBにある運用データにとって最適です例えばCosmos DBをバックエンドにeコマースアプリを構築しているとしますデータを別のサービスに移動させることなく製品カタログに直接ベクトル検索を追加できます顧客が軽量な夏用シューズを検索すると既存のデータベース内で類似した説明を持つ製品をアプリが見つけ出しますAzure School Server 2025とAzure School Databaseもこの動きに加わりましたこれらにはネイティブのベクトルデータ型とベクトル検索機能が追加されましたつまりリレーショナルデータと並べて埋め込みを保存できるようになります顧客の好みを表現したベクトルを持つ顧客レコードベクトル技術を持つ在庫アイテム内容をベクトル埋め込みしたサポートチケットなどがその例です個別のベクトルデータベースは不要です既存のSQLスキルがそのまま活かせますベクトル列を追加しインデックスを作成して類似性によるクエリを開始するだけですCopilotが裏側でこれらをどのように利用しているかを見てみましょう去年の第三四半期の売上レポートを見せてと尋ねた時Copilotは第三四半期売上レポートという正確なフレーズを検索しているわけではありません質問をベクトルに変換しインデックス化されたドキュメントメール、シェアポイントファイル、ワンドライブのドキュメントチームのチャットを検索してクエリとの埋め込みが最も近いドキュメントを見つけ出します例えば2024年第三四半期財務概要というファイルが見つかるかもしれません単語が一致していなくても意味が合致しているからですこれこそがベクトル検索の働きですここで重要なのはマイクロソフトの戦略です専用のベクトルデータベースを購入せよという代わりにすでに使用しているツールにベクトル機能を組み込んでいるのですAzure iSearch、Cosmos DB、School Server、これらすべてが今やベクトルを扱います新しいシステムを学習する必要はありませんコンセプトさえ理解していれば面倒な作業はすべてマイクロソフトが引き受けてくれますAIにおける現実のユースケースですでは実際にベクトルデータベースは今どこで活用されているのでしょうかその実例を紹介しましょうまずはラグですこれは検索拡張生成リトリーバルオーグメンテッドジェネレーションの略で現在のほとんどの企業向けAIで採用されていますチャットボットに質問した際それは学習データから推測しているわけではありませんその代わりベクトルデータベースから関連文章を検索し最も近い一致を見つけてそれをコンテキストとして言語モデルに渡しますモデルはそれらの実際のドキュメントに基づいて回答を生成します インターネット上の知識から推測することになりますこれらがあれば実際のファイルから直接情報を引き出せるのですレコメンデーションエンジンも非常に大きなユースケースですnetflix amazon youtubeこれらはすべて同じ仕組みです視聴履歴購入クリックなどの行動に基づいてユーザーをベクトル化しますそして説明文レビュー特徴に基づいてアイテムもベクトル化しますあとは近傍探索を行うだけですあなたのベクトルが映画のベクトルに近ければその映画を推奨しますこれは大規模な類似性検索でありすべてのユーザーに対して1秒間に何百回も実行されています意味的検索セマンティック検索が3つ目の大きなユースケースですこれはキーワードではなく意味による検索ですサポート担当者がパスワードリセット後に顧客がログインできないと入力すると資格情報更新後の認証失敗のトラブルシューティングという記事が見つかります単語は一致していませんが意味は一致していますこれこそがベクトル検索が実現することです毎日何百ものチケットを処理するチームにとってこれにより解決時間が劇的に短縮されます次には異常検知がありますあまり目立ちませんが強力な機能です通常の行動、典型的な取引パターン、普段のシステム指標、標準的なユーザーアクションを埋め込みますそれらのベクトルを保存しクラスターから遠く離れたものをすべてフラグ立てします通常とは全く異なる取引があればそれが不正というわけですサーバーのメトリクスが通常範囲を大きく逸脱したらそれは障害の前兆ですベクトルデータベースを使えばこれをリアルタイムで処理できるほど高速化できますマイクロソフトの世界ではこれが至るところで見られますパワーアップスはフォーム作成時のAIによる提案にベクトル検索を活用していますダイナミクス365は顧客レコードのインテリジェント検索にこれを使用していますチームの会議録はベクトル化されるため予算について何を決めたかを検索し録画内の正確な瞬間を見つけることができますコパイロット4マイクロソフト365は本質的に個人や企業のデータ上で動作する巨大なラグシステムでありそのすべてがベクトル検索で支えられていますそれらすべてを同期させるのがベクトルETLですさてここに実用上の課題がありますデータは変化しドキュメントは更新され新製品が追加され古いポリシーはアーカイブされますソースデータが変わるたびにベクトルも変更する必要がありますそこで登場するのがベクトルETLですETLとは抽出、エクストラクト、変換、トランスフォーム、読み込み、ロードの略ですベクトルデータベースの場合プロセスは次のようになりますまずブロブストレージシェアポイントライブラリ、SQLデータベースなどのソースから新規または変更されたドキュメントを抽出します次にテキストを扱いやすいサイズに分割、チャンク化し各チャンクを埋め込みモデルに通して変換します最後に生成されたベクトルを元のソースURL、タイムスタンプ使用したモデルのバージョンなどのメタデータとともにベクトルストアへ読み込みますここで推奨されるベストプラクティスは増分処理です何かが変わるたびにデータ全体を再埋め込みしてはいけません実際に変更されたドキュメントのみを処理しましょうどのモデルバージョンが各埋め込みを生成したかを追跡してくださいモデルを更新すると古いベクトルは新しいものと整合性が取れなくなりますそしてコストにも注意が必要です埋め込みAPIはトークン単位で課金されるため数百万のドキュメントを処理するとすぐに高額になりますAzureにおける標準的なワークフローはシンプルですまずドキュメントをブロブストレージに格納します次にチャンク化と埋め込みを自動的に処理する統合スキルセットを備えたAzure iSearch Indexerを設定しますマイクロソフトはチャンク化のためのテキスト分割スキルとベクトル生成のためのAzure OpenAや埋め込みモデルスキルを提供していますインデクサーはスケジュールに従って実行され新しいファイルを拾い上げ処理しインデックスにベクトルを挿入アップサートしますカスタムパイプラインのコードは不要ですよくある間違いとしてメタデータの無視が挙げられますすべてのベクトルにはソース参照埋め込みモデル名とバージョン作成タイムスタンプが必要ですそれがなければ結果の出どころを追跡できずモデル変更時の再埋め込みもできずコンプライアンス監査にも苦労することになりますベクトルを他のビジネスデータと同様に扱いその来歴を追跡しましょう次のステップですそれでは実際に試してみる準備はできましたかシンプルに始めることからAzureポータルを開きAzure iSearchリソースを作成します次に既存のインデックスでベクトル検索を有効にしますいくつかのドキュメントをアップロードして埋め込みモデルを選択し類似検索を実行します1時間以内に動作を確認できるでしょう開発者の方はPython SDKを使用してAzure OpenAIでドキュメントを埋め込みCosmos DBのベクトル検索に保存し最も近い一致を見つけるクエリを作成してくださいマイクロソフトが分かりやすいコードサンプルとドキュメントで手順をガイドしますベクトルデータベースを使うためにデータサイエンティストになる必要はありません埋め込み生成、インデックス作成、クエリロジックはすべてマイクロソフトのツールが処理しますやるべきことはコンセプトを理解し自分のデータにツールを向けることだけですここで課題です現在取り組んでいる検索の課題について考えてみてください社内文書の検索、製品カタログの調査あるいはナレッジベースからの顧客の質問への回答などがあるでしょうキーワード一致よりもベクトル検索の方がうまくいくのではないでしょうか小さなデータセット、例えば100件程度のドキュメントを選んで試してみてくださいすぐにその違いを実感できるはずですこれでベクトルデータベースが何であるかがわかったはずですそれは謎のAI技術ではなく正確な単語ではなくデータの意味を保存、検索する手法にすぎませんこれらはマイクロソフト365、アジュール、コパイロット内のスマート検索やAI機能の原動力となっています アプリに最も近い情報を探し出しているのです構造化された事実、顧客名、注文金額、在庫数などは引き続き従来のデータベースに格納されますベクトルデータベースはそこに理解の層を追加するのですアプリケーションが意味、意図、文脈で検索できるようになりますそれが全体像ですマイクロソフトテクノロジーの分かりやすい解説を今後も見たい方は登録してください次回はラグパイプラインが実際にどのように機能し午後だけで構築する方法について見ていきますご視聴ありがとうございました