今日のトピックは誰もが耳にしたことはあるものの誰にでもわかるように説明できる人はほとんどいないものですラグつまり検索拡張生成リトリーバルオーグメンテッドジェネレーションですマイクロソフトの発表やAIカンファレンスの講演ブログ記事など至るところでこの当事を目にするはずですが実際には何を意味するのでしょうかそして何より重要なのはなぜそれを知る必要があるのかということです実はこういうことですGPT法王のような大規模言語モデルは非常に強力ですエッセイを書いたり文章を要約したりコードを生成したりできますが大きな問題を2つ抱えています第一にその知識は過去の時点で止まっていることですチャットGPTに昨日起きたことについて尋ねても何も知りません第二にこうしたモデルはあなたの会社の内部データポリシー製品詳細顧客メールなどを一切見ていませんそのためビジネスに関する質問をLLMに投げかけてもそれは推測に過ぎないのですそこで登場するのが検索拡張生成ラグですラグは新しいモデルではありませんより大きくより優れたGPTというわけでもありません全く異なるアプローチなのですLLMに学習済みの記憶から答えを引き出させる代わりにラグはまずあなた自身のデータから正しい情報を探し出し質問と一緒にその情報をモデルに渡しますモデルはそのコンテキストを使って推測ではなく最新の実際のコンテンツに基づいた回答を提示しますラグがなければAIは数ヶ月や数年前の記憶を頼りに動きますラグがあればAIは今まさに存在するあなたの文章を機に機能します自信満々に聞こえても間違っているかもしれないAIと回答の根拠を正確に示すAIとの違いはそこにあります本日は以下の内容について説明しますまずラグを必要とする2つの問題点を見ていきます次にラグとは何なのかその検索拡張生成というプロセスを紐解いていきます続いて主要なAzureサービスであるAzure iSearch Azure OpenAIそしてAzure iFoundlyを紹介します最後は実際の例を通じて各要素がどのように組み合わさるのかを見ていきますまずは問題そのものから始めましょうそれが見えれば解決策はおのずと明らかになりますLLMが抱える2つの問題についてですでは大規模言語モデルの何が問題なのでしょうか実は2つあります第一にその知識が固定されていることです考えてみてくださいGPT4Oが学習したのは数ヶ月から数年前のインターネットのスナップショットであるため新製品や最近の規制、機能のニュースについては何も知りません先週のポリシー変更について聞いても知る余地もありませんその情報は学習データに含まれていないからです第二にLLMはあなたのプライベートなデータ、社内文書、顧客メール、独自のデータベースを一切見ていませんモデルはそうした情報に一切アクセスできないのです従業員が特定の業務プロセスについて尋ねてもモデルは答えることができませんモデルはあなたが知っていることを知らないからですファインチューニング、微調整で解決できると考える人もいますベースとなるモデルに自社のデータで追加学習を行うという方法ですしかしファインチューニングには特有の問題がありますコストがかかるということですGPUの時間やエンジニアの労力に費用がかかります情報の鮮度が保たれないという問題も解決しませんファインチューニングしてもモデルはその時点の状態に固定されたままです在庫レベルや価格のように頻繁に変わるデータには対応できませんファインチューニングは教科書を丸暗記させるようなものです役には立ちますが今日の新聞を調べることはできません真の解決策はもっとシンプルですすべてを記憶させようとするのではなく必要な時にモデルが知識にアクセスできるようにするのですすべてを暗記させる必要はありません実際のデータからリアルタイムで情報を検索させるのですそれこそがラグの役割です単純なアイデアですがすべてを一変させますラグとは一体何かラグを一言で説明しましょうモデルの学習データから答えを引き出すのではなく関連情報を探し出し質問とともにモデルに渡すのですそれが核となる考え方です検索、拡張、生成という3つのシンプルなステップです例え話をしましょう図書館員を想像してみてください図書館に行って質問をしたとします図書館員がすべての本を暗記しているとは期待しませんよねそれは馬鹿げています代わりに適切な本を探し出しページを開いて答えを読み上げてもらうはずです図書館員は何も暗記していませんまず検索し次に読み上げるのですそれこそがまさにラグの仕組みです検索が先、生成が後ですでは実際にどのように機能するのか見てみましょうユーザーが質問をしますシステムがナレッジベース、ドキュメント、データ、プライベートな情報を検索します見つかった情報は大規模言語モデルに入力されモデルはその文脈に基づいて回答を生成しますそしてここが重要な点ですLLMはあなたの生のデータを見ることはありません検索システムが渡したものだけを見ますそれは欠点ではありませんむしろセキュリティ機能なのです機密文書はあなた自身のストレージに止まります問い合わせの際、モデルにはその質問に答えるために必要な関連情報だけが提供されますデータによる学習も暗記も漏洩もありませんデータは適切な場所に止まりますつまりラグは先ほど挙げた両方の問題を解決するのです古いデータですか? ベクトル埋め込みとセマンティック検索 単にキーワードを称号したりドキュメント全体をコントロールプラスFで検索するような単純なものではありませんそれはセマンティック検索と呼ばれベクトル埋め込みによって実行されます埋め込みとは何かを説明しましょうベクトル埋め込みとは地図上の座標のようにテキストの意味を捉えた長い数値のリストのことです全てのドキュメントはその意味の地図上に独自の座標を持ちます質問をするとシステムはその質問も座標に変換しそこから最も近いドキュメントを見つけ出しますここでの鍵はセマンティック意味論的という点です単語を正確に見つけることではなく概念を理解することが重要です格安ホテルと検索すればたとえその言葉がドキュメント内に含まれていなくても手頃な宿泊施設に関するドキュメントを見つけることができますなぜでしょうか?意味が近いからです格安と手頃なの埋め込みはその地図上で隣り合っているのですAzureのテキストエンベディングスリーラージのような特別な小型モデルがこれらの埋め込みを作成します巨大な言語モデルではないため一つの役割に特化したツールですつまりテキストを座標の数値に変換するツールですこれこそがラグを強力なものにしている理由ですドキュメントはインデックス作成時に一度だけ埋め込みに変換されますその後クエリが入力されるとユーザーが使った正確な言葉がドキュメント内に全く含まれていなくてもミリ秒単位で最も関連性の高いコンテンツを見つけ出します入力されたキーワードだけでなく意図を理解するのです検索エンジンであるAzure iSearchさてこれで概念は理解できたはずですまず検索し次に生成するではその検索は実際にどこで行われているのでしょうかそこで登場するのがAzure iSearchですAzure iSearchはコンテンツの保存インデックス作成検索を行うサービスですラグアプリケーションのためのファイリングシステムだと考えてくださいこのサービスは主に2つのタスクを処理します順を追ってみていきましょう1つ目はインデックス作成ですこれはデータが検索できるように準備する工程です2つ目は検索ですこれは誰かが質問した際に適切なコンテンツを実際に探し出す工程ですまずはインデックス作成のプロセスから見ていきましょうまずAzure iSearchの接続先となるデータソースを指定しますこれにはPDFが詰まったブロブストレージコンテナや顧客レコードがあるSQLデータベースあるいは他の様々なソースが使えますこのサービスはドキュメントを読み込みチャンクと呼ばれる小さな断片に分割し先ほど説明した埋め込みモデルを使って各チャンクのベクトル埋め込みを作成しすべてを検索インデックスに保存しますインデックスとは巨大で高度に整理されたカタログだと考えてくださいすべてのコンテンツには1位のID、テキストのチャンク、そして意味の地図上の座標が割り当てられます次に検索プロセスについて説明しますユーザーが質問するとiSearchはその質問を同じ埋め込みモデルを使ってベクトルに変換しインデックスをスキャンして質問の座標に最も近い座標を持つチャンクを探し出しますそして最も関連性の高い上位5から10件程度の検索結果をミリ秒単位で返しますここではいくつかの強力な選択肢が得られます純粋なベクトル検索は意味に基づいてコンテンツを探すため正確な単語が一致しなくても類似した概念が見つかりますキーワード検索は従来の検索エンジンのように機能し完全に一致する単語を探しますあるいは両方のアプローチを組み合わせたハイブリッド検索を使用することもでき通常はそれが最良の選択肢となりますセマンティックリランキングという機能もありこれは最初の検索結果を質問に対する回答の精度に基づいて最順位付けしますこれは最初のパスでは見逃された可能性のあるものを見つけるための2度目の確認のようなものです一つ知っておくべきこととしてAzure iSearchは高額になる可能性があります基本ティアは月額約75ドルから始まりそこから上がっていきます使用段階であれば無料ティアを使用するか終わったらリソースを必ず削除するようにしてくださいただし本番環境での利用であればそのコストに見合う価値は十分にありますスピードと大規模な信頼性を購入しているようなものだからですAzure OpenAIとiFoundry生成とオーケストレーションについてさてデータがインデックス化され取得可能な状態になりましたがLLMが質問を理解し的確な回答を生成する必要がありますそこで登場するのがAzure OpenAIとAzure iFoundryですAzure OpenAIはGPT4O、GPT4、1など提供しますこれが生成エンジンとなりますモデルはユーザーからの元の質問とAzure iSearchが取得したコンテキストの両方を含むプロンプトを受け取りますモデルはそのコンテキストを読み込み見つかった内容に基づいて回答を生成しますただ全てを投げ込んでうまくいくことを願うだけでは不十分ですシステムプロンプトが必要ですこれはモデルの振る舞いについて事前に与える一連の指示です提供されたコンテキストのみを使用することソースを引用することそして何より分かりませんと回答するように伝えますもし検索されたドキュメントの中に関連情報が含まれていない場合はそう答えるように指示するのですそれがモデルの誠実さを保つことにつながります優れたシステムプロンプトがないとモデルはトレーニングデータに頼ったり最悪の場合回答を捏造したりする可能性がありますではこれらのパーツを実際にはどのように組み合わせるのでしょうかそこで登場するのがAzure iFoundryですここはプロジェクトの作成、モデルのデプロイ、データソースの接続そしてエージェントのテストを行うためのポータルですラグ環境全体のコントロールセンターだと考えてくださいFoundryを使えば基本的なセットアップのためにカスタムコードを書くことなくAzure iSearch Indexをエージェントの知識ソースとして追加できます接続を作成してインデックスを選択するだけでエージェントは自動的にクエリを実行できるようになりますポータルがオーケストレーションを処理してくれるのですユーザーが質問するとエージェントはiSearchを呼び出し関連するチャンクを取得して元の質問と一緒にLLMに渡す方法を理解しています具体的な例を見てみましょう以前見かけたチュートリアルではNetflixのデータセットを使って映画レコメンデーションエージェントを構築していましたまず映画のタイトル、説明、キャスト情報を含むCSVファイルをAzure Blob StorageにアップロードしAzure iSearchを使ってそのデータをインデックス化しましたそしてAzure iFoundryでGPT4Oを用いたエージェントを作成しそのiSearchインデックスを接続しましたユーザーがスリラー映画が好きなのでおすすめを教えてと尋ねるとエージェントはそのインデックスを検索し特定のデータセットからスリラー映画を見つけ出しおすすめを回答しましたここが重要ですがエージェントはデータセット内に実際に存在する映画のみを推薦しました勝手に作り話もしなければ学習データから引用することもなく提供されたコンテンツのみに基づいて回答したのですこれこそがラグの力ですクラシックラグとエージェント型ラグではこの設定方法についてお話ししましょう大きく分けてクラシックラグとエージェント型ラグという2つのパターンがありますどちらを選ぶかは何を構築するかによって決まりますクラシックラグは非常にシンプルな手法です1つのクエリが入力されると1回の検索が実行され回答が返されますシンプルで拘束そして予測可能ですオフィスビルの受付に行って特定のファイルを1つ要求するようなものだと考えてください受付係がそれを取り出して渡してくれればそれで完了ですクラシックラグは会社のテレワークに関するポリシーは何ですかといった単一トピックの事実に基づくQ&Aに最適ですあるいはこのエラーコードのトラブルシューティング手順を表示してといった場合です流れが直線的なので信頼性が高く安価で問題が発生した際も修正が容易ですエージェント型ラグは異なりますAIエージェントがどのように情報を取得するかを自分で決定します複数のサブクエリを作成し異なるインデックスを検索し結果を反復して精査し複数のソースを統合してから回答できますこれは各部署と連携して必要な情報を全て集めてくれるビル管理人のような存在です単に一つのファイルを取ってくるだけではありません人事と話し記録を確認しポリシーを称号した上で完全な回答を持って戻ってきてくれるのですマイクロソフトが独自に実施したテストによるとエージェント型ラグを使用することで複雑な質問に対する回答の関連性が約40%向上することが分かりましたこれは大きな改善ですがトークン消費量が3から10倍に増え0.4も増加します単純な質問に対してはその追加の作業は無駄になってしまいます従来のラグで十分に対応可能ですではそれぞれをいつ使い分ければ良いのでしょうか従来型はスピードとコストが最も重視される定型的な大量のクエリに適していますエージェント型は精度を重視するために追加の計算コストをかける価値がある多段階曖昧またはクロスドメインな質問に適しています接続セクションエンドツーエンドの例ですこれらの要素が実際の例でどのように組み合わさるのかを見てみましょうマリゴールドトラベルという旅行代理店のカスタマーサポートエージェントを構築していると想像してください組織内には旅行パンフレットホテルレビューポリシー関連のドキュメントが散在しています顧客には一般的な推測ではなく実際のコンテンツに基づいた正確な回答を提供したいはずですステップ1それらのコンテンツをすべてAzure Blob Storageに保存しますパンフレットレビューポリシーをそれぞれ別のフォルダに分けコンテナ内にファイルを配置するだけですステップ2 Azure iSearchを使用してデータインポートウィザードを実行しBlob Storageを指定してインデックスを作成させますサービスがすべてのドキュメントを読み込みチャンクに分割しベクトル埋め込みを作成して検索可能なインデックスを構築しますこのプロセス全体は数分で完了しますステップ3 Azure iFoundryにアクセスしエージェントを作成しますモデルとしてGPT4Oをデプロイし提供されたコンテキストのみを使用してソースを引用するようシステムプロンプトを設定しAzure iSearchインデックスをナレッジソースとして接続します数回クリックするだけで完了ですここで顧客がドバイで300ドル以下の最も評価の高いホテルは? と質問したとしますエージェントはその質問を受け取りAzure iSearchに送信しますAzure iSearchが質問をベクトルに変換しレビューやパンフレットから最も関連性の高いチャンクを見つけ出しますそのチャンクは元の質問と一緒にGPT4Oに渡されますモデルはそれらを読み込み最適な一致を見つけてソースドキュメントへの引用を含めた回答を生成しますここで重要なのはLLMはそのデータを記憶していないということですホテルのレビューで学習したわけではありません常に特定のコンテンツに基づいて動作しています明日新しいレビューを追加すれば回答も自動的に更新されます古いパンフレットを削除すればそれは表示されなくなりますモデルのサイトレーニングは不要です適切な検索レイヤーさえあれば良いのですでは実際にAzureでラグの構築を始めるにはどうすれば良いでしょうか3つのステップに分けて見ていきましょうまずは自分のデータを把握することから始めますサービスを選ぶ前にコンテンツの場所、構成方法、そして誰がアクセスすべきかを把握しましょうラグの整備はデータの質にかかっています次にシンプルに保つことです設定を複雑にしすぎないでくださいAzure iSearchのデータインポートウィザードを使用してまずはドキュメントのセットを一つだけインデックス化します基本的なクエリでテストしてくださいLLMを追加する前に検索機能が完璧に動作することを確認しましょうラグの失敗のほとんどはモデルの問題ではありませんそれは検索の問題です最後のステップとしてLLMを追加します検索で正しい結果が得られるようになって初めて生成のレイヤーを重ねますその段階でAzure OpenAIを接続しシステムプロンプトを作成します重要なことですがラグは購入するものではありませんそれは構築するパターンですAzureはストレージ検索モデルといった部品とそれらを繋ぐ接着剤を提供しますあとはそれらを正しく組み合わせるだけです全体像を把握するのに役立ちましたらチャンネル登録をしてわかりやすい解説動画をチェックしてくださいあなたのラグの活用事例をコメント欄で教えてくださいあなたが何を作っているのかぜひ知りたいです