M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions→ m365con.net

ブログ · Mirko Peters

AI エージェントと Copilot 拡張機能を再現性のある方法でテストする方法

By · · Updated

AI エージェントを再現性のある方法でテストする方法を解説します。テストセットの作成、評価基準(グレーダー)の選定、ツール呼び出しの採点、回帰の追跡を取り上げ、QA リードのための Copilot Studio の例も紹介します。

Automatically translated with AI from the original post. Read the English original

AI エージェントのテスト方法は、承認を求められたすべての QA リードにとって実践的な課題です。同じ入力でも回答が毎回異なるため、出力を 1 つの期待値と比べるという従来のやり方はもう通用しません。本ガイドは、Copilot Studio などのツールで作成したエージェントに対して、再現性のある方法を必要とする QA リードを想定しています。エージェントのテストを難しくしている要因、階層化されたアプローチ、テストセットの作り方、使用すべきグレーダー、そして結果を時間をまたいで比較可能に保つ方法を解説します。架空の数値を使った実例では、小規模なチームがこれらを組み合わせる様子を示します。

重要なポイント

  • AI エージェントは同じ入力に対しても異なる回答を返します。そのため再現性のあるテストとは、1 つの完全一致の文字列と照合するのではなく、合意した基準としきい値に照らして採点することを意味します。
  • エージェントのテストは階層に分けて考えます。ルーティングと解析には通常のユニットテスト、言語モデルの出力には品質評価、複数ステップのフローにはエンドツーエンドのシナリオを適用します。
  • 良いテストセットは小さく始め、実際のユーザー タスク、既知の不具合、エッジケース、リスクの高い動作を対象にします。プロンプトと並べてバージョン管理し、保管してください。
  • 回答だけでなく処理の経路も確認してください。もっともらしく聞こえる回答であっても、必要なツール呼び出しを飛ばしていれば、それは失敗です。
  • 各ケースを複数回実行し、失敗率をベースラインと比較します。必ず合格すべきケースと禁止された操作は、ハードゲートとして扱ってください。

AI エージェントのテストが難しい理由

従来のアプリケーションは予測どおりに動作します。同じ入力は同じ結果につながります。一方 AI エージェントは大規模言語モデルの上に構築されているため、回答は変動します。さらに、どのツールを呼び出すか、どの順序で呼び出すかも自ら判断します。そのため確認すべきことは 2 つあります。最終的な回答と、その回答に至るまでのエージェントの経路です。

言語モデルはハルシネーション、つまり誤った事実を自信ありげに述べることがあるため、提供するすべての AI システムにはその確認が必要です。このリスクは、AI エージェントがユーザーに代わって API を呼び出したり、ファイルを読んだり、レコードを変更したりするエージェント型ワークフローでは高まります。こうした AI エージェントのテストは、書かれた文章だけを対象にするものではありません。

非決定的な世界で AI エージェントをテストするという SitePoint の記事は、正解は多くの言い回しで表現できるため、モデル出力に対する完全一致の文字列照合を退けています。「完全に同一か」という問いを「十分に良いか」という問いに置き換えています。この考え方の転換こそが AI エージェントテストの核心であり、期待される結果の書き方、合格基準の設定、リスクの報告方法に影響します。

変動があるからといって、テストが不可能になるわけではありません。AI エージェントのテストでは、範囲、しきい値、繰り返し実行を用い、通常のコードは従来どおり通常のテストで確認するということです。

AI エージェントのテストを 4 つの層で行う

同じ SitePoint の記事は AI エージェントのテストを 3 つの層に分けており、LLM と AI エージェントのテストに関する LangChain のガイドは、リリースゲートという 4 つめの考え方を加えています。両者を組み合わせると、実行可能な計画になります。

  1. シンプルなロジック。 ツールのルーティング、解析、書式設定、状態の変更は、通常のコードです。正確な検証を行う通常の単体テストが、ここでは有効です。SitePoint は、これをコミットごとに実行することを勧めています。
  2. 出力品質。 言語モデルの回答について、忠実性、関連性、ハルシネーション(幻覚)を評価します。判定用のモデルを使う場合、これらのチェックは時間がかかり、コストも発生します。そのため SitePoint は、マージ時やスケジュールに従った実行を勧めています。
  3. エンドツーエンドのシナリオ。 ユーザーの最初のメッセージから最終結果までを対象に、複数ターンの会話と複数ステップのツール利用を実行します。これは AI エージェント版のエンドツーエンドテストにあたり、各パーツの間に潜む問題を見つけられる層です。
  4. リリースゲート。 LangChain は、変更候補ごとにデリバリーパイプラインでチェックを実行することを勧めています。品質、動作、レイテンシやコストなどのパフォーマンスについて、合意した閾値を設定します。

AI エージェントは魔法のように感じられても、最初の層を省略しないでください。AI エージェントの障害の多くは、入力の解析方法や選択されるツールに関する単純なバグが原因であり、そうした問題は低コストで検出できます。

役立ち続けるテストセットを作る

テストセット(eval セットと呼ばれることが多い)は、AI 評価作業の中心です。LangChain の助言は、実際のユーザーのタスク、既知の障害、リスクの高い動作を網羅する高品質なケースから小さく始め、実際の会話で新たな問題が見つかるたびに拡張することです。よくある依頼、敵対的な入力、エッジケース、ドメインの専門家が修正した例を含めます。各ケースには、入力、参照出力、評価基準、必須または禁止のステップ、フィルタリング用のメタデータを記録できます。

SitePoint は、結果を追跡可能にする習慣を加えています。データセットをソース管理で保管し、プロンプトテンプレートと並べてバージョン管理することです。こうすると、スコアの変化をエージェントの特定の変更に結び付けられます。

QA リード向けの初期セットは、次のようになるかもしれません。

  • 人々が実際に使う言葉で書かれたよくある質問。
  • 過去のインシデントや苦情から得た既知の障害。恒久的なリグレッションケースとして保持します。
  • エッジケース。曖昧な質問、複数言語の混在、情報の欠落、AI エージェントが対応を断るべき依頼などです。
  • リスクのある依頼。プロンプトインジェクションの試み、ユーザーが閲覧すべきでないデータに関する質問、エージェントの範囲外の操作の依頼などを含みます。
  • 必ず合格すべきケース。1 件でも失敗すればリリースを止めるケースです。

期待される結果は、できる限り正確に書いてください。期待値があいまいだと、どのツールで採点しても、スコアにノイズが混じります。

採点方法を選ぶ: コード、判定モデル、または人

LangChain は採点者を 3 種類に分類しており、それぞれに役割があります。

  • コードによるチェックは、有効な JSON であること、必要なアカウント ID が含まれること、特定のツール呼び出しが行われたことなど、決定論的なルールに適しています。低コストで再現性があります。
  • 判定モデルは、根拠性、指示への追従、タスクの完了といった判断を伴う品質を採点します。LangChain は、判定モデルのスコアを信頼する前に、人がレビューした例と照合して検証することを勧めています。
  • 人によるレビューは、判断が曖昧なケースや、リスクの高いケースを扱います。レビュアーが失敗を分類し、そのケースは将来のリグレッションテストとしてテストセットに加えられます。

答えだけでなく、経路も確認する。LangChain はこれを軌跡評価と呼んでいます。ツールの順序、引数、承認ステップ、ループを確認します。例として挙げられているのは、回答の前にポリシー検索を行うべき返金エージェントです。もっともらしく聞こえる回答でも、検索を省略していれば失敗です。そのため、各テストケースには期待される回答テキストだけでなく、期待されるツール呼び出しも記録すべきです。

スコアには閾値が必要です。SitePoint は、単一の厳密な目標値ではなく、指標ごとの最低値を設定することを勧めています。その例として、忠実性 0.85、回答関連性 0.7 が挙げられています。これらの数値はあくまで例として捉え、リスクに応じて自分たちで設定してください。

Copilot Studio エージェントのテスト

Copilot Studio には組み込みの評価機能があります。テストセットの作成に関する Microsoft のページには、QA リードに必要な詳細が記載されています。

  • テストセット: 単一応答のテストセットには、最大100件のテストケースを登録できます。エージェントの説明から10問の簡易セットを生成したり、ナレッジソースやトピックからさらに生成したり、テストチャットの質問を再利用したり、CSVまたはTXTファイルをインポートしたり、手作業でケースを作成したりできます。
  • テスト方法: 全般的な品質、コンテンツの安全性、意味の比較、ツールの使用、キーワード一致、テキストの類似性、完全一致、カスタム条件があります。全般的な品質以外のすべての方法では、ケースごとに期待される回答、キーワード、または機能を指定する必要があります。
  • ID: 自動テストでは、ナレッジソースやツールへのアクセスに、サインインしているユーザーの認証を使用します。結果を比較可能に保つため、毎回同じユーザーで実行し、そのユーザーがエージェントに必要なすべてのソースにアクセスできることを確認してください。
  • 制限: 生成されたセットはエージェントがすでに把握している内容のみから作られるため、情報の欠落を見つけることはできません。結果は89日間保持されるため、基準となるデータを残すにはCSVにエクスポートしてください。

このページからは、次の2点に注意が必要です。生成されたテストケースには、接続されたアカウントがアクセスできる機密データが含まれる可能性があります。また、エージェントにアクセスできる他の作成者は、リンクされたテストセットを閲覧できるため、共有する前に内容を確認してください。さらに、生成されたセットは完成品ではなく出発点です。既知の失敗例や危険な要求を、手作業で追加してください。

結果を再現可能にする

再現性は機能ではなく、テスト作業における習慣から生まれます。

  1. 各ケースを複数回実行する。 SitePointでは、少なくとも3回実行して平均を取ることを推奨しています。LangChainは、出力が変動する場合は失敗率を比較することを推奨しています。
  2. 基準と比較する。 候補バージョンと現行バージョンを同じテストセットで実行します。LangChainは、平均値が向上していても重要な1つのケースで回帰が隠れている可能性を指摘しているため、必ず合格すべき例に注目してください。
  3. 禁止された操作には厳格なゲートを設ける。 LangChainは、エージェントが決して実行してはならない操作について、失敗ゼロを基準とする決定論的なチェックを推奨しています。
  4. 変更のたびに再実行し、自動化する。 パイプラインに自動化を組み込むことで、この習慣を継続できます。プロンプトの変更もコードの変更とみなされ、モデル、検索、ツール定義、メモリ、ルーティングの変更も同様です。
  5. 証跡を保存する。 結果をエクスポートし、テストセットのバージョンとエージェントのバージョンとともに保存してください。

例: 休暇ポリシーのエージェント

以下の数値は仮のものです。

あるチームが、休暇ポリシーに関する質問に答えるCopilot Studioエージェントを構築しています。QAリードは40件のテストケースを作成しました。そのうち22件は一般的な質問、8件はパイロット段階で判明した既知の失敗例、6件は日付が不明確であるなど、通常とは異なる言い回しを使ったもの、4件は他の従業員の休暇に関する質問を含む危険な要求です。6件は必ず合格すべきケースとして指定されています。

リードは、休暇日数などの固定された事実にはキーワード一致を、説明文には意味の比較を使用し、回答の前に休暇ポリシーの検索を呼び出しているかを確認するツール使用のチェックを行いました。各ケースは3回実行されます。

最初の全件実行では、40件中34件が3回すべてで合格しました。失敗した6件のうち2件は必ず合格すべきケースに関わるもので、そのうち1件では、エージェントがポリシーの検索を呼び出さずに回答していました。チームは指示を修正して再実行し、必ず合格すべきケースをすべて成功させた上で、40件中38件の合格に到達しました。リードは結果を基準としてエクスポートし、ルールを設定しました。プロンプトやモデルを変更するたびに40件すべてを再実行し、必ず合格すべきケースのいずれかで低下が見られた場合は、デリバリーワークフローでリリースをブロックします。

よくある間違い

  • テキストの完全一致。 正しい回答は表現が一つとは限らないため、完全一致では誤った失敗が生じます。
  • 回答のみで判断する。 エージェントは必要な手順を飛ばしても、良さそうに見える回答にたどり着くことがあります。
  • 各ケースを1回だけ実行する。 1回だけの幸運な実行では、ほとんど何も証明できません。
  • 生成されたテストセットだけを信頼する。 エージェントに一度も教えていない内容の欠落は発見できません。
  • 判定モデルを無条件に信頼する。 そのスコアは、人が確認した例と照らし合わせて検証してください。
  • 正常系のみをテストする。 通常とは異なる言い回し、危険な要求、既知の失敗例を必ず含めてください。

ソフトウェアが役立つ場面

まず、利用しているエージェント基盤が提供する機能から始めましょう。Copilot Studioには組み込みの評価機能があり、カスタムAIエージェント向けにはオープンソースや商用の評価フレームワークも存在します。テストセットのバージョン管理、各ケースの複数回実行、ツール呼び出しの確認、結果のエクスポートができるテストツールを選んでください。デリバリーパイプラインをゲートとして組み込み、ケースとその担当者の管理にはスプレッドシートまたはテスト管理ツールを使います。標準化する前に、まず1つのAIエージェントでパイロットを行ってください。

次のステップ

AI エージェントを1つ選び、すでに運用しているケースを10件書き出してください。そのうち3件は既知の失敗例、2件はリスクのあるリクエストとします。各ケースを3回ずつ採点し、結果をベースラインとして保存してください。こうしておけば、AI エージェントのテストをチームで議論するテーマではなく、日常的な定型作業として回せるようになります。

Entities in this article

AI agent AI evaluation Copilot Studio End-to-end testing

Related articles

RSS