M365Con 2027 – 無料オンラインカンファレンス · 11–22 Jan 2027 · 120 sessions m365con.net

ブログ · Mirko Peters

Microsoft Copilotの回答はどれくらい正確か? 回答を左右する要因

By ·

Microsoft 365のCopilotの回答を左右する要因(プロンプト、グラウンディングデータ、アクセス許可、モデルモード、ライセンス)と、Microsoftが示す精度の限界、および出力を確認する方法を解説します。

Automatically translated with AI from the original post. Read the English original

Copilotの回答は、プロンプト、回答の根拠となるデータ、質問者のアクセス許可、ライセンスとテナントの設定、モデルモードという5つの要因によって形作られます。精度について、Microsoftは率直です。Copilotは誤りうるものであり、Microsoftのページでは出力をレビューし、検証することが求められています。本記事では、品質に影響する要因を整理し、Microsoftが推奨する確認方法を紹介します。Microsoft Learnのページでは、Microsoft CopilotとMicrosoft 365 Copilotという2つの名称が使われています。たとえば、BasicとPremiumの階層名にその違いが見られます。

重要なポイント

  • Copilotの回答は、プロンプト、回答の根拠となるデータ、ユーザーのアクセス許可、ライセンスの階層、モデルモードによって決まります。
  • Microsoftは、AIサービスを誤りが生じうる確率的な仕組みと位置づけています。出力は不正確、不完全、偏りがある、または根拠に基づかない場合があります。
  • Copilotが利用するのは、サインインしたユーザーが既にアクセスできる組織データのみです。
  • Microsoftは精度のスコアを公表していません。同社の指針は、レビューと検証を行い、出典を追跡できない記述は未確認として扱うことです。
  • Microsoftが示す4つの確認項目:Source(情報源)、Verified(検証)、Context(文脈)、Resilient(頑健性)。

回答が生成される流れ

Microsoft 365 Copilotの透明性に関する注意事項では、4つのステップが説明されています。

  1. Copilotは、WordやPowerPointなどのアプリ上で、ユーザーからプロンプトを受け取ります。
  2. Copilotはプロンプトを処理して、より具体的な内容にします。プロンプトには、入力ファイルのテキストや、Microsoft Graphを通じて見つかった他のコンテンツが含まれる場合があります。その後、大規模言語モデル(LLM)に送信されます。Copilotがアクセスするのは、ユーザーが既にアクセスできるデータのみです。
  3. Copilotは、LLMの応答を後処理します。これには、Microsoft Graphへの追加のグラウンディング呼び出し、コンテンツ分類器などの責任あるAIのチェック、セキュリティ、コンプライアンス、プライバシーのチェック、コマンドの生成が含まれます。
  4. Copilotは応答をアプリに返し、ユーザーがそれを確認します。

注意事項によると、WebやOrganizationデータがない場合、Copilotはプロンプトを理解し応答を生成するためにLLMのみに依存します。グラウンディングデータは、応答の品質、正確性、関連性を高めることができます。

回答を左右する要因

プロンプト

Microsoftは、適切なプロンプトを書くことがより良い結果の鍵だとしています。エンドユーザー向けの推奨事項は、詳細を含めること、プロンプトを構造化すること、肯定的な指示を与えること、繰り返し調整して再生成すること、そして常にレビューと検証を行うことです。プロンプトがあいまいな場合、Copilotは追加の指示で補完することがあります。その補完はユーザーの情報や以前の検索結果ではなく、LLMに基づいて行われます。

グラウンディングデータ

透明性に関する注意事項では、Copilotは Microsoft Graphを通じて見つかったコンテンツを追加し、さらにMicrosoft Graphへのグラウンディング呼び出しを行うとされています。Webの参照を許可することも、応答の改善につながります。Microsoftのアーキテクチャのページでは、Web検索によるグラウンディングは「Copilotポリシーでの Web 検索の許可」で管理できると補足されています。

アクセス許可

Copilotがアクセスするのは、既存のアクセス制御に基づいてユーザーが利用を許可されたデータのみです。同じプロンプトを送っても、開けるコンテンツが異なるため、二人の回答が違うことがあります。セキュリティの概要では、過剰に共有された管理の不十分なコンテンツがCopilotの結果に影響し、リスクを高める可能性があることも示されています。

ライセンス階層とテナントの設定

アーキテクチャのページには、データグラウンディング、統合の深さ、ライセンスによって利用できる機能が異なると記載されています。Copilot Chat (Basic) の応答はパブリック Web に基づきます。Microsoft 365 Copilot (Premium) は、Microsoft Graph と Work IQ を通じて Web と組織データの両方を使用します。Basic ユーザーは Microsoft Graph にアクセスできません。組織のコンテンツは、たとえばファイルをアップロードするなど、手動で提供する必要があります。

モデルモード

既定では、Copilot はリアルタイムのルーターを使用して、プロンプトに合わせて基盤モデルを調整します。文書化されているモードは次のとおりです。

  • Auto. Copilot が使用するモデルを決定します。
  • Quick response. よくある定型的な質問では、速度を優先します。
  • Think deeper. 複雑な質問に対して高度な推論を行います。

言語

Copilot がサポートする言語は Microsoft 365 より少なくなっています。プロンプトで使用された言語がサポートされていない場合、ユーザーにはエラーメッセージが表示されます。

Microsoft が明示している制限

透明性に関する注意事項では、精度について次のように率直に述べられています。

  • AI サービスは誤りを含む可能性があり、確率に基づいて動作します。
  • 複数のソースのコンテンツを要約する場合、Copilot は入力ソースに含まれていない情報を含めることがあります。この注意事項では、これを ungrounded output(根拠のない出力)と呼んでいます。
  • 出力は、あいまいな入力やモデルの限界などにより、不正確、不完全、偏りがある、または意図した目的と無関係になる場合があります。
  • 過度な依存とは、誤りを見つけることが難しいために、ユーザーが不正確または不完全な出力を受け入れてしまう状態を指します。

業務文書に基づく応答には、ユーザーが検証できるよう、可能な限り出典への参照が含まれます。注意事項によると、Microsoft は根拠性の評価を含む品質評価を実施していますが、スコアは示されていません。この記事のために参照したページには精度のベンチマークが含まれていないため、他の場所で引用されているパーセンテージは、これらの情報源では裏付けられていません。

回答を確認する方法

Microsoft のガイダンス「Validate Copilot output before you act on it」では、検証を、出力が生成された後、それに基づいて行動する前に出力を確認することと定義しています。応答が洗練されて見えても、誤り、不完全さ、リスクを含む場合があることを強調しています。確認すべき4つの観点は次のとおりです。

  1. Source. 応答は元のソース資料を反映していますか。ソースをたどれない記述は、検証されるまで未確認として扱ってください。
  2. Verified. 主要な事実、名称、日付、数値、推奨事項は確認されていますか。
  3. Context. 判断を変えうる不足情報は何ですか。注意事項、依存関係、例外を確認してください。
  4. Resilient. 回答は、さまざまなシナリオや対象者に対しても妥当性を保てますか。

検証が特に重要になるのは、意思決定、複数ソースの要約、顧客や経営層へのメッセージ、優先順位の決定、元に戻すことが難しい作業です。Copilot は、レビュー担当、反論役、不足点の洗い出し役、ストレステストの担い手として活用できます。ただし、そのフィードバックは判断材料の一つであり、最終的な権威ではありません。

ドキュメントに基づく実践的な手順

  • Microsoft が推奨するとおり、プロンプトには詳細と構造を含めてください。
  • 最初の出力をそのまま受け入れず、再生成または改善を行ってください。
  • 重要な数値や日付については、引用された参照先を開いて確認してください。
  • コンテンツのガバナンスを見直してください。Microsoft は、過剰に共有された、またはガバナンスが不十分なコンテンツが結果に影響すると述べています。
  • 透明性に関する注意事項が助言するとおり、意思決定には人による確認を維持してください。

関連情報

データソース

FAQ

Microsoft Copilotの回答はどれくらい正確ですか?

本記事の調査で参照したページには、Microsoftが公表している精度の数値はありませんでした。Microsoft 365 Copilotの透明性に関する注意事項では、AIサービスは誤りが生じうる確率的な仕組みであり、出力は不正確、不完全、偏り、意図との不一致、関連性の欠如があり得るとされています。そのため、すべての回答を確認し、検証することが推奨されています。

Copilotの回答を左右する要因は何ですか?

Microsoft Learnによると、主な要因は、プロンプト、グラウンディングに使用されるデータ(Microsoft Graphのコンテンツと、任意でWeb)、ユーザーの既存のアクセス許可、ライセンスの階層とテナントの構成、そしてモデルモードです。Microsoft 365より対応言語が少ないため、言語サポートも重要です。

Copilotは、私がアクセス権を持たないファイルを参照できますか?

いいえ。透明性に関する注意事項では、Copilotがアクセスするのは、Microsoft 365の既存のロールベースのアクセス制御に基づき、個々のユーザーが既にアクセス権を持つデータのみとされています。ユーザーが開けないコンテンツは、グラウンディングに使用されません。

Copilotは自分の回答を検証できますか?

一部のみ可能です。Microsoftの検証に関するガイダンスでは、Copilotはレビュー担当者や不足点の洗い出し役として出力の検証を支援できるものの、自身の正確性を保証することはできないとされています。重要度が高い場合は、信頼できる情報源と照合してください。

Entities in this article

この記事のテーマ:

Microsoft 365 Copilot – MicrosoftのAI アシスタント Grounding (Copilot) – 概念 Copilot governance – 概念

Related articles

Microsoft 365 Copilotに関するほかの記事:

RSS