では企業がAIチャットボット一つから数十ものAIツールへと移行すると具体的に何が変わるのでしょうか最初はシンプルに感じますあるチームがカスタマーサポート用にチャットボットを追加します別のチームはAIを使って社内文書を検索したり会議のメモを自動作成したりしますワークフローがメールを読み取りリクエストを抽出して適切なシステムへ送信することもできますやがて社内には複数のモデルアクションを実行するエージェントビジネスデータにアクセスするツールが混在するようになります各チームは独自のキー制限安全ルールを用いて異なるAIプロバイダーに直接接続しがちですコストの追跡が困難になりますキーが誤った場所に流出する恐れもありますエージェントがツールを呼び出す際何を実行しようとしたのか明確な記録が誰にも残らないこともありますそこで登場するのがマイクロソフトアイガトウェイですこのエピソードの終わりまでにはそれが何であるか構成要素がどのように組み合わさるかそしていつビジネスに役立つのかが理解できるでしょうたくさんの横入り口があるオフィスビルを想像してみてくださいすべてのドアを開け離して利用者に任せることもできますが管理された一つの入り口を通るようにすることも可能ですAIのための正面玄関ですマイクロソフトアイガトウェイはAIトラフィックを一つの制御ポイントに集約するAzure API管理機能のセットですわかりやすく説明しましょう会社のAI環境をモダンなオフィスビルに見立ててみてくださいAIモデルは思考が行われる部屋ですエージェントはビル内を動き回り次にどの承認済みタスクを実行するかを決める作業者ですツールは人事財務顧客記録社内ファイルなどの場所につながる通用口ですアイガトウェイは入り口にある受付や警備デスクにあたります誰が来たのかを確認しルールを適用しリクエストがビル内のどこへ向かうかを記録してから中へ通しますリクエストは単純な経路をたどりますアプリコパイロットまたはエージェントがゲートウェイにリクエストを送信しますゲートウェイは呼び出し元に適用されるルールをチェックし承認されたモデルツールエージェントまたはビジネスAPIへ送信しますレスポンスが戻る際もユーザーに届く前に再びゲートウェイを経由しますこの一本化された経路により全てのアプリに制御機能を組み込むことなくアクセス管理制限安全チェックログ記録を一元管理できますまた混同されがちな2つの業務を切り離すこともできますアプリケーションチームはユーザーが実際に使用する体験の構築に集中できますサポートアシスタントや文書検索画面あるいは時間を節約するワークフローなどを構築することに専念できるのです一方プラットフォームチームは舞台裏で共通ルールを管理しどのサービスを承認するかどのIDがそれらを使用できるかプロジェクトが送信できるトラフィック量そして何を記録するかを決定しますすべてのチームがチャットボットごとに新しいセキュリティ計画を考案する必要はありませんマイクロソフトアイガトウェイは様々な種類のAIトラフィックの前面に配置できますAIモデルへの呼び出しやモデルコンテキストプロトコルMCPツール呼び出しを管理できますまたエージェント間A2Aのトラフィックや注文の確認人事ポリシーの閲覧サポートチケットの記表などすでに記者で使用しているビジネスAPIも管理可能です後者は重要ですなぜならほとんどの企業はAIを利用するために既存のシステムを廃棄する必要がないからです必要なのはAIがそれらのシステムと連携するための安全な方法でありゲートウェイはその接続を制御するのに役立ちますさてマイクロソフトアイガトウェイはモデルではありませんそれ自身で回答を作成するわけではありませんエージェントビルダーでもありませんつまり人事アシスタントを設計したりファイナンスエージェントに何をするか教えたりするために使用するものではありませんまたチームがAIプロジェクトを構築テスト管理するためのマイクロソフトファウンドリに変わるものでもありませんその代わりに中間に位置しますファウンドリはAIモデルやエージェントの操作を支援しAzureアピマネジメントのアイガトウェイはそれらのモデルエージェントツールが生成するトラフィックを制御しますAzureアピマネジメントは通常のAPIを管理する方法としてすでにご存知かもしれませんAPIとはあるソフトウェアが別のソフトウェアに何かを要求するための単なる手段ですアイガトウェイはその同じ考え方をAIの作業にも拡張しますなぜならAIリクエストには新たな疑問が伴うからです誰がどのモデルを使用したのか何トークン消費したのかこのエージェントはそのツールを呼び出せるのかこのプロンプトはモデルに到達させるべきかゲートウェイを中間に配置することでそれらの疑問に対する答えを一箇所で管理できるようになりますそして最初の課題は全てのアプリケーションが独自のモデルエンドポイントを選択し始めた時に現れます一つのエンドポイントで多くのモデルをアプリケーションが単一のモデルエンドポイントに直接接続するとその選択がコード自体に組み込まれてしまいます多くの場合コードは特定のプロバイダー特定のデプロイメント特定のAzureリージョンそして固定された制限に縛られますプロジェクトが小さいうちはそれでうまくいきますが例えばサポートシステムが一つのリージョンの一つのモデルで動作していると想像してみてください数ヶ月後そのモデルが容量制限に達したりより安価で優れたモデルが登場したりあるいはビジネス上の理由で別のリージョンに移行する必要が生じたりします共有レイヤーがないと全てのアプリチームがコードを変更し再テストを行いアップデートをロールアウトしなければなりませんそれでは変更が遅くなり複雑になってしまいますマイクロソフトアイガトウェイはアプリケーションに安定したフロントドアを提供しますアプリケーションからそこにリクエストを送ればアプリ自体を修正することなくバックグラウンドでモデルを切り替えることが可能です会社の代表電話番号のようなものだと考えてください顧客は一つの番号にダイヤルするだけでたとえ通話が別のチームやオフィスに転送されても問題ありません顧客はそれがどのように処理されているかを知る必要はありませんアイガトウェイを使えばアプリは一つの承認済みエンドポイントを呼び出すだけでその背後でゲートウェイがタスクに最適なモデルへリクエストを振り分けますマイクロソフトにはユニファイドモデルAPIという新しいアプローチもあります簡単に言えばアプリケーションはオープンAI形式でリクエストを送信しゲートウェイがバックグラウンドで様々なモデルプロバイダーに接続できるという仕組みですつまりアプリは使い慣れた一つの形式でリクエストを送りゲートウェイがプロバイダーに関する詳細をすべて処理します設定次第でそのリクエストをAzureオープンAIのデプロイメントマイクロソフトファウンドリのモデルアントロピック、グーグルジェミニ、あるいはアマゾンベッドロックに送ることができますルートは個々のアプリに埋め込まれた固定的な選択肢ではなく設定したルールに従って決定されますこれによりプラットフォームチームはアプリ利用者に影響を与えることなく変更を加えることができます例えば企業がカスタマーサポート用にAIアシスタントを運用しているとしますほとんどの質問はシンプルです注文はどこにありますか? パスワードをリセットするにはどうすればいいですか?これらは小さくて安価なモデルで素早く回答できるため不要なコストを抑えられます一方で顧客から慎重な推論や専門知識を必要とする長く複雑な質問が送られてくることもありますゲートウェイはその種のリクエストをより強力なモデルへとルーティングしますサポートアプリは常に同じ方法でリクエストを送信するためチームがどのモデルが回答したかを気にする必要はなく開発者が選択肢ごとに個別の接続を構築する必要もありませんキャパシティについてはどうでしょうか? AIモデルのエンドポイントには制限があります一定期間内に処理できるトラフィック量には限界があるのですすべてのリクエストが一つのデプロイメントに集中すると混雑時には全体的な動作が遅くなったり停止したりする可能性がありますゲートウェイは複数の承認済みデプロイメントにトラフィックを分散し一つのデプロイメントがいっぱいになれば別のリージョンにルーティングしたりエンドポイントがダウンした際にはバックアップルートを使用したりできますもちろんリクエストがランダムに飛び交うわけではありませんルールを決めるのはあくまであなたです例えば顧客向けのトラフィックをメインモデルで優先処理し社内テストには別のパスを使うあるいは特定のリージョンがローカルユーザーを処理し別のリージョンをバックアップとして機能させるといったことが可能です要点はシンプルですアプリケーションは一つの制御されたフロントドアに接続しその背後でプラットフォームがモデル、リージョンあるいはプロバイダーを最小限の影響で調整できるということですAIの世界は動きが早いためこれが重要なのです今日うまく機能しているモデルが来月も最善の選択肢であるとは限りませんすべてのアプリがプロバイダーと直接やり取りするとモデルの変更がすべてのチームにとって大きなプロジェクトになりますゲートウェイを使えばモデルの決定を共有可能な一箇所に集約できます統合モデルAPIについて一言ぶれておきますマイクロソフトはこれをパブリックプレビューとして提供していますプレビュー機能は変更される可能性がありあらゆる本番ユースケースに対応しているとは限りませんそれでもより広範なパターンはその特定の機能だけに依存するものではありませんAPI管理はすでにモデルエンドポイントの前面に配置されルーティングルールを適用し複数のバックエンドを管理するのに役立つからです統合モデルAPIの狙いはそのプロバイダー間での操作性をアプリケーションにとってより容易にすることです適切なモデルを選ぶのは仕事の半分にすぎませんモデルは質問に答えるだけですがエージェントは実際の企業システムに踏み込むアクションを起こすことができるからですエージェントとツールのガバナンスエージェントはAIを単なる質問への回答以上の存在へと進化させますこれはタスクを確認し承認された選択肢から選びツールやサービスを呼び出して業務を遂行できるソフトウェアです人事エージェントなら休暇ポリシーを調べサポートエージェントなら注文を確認し財務エージェントなら支払い依頼を作成するといった具合ですその能力は有用ですが同時にリスクの性質も変化させますモデルの誤った回答は人を混乱させる程度ですがエージェントがツールを誤って使えばデータの漏洩、記録の改ざん、あるいは触れるべきではないプロセスの実行を招く恐れがありますこれがツール自体にも独自のルールが必要な理由ですMCP、モデルコンテキストプロトコルという言葉を耳にするでしょうこれはエージェントが文書検索サービスや注文紹介APIのような企業ツールを見つけて利用するための基地の手法を提供する標準的なコネクタの形だと考えてくださいすべてのエージェントとシステムに対して個別に接続を構築する代わりにMCPはチームに共通のパターンを提供します次にA2A、エージェント間通信がありますこれはエージェント同士が連絡を取り合うための標準的な方法です例えばサポートエージェントが配送システムを自ら解読しようとする代わりに配送エージェントに詳細を問い合わせるといった形です理屈では整然として聞こえますがすべての接続に異なるアクセスルールや隠れた資格情報未知のツールが介在するとエージェントチェーンは複雑化します請求書に関する質問に答える財務エージェントを想像してください本来は承認済みの請求書検索ツールのみを使うべきですが限定的なツールを定義するより手っ取り早いという理由で財務システムへの広範なアクセス権を与えてしまうケースですユーザーが一見無害なプロンプトを送り添付された文書内の隠し命令がエージェントを未承認のアクションへと誘導しますもしエージェントに過剰な権限があれば不要なデータを要求したり本来人間の承認が必要なワークフローを勝手に開始したりする可能性がありますエージェント自体に悪意はありません単に信頼できない入力を扱う際に自由を与えすぎただけなのですマイクロソフトアイガトウェイはMCPサーバーやビジネスAPIの前面に制御機能を配置できるようにしますAIアプリからデータベースへの直接的なパスではなく特定の業務専用の小さな制御されたツールを公開します例えばこの注文のステータスを確認してというエージェントの問いかけに対してそのツールは全ての注文や顧客の全レコードではなくステータスのみを返しますこれは限定的な業務でありゲートウェイは呼び出しを許可する前に誰が要求しているのかを確認しますこの設定の中心にあるのはIDですマイクロソフトエントラーIDを使用するとアプリはプロバイダーキーを共有する代わりにマネージドIDを通じてサインインしますマネージドIDは開発者がシークレットをコードにコピーすることなくIDを証明します各エージェントは独自のIDを持つべきですそうすることでどのエージェントがツールを呼び出したかを把握し他のエージェントに影響を与えずに特定のアクセスの取り消しや異なるルールの適用が可能になります両方でAIを使用しているからといって人事エージェントが財務エージェントの権限を継承すべきではありませんこれはゼロトラストの原則に従っていますすべての要求を確認し現在の業務に必要なアクセス権のみを与えあらゆるプロンプトやツールの応答が安全ではない可能性があると想定します実際にはエージェントは特定のツールとアクションに対してのみ許可を得ます休暇残高は読み取れても給与ファイルをダウンロードすることはできませんサポートチケットのドラフトは作成できてもケースをクローズすることはできませんゲートウェイはプロンプトやツールのトラフィックに対しても安全チェックを適用します要求に有害なコンテンツやシステムから外に出すべきでないデータが含まれている場合ポリシーがバックエンドに到達する前にそれを阻止しますフィルターですべてを検知することはできませんが共有ポイントでトラフィックをチェックする方が各エージェント作成者が同様の保護を実装することを期待するよりもはるかに安全ですまた承認済みツールのカタログも必要ですアピセンターはAPIとMCPサービスのプライベートカタログとして機能しチームは古いドキュメントを探したり未検証のウェブアドレスをコピーしたりすることなく適切なツールを見つけられますこれによりエージェントがどのツールを使えるかという判断を管理されたビジネス上の意思決定に変えることができますセキュリティ制御はパスを保護しますが同時に新たな問いも生じさせますどのチームがそのパスを使用していてどれくらいのAI利用量が発生しているのかという点ですトークンのコスト、制限、そして可視化ですAIのコストは通常のソフトウェアライセンスとは異なる仕組みで動作しますトークン単位で課金されますトークンとは何でしょうか? それはテキストの小さな断片です短い単語であれば1トークン程度かもしれません長い単語はより多くのトークンを使用しますモデルは送信されたすべての情報をカウントしますあなたの質問、追加した指示、添付したドキュメント、そして返される回答のすべてですそのため単純な質問はわずかなコストで済みますが長いポリシー文章を読み、追跡質問を行い、ツールを呼び出し詳細な回答を作成するエージェントは予想を遥かに超えるコストがかかる可能性があります会議のトランスクリプトでこのような経験をしたことはありませんか?数ページのメモが表示されますAIシステムはシステム指示、トランスクリプト、取得した社内データ、ツールの実行結果、そして最終的な応答を処理しますすべての要素が使用量に加算されますそのため、一つのビジーなエージェントが共有モデルの制限を驚くほど早く消費してしまうことがあります金曜の午後に、あるチームが新しいマーケティングアシスタントをテストしている場面を想像してください誰かが大量のキャンペーンファイルを読み込ませ、比較、書き換え、要約を繰り返すよう指示しますその間、カスタマーサポートも同じモデルの容量を頼りに、助けを求める人々にサービスを提供していますテストのワークロードが共有コータを使い切ると、顧客が必要としているときにサポートアシスタントが遅延したり停止したりする可能性があります問題は、単に会社が費用を支払ったということだけではありません重要度の高いワークロードの容量を、そうでないワークロードが奪ってしまったのですAzure App ManagementのAI Gatewayは、そうなる前に制限を適用できますアプリ、チームプロジェクト、または消費者ごとに、リクエスト制限、トークン制限、コータを設定できますコータは、短期間のマイフントークン数や、日並み、月時といった長期的な許容量をカバーできますこれにより、各ワークロードに境界線が設けられますマーケティングアシスタントには、その目的に合った予算を持たせることができますカスタマーサポートには、それ独自の許容量と高い優先度を持たせることが可能ですマーケティングアシスタントが制限に達すると、ゲートウェイはそれ以降のリクエストを拒否または遅延させることができますテストプロジェクトがリソースを全て使い切ることはないため、カスタマーサポートは稼働し続けますこれは、月々のコストに関する議論のあり方も変えます全体を把握できなければ、財務チームは高額なAIの請求書を受け取って、誰がこれほど使ったのかと尋ねることになりますチームが共有キーを使って個別に様々なサービスに接続していると、その答えを見つけるのは困難ですゲートウェイは、呼び出し元、モデル、トークン使用量、応答ステータス、リクエストに関連付けられたツール呼び出しを記録できますこれにより、より明確な追跡が可能になります人事アシスタント、開発者のテスト環境、顧客向けチャットボット、あるいはエラー後に再試行を繰り返すエージェントのどれが費用を発生させたのかを確認できますまた、特定のアプリケーションが通常よりはるかに大きなプロンプトを送信しているといった異常なパターンも発見できますチームがマイクロソフトファウンドリで作業を開始した場合、ゲートウェイはその作業にも接続できますパウンドリプロジェクトはプロジェクトレベルのトークン制限を使用でき、ゲートウェイがその周囲のトラフィックルールを適用しますこれにより、AI構築者はよりシンプルな出発点を得られ、プラットフォームチームは制限と監視を一元管理できる場所を維持できますセマンティックキャッシュと呼ばれる便利な機能もあります例えば、ある従業員が出張規定はどこにありますか?と尋ねたとしますその数秒後に、別の従業員が出張に関するポリシーはどこですか?と尋ねます言葉は違っても意味が近ければ、ゲートウェイはモデルを再呼び出しする代わりに、過去の適切な回答を再利用できますこれにより、コストを削減し、応答を高速化できますこれは再利用が理にかなっている質問にのみ有効です現在の休暇残高や注文状況の紹介などは、回答が変化する可能性があるためキャッシュすべきではありませんルーティングもコスト削減に役立ちます企業は、適切なタスクを低コストのモデルに割り当てたり、追加料金が発生する前に確保済みのリソースを使用したり、制限に達した際にバックアップ経路へ切り替えたりできますそれでも、ゲートウェイがあるからといって、管理責任がなくなるわけではありませんチームには予算が必要です誰かがモデルの回答を確認する必要がありますエージェントをそもそも導入すべきかどうかを判断する誰かが必要ですゲートウェイは、計測機能、ガードレール、そしてトラフィックの記録を提供しますゲートウェイがビジネス上の意思決定を代行することはありませんトラフィックの可視化と制御ができるようになると、全体像が日常的な例で理解しやすくなりますシンプルなリクエストの工程です社内の人事アシスタントを想像してみてください従業員が、育児休暇は何日取れますか?また、申請手続きを開始してもらえますか?と尋ねます目的はシンプルで、従業員に迅速かつ有益な回答を提供し、承認された次のステップを支援することですしかし、人事アシスタントは給与データを開示したり、あらゆる人事ファイルにアクセスしたり、コード内にモデルプロバイダーのキーを保持したりしてはなりませんリクエストは従業員のサインインから始まりますアシスタントがモデルやツールにデータを送信する前に、ゲートウェイは従業員の本人確認を行い、その従業員が人事アシスタントを利用できるか、そのアプリにどのような制限が適用されるかを確認します従業員にはシンプルなチャットウィンドウが見えているだけで、これらのチェックはバックグラウンドで行われます次に、アシスタントが回答を求めます基本的な規定に関する質問は、会社が承認したモデルエンドポイントへ送信されますそのエンドポイントが混雑しているか、制限に達している場合、ゲートウェイは会社が事前に承認したバックアップルートをたどることができます従業員はモデルのデプロイメントが混雑してエラーになるような事態を避け、同じ人事アシスタントを通じて回答を得られます続いて、従業員が休暇申請の開始を求めますこの時点で、エージェントにはモデル以外のものが必要です従業員の詳細を確認し、適切な申請を作成できるツールが必要ですエージェントは、休暇管理用に承認されたMCPツールを使用しようとしますゲートウェイはそのリクエストもチェックしますこの人事エージェントはこのツールを呼び出せるか? この従業員はこの種のリクエストを開始する権限があるか?そのアクションはエージェントに割り当てられた権限に適合しているか?それらが確認されて初めて、ツールが呼び出しを受け取りますこのツールは、膨大な従業員記録のリストを返すことはありません必要な情報、つまり従業員の休暇暫時数、適用されるポリシー、そして申請が下書きとして作成されたという確認情報のみを返しますこの限定的な応答が重要なのですエージェントは支援に必要な情報だけを持ち、自然言語で質問したからといって広範なアクセス権を得ることはありませんでは、従業員が外部のドキュメントからテキストをチャットに貼り付けたと想像してくださいそのテキストには、アシスタントのルールを無視させたり、機密情報を要求させたりしようとする指示が含まれていますゲートウェイは、プロンプトがモデルに届く前、あるいはツールがリクエストを受け取る前に安全確認を行うことができますリクエストがルールに違反していれば、そこで阻止することが可能です同様の確認作業は、回答が従業員に届く前に行うこともできますすべての問題が不適切なプロンプトに起因するわけではありませんモデルが、本来返すべきではない情報を含んだ回答を生成することもあります共通の制御ポイントがあれば、企業はその経路を監視し、対策を講じることができます同時に、リクエストは記録として残ります企業は使用されたトークンを人事アシスタントプロジェクトに関連付けることができますどのモデルが質問を処理したか、ツール呼び出しが成功したか、リクエストがブロックされたか、処理にどの程度の時間がかかったかを確認できますこれにより、サポートやレビューが非常に容易になります人事チームから従業員が休暇申請を作成できないという報告があれば、運用チームは失敗したツール呼び出しを探すことができますもし安全ルールが正当な質問をブロックしているなら、そのパターンを見つけてポリシーを改善できます特定の一つのエージェントが、突然通常よりはるかに多くのAIリソースを消費し始めた場合、その変化を把握できますまた、特定の休暇申請の前に特別なチェックを追加するなど、ルールを更新する場合も、ゲートウェイのポリシーを一度変更するだけで済みます同じ制御経路を使用しているすべての人事アプリ、チャットボット、ワークフローにおいて、個別にコードを更新して待つ必要はありません企業が新しいモデル、新しいリージョン、内部ツール、あるいは関連する人事タスクを扱う別のエージェントを追加しても、同じリクエストパターンが機能しますただし、最初は小規模から始めましょうAIトラフィックが共有され始める段階で、ゲートウェイが役立つようになりますどこから始めるべきでしょうか? では、実際にどこから着手すれば良いのでしょうか?まずは、すでにモデルを呼び出しているサポートアシスタントや、人事、財務、社内文書検索のためにチームが計画しているエージェントなど、単一の実際のワークロードから始めてくださいすべてのモデルとツールを一度に扱おうとしないでくださいそれは混乱への近道です各アプリケーションに直接プロバイダーキーを渡すのではなく、そのワークロードのモデルエンドポイントをAzure App ManagementのAI Gatewayの背後に配置してくださいAIトラフィックのための単一のセキュリティ検問所だと考えてください次に、基本設定を行いますワークロードの責任者を明確にしますエントラベースのアクセス制御を使用し、適切なユーザーやサービスのみがアクセスできるようにします業務に適したトークン制限を設定し、パフ速をなくしますログを有効にして、状況を把握できるようにしますチームがテスト検証できるコンテンツ安全ルールを一つ追加しますまずはシンプルに始めましょうモデルの経路とアクセス境界が機能したら、承認済みのMCPツールを一つずつ追加します各ツールには特定の役割を持たせ、エージェントが使用する理由を明確にします不要な機能は追加しませんそこから、単一の管理されたワークロードを、共有モデルやツール、エージェントへと拡張していきます最初の制御点がないと、新しいAIアプリが作られるたびに管理外のデータ経路が増え、AIの請求額も増大します次のヒントとして、Azure App Managementの簡単な解説をご覧くださいそれが、Microsoft iGatoへの基盤となっています