WEBVTT

00:00:00.000 --> 00:00:04.460
では企業がAIチャットボット一つから数十ものAIツールへと移行すると具体的に何が変わるのでしょうか

00:00:04.460 --> 00:00:06.080
最初はシンプルに感じます

00:00:06.080 --> 00:00:09.060
あるチームがカスタマーサポート用にチャットボットを追加します

00:00:09.060 --> 00:00:13.960
別のチームはAIを使って社内文書を検索したり会議のメモを自動作成したりします

00:00:13.960 --> 00:00:18.400
ワークフローがメールを読み取りリクエストを抽出して適切なシステムへ送信することもできます

00:00:18.400 --> 00:00:24.220
やがて社内には複数のモデルアクションを実行するエージェントビジネスデータにアクセスするツールが混在するようになります

00:00:24.220 --> 00:00:30.240
各チームは独自のキー制限安全ルールを用いて異なるAIプロバイダーに直接接続しがちです

00:00:30.240 --> 00:00:32.020
コストの追跡が困難になります

00:00:32.020 --> 00:00:34.100
キーが誤った場所に流出する恐れもあります

00:00:34.100 --> 00:00:37.880
エージェントがツールを呼び出す際何を実行しようとしたのか明確な記録が誰にも残らないこともあります

00:00:37.880 --> 00:00:40.300
そこで登場するのがマイクロソフトアイガトウェイです

00:00:40.300 --> 00:00:44.160
このエピソードの終わりまでにはそれが何であるか構成要素がどのように組み合わさるか

00:00:44.160 --> 00:00:46.140
そしていつビジネスに役立つのかが理解できるでしょう

00:00:46.140 --> 00:00:49.120
たくさんの横入り口があるオフィスビルを想像してみてください

00:00:49.120 --> 00:00:54.820
すべてのドアを開け離して利用者に任せることもできますが管理された一つの入り口を通るようにすることも可能です

00:00:54.820 --> 00:00:57.120
AIのための正面玄関です

00:00:57.120 --> 00:01:02.940
マイクロソフトアイガトウェイはAIトラフィックを一つの制御ポイントに集約するAzure API管理機能のセットです

00:01:02.940 --> 00:01:04.600
わかりやすく説明しましょう

00:01:04.600 --> 00:01:07.740
会社のAI環境をモダンなオフィスビルに見立ててみてください

00:01:07.740 --> 00:01:10.580
AIモデルは思考が行われる部屋です

00:01:10.580 --> 00:01:14.980
エージェントはビル内を動き回り次にどの承認済みタスクを実行するかを決める作業者です

00:01:14.980 --> 00:01:20.480
ツールは人事財務顧客記録社内ファイルなどの場所につながる通用口です

00:01:20.480 --> 00:01:24.660
アイガトウェイは入り口にある受付や警備デスクにあたります

00:01:24.660 --> 00:01:30.640
誰が来たのかを確認しルールを適用しリクエストがビル内のどこへ向かうかを記録してから中へ通します

00:01:30.640 --> 00:01:32.780
リクエストは単純な経路をたどります

00:01:32.780 --> 00:01:36.760
アプリコパイロットまたはエージェントがゲートウェイにリクエストを送信します

00:01:36.760 --> 00:01:43.800
ゲートウェイは呼び出し元に適用されるルールをチェックし承認されたモデルツールエージェントまたはビジネスAPIへ送信します

00:01:43.800 --> 00:01:48.360
レスポンスが戻る際もユーザーに届く前に再びゲートウェイを経由します

00:01:48.360 --> 00:01:56.120
この一本化された経路により全てのアプリに制御機能を組み込むことなくアクセス管理制限安全チェックログ記録を一元管理できます

00:01:56.120 --> 00:01:59.220
また混同されがちな2つの業務を切り離すこともできます

00:01:59.220 --> 00:02:02.860
アプリケーションチームはユーザーが実際に使用する体験の構築に集中できます

00:02:02.860 --> 00:02:07.500
サポートアシスタントや文書検索画面あるいは時間を節約するワークフローなどを構築することに専念できるのです

00:02:07.500 --> 00:02:17.100
一方プラットフォームチームは舞台裏で共通ルールを管理しどのサービスを承認するかどのIDがそれらを使用できるかプロジェクトが送信できるトラフィック量そして何を記録するかを決定します

00:02:17.100 --> 00:02:20.780
すべてのチームがチャットボットごとに新しいセキュリティ計画を考案する必要はありません

00:02:20.780 --> 00:02:24.360
マイクロソフトアイガトウェイは様々な種類のAIトラフィックの前面に配置できます

00:02:24.360 --> 00:02:29.080
AIモデルへの呼び出しやモデルコンテキストプロトコルMCPツール呼び出しを管理できます

00:02:29.080 --> 00:02:38.780
またエージェント間A2Aのトラフィックや注文の確認人事ポリシーの閲覧サポートチケットの記表などすでに記者で使用しているビジネスAPIも管理可能です

00:02:38.780 --> 00:02:40.060
後者は重要です

00:02:40.060 --> 00:02:44.260
なぜならほとんどの企業はAIを利用するために既存のシステムを廃棄する必要がないからです

00:02:44.260 --> 00:02:49.480
必要なのはAIがそれらのシステムと連携するための安全な方法でありゲートウェイはその接続を制御するのに役立ちます

00:02:49.480 --> 00:02:51.760
さてマイクロソフトアイガトウェイはモデルではありません

00:02:51.760 --> 00:02:53.740
それ自身で回答を作成するわけではありません

00:02:53.740 --> 00:02:55.080
エージェントビルダーでもありません

00:02:55.080 --> 00:02:59.140
つまり人事アシスタントを設計したりファイナンスエージェントに何をするか教えたりするために使用するものではありません

00:02:59.140 --> 00:03:03.320
またチームがAIプロジェクトを構築テスト管理するためのマイクロソフトファウンドリに変わるものでもありません

00:03:03.320 --> 00:03:05.340
その代わりに中間に位置します

00:03:05.340 --> 00:03:07.960
ファウンドリはAIモデルやエージェントの操作を支援し

00:03:07.960 --> 00:03:13.100
Azureアピマネジメントのアイガトウェイはそれらのモデルエージェントツールが生成するトラフィックを制御します

00:03:13.100 --> 00:03:17.500
Azureアピマネジメントは通常のAPIを管理する方法としてすでにご存知かもしれません

00:03:17.500 --> 00:03:21.820
APIとはあるソフトウェアが別のソフトウェアに何かを要求するための単なる手段です

00:03:21.820 --> 00:03:24.580
アイガトウェイはその同じ考え方をAIの作業にも拡張します

00:03:24.580 --> 00:03:26.820
なぜならAIリクエストには新たな疑問が伴うからです

00:03:26.820 --> 00:03:29.620
誰がどのモデルを使用したのか何トークン消費したのか

00:03:29.620 --> 00:03:31.520
このエージェントはそのツールを呼び出せるのか

00:03:31.520 --> 00:03:33.480
このプロンプトはモデルに到達させるべきか

00:03:33.480 --> 00:03:37.020
ゲートウェイを中間に配置することでそれらの疑問に対する答えを一箇所で管理できるようになります

00:03:37.020 --> 00:03:41.780
そして最初の課題は全てのアプリケーションが独自のモデルエンドポイントを選択し始めた時に現れます

00:03:41.780 --> 00:03:44.280
一つのエンドポイントで多くのモデルを

00:03:44.280 --> 00:03:47.460
アプリケーションが単一のモデルエンドポイントに直接接続すると

00:03:47.460 --> 00:03:49.900
その選択がコード自体に組み込まれてしまいます

00:03:49.900 --> 00:03:52.240
多くの場合コードは特定のプロバイダー

00:03:52.240 --> 00:03:53.200
特定のデプロイメント

00:03:53.200 --> 00:03:54.660
特定のAzureリージョン

00:03:54.660 --> 00:03:56.120
そして固定された制限に縛られます

00:03:56.120 --> 00:03:57.960
プロジェクトが小さいうちはそれでうまくいきますが

00:03:57.960 --> 00:04:01.280
例えばサポートシステムが一つのリージョンの一つのモデルで動作していると想像してみてください

00:04:01.280 --> 00:04:03.360
数ヶ月後そのモデルが容量制限に達したり

00:04:03.360 --> 00:04:04.880
より安価で優れたモデルが登場したり

00:04:04.880 --> 00:04:07.520
あるいはビジネス上の理由で別のリージョンに移行する必要が生じたりします

00:04:07.520 --> 00:04:10.300
共有レイヤーがないと全てのアプリチームがコードを変更し

00:04:10.300 --> 00:04:12.880
再テストを行いアップデートをロールアウトしなければなりません

00:04:12.880 --> 00:04:15.340
それでは変更が遅くなり複雑になってしまいます

00:04:15.340 --> 00:04:18.620
マイクロソフトアイガトウェイはアプリケーションに安定したフロントドアを提供します

00:04:18.620 --> 00:04:20.120
アプリケーションからそこにリクエストを送れば

00:04:20.120 --> 00:04:22.980
アプリ自体を修正することなくバックグラウンドでモデルを切り替えることが可能です

00:04:22.980 --> 00:04:25.160
会社の代表電話番号のようなものだと考えてください

00:04:25.160 --> 00:04:26.680
顧客は一つの番号にダイヤルするだけで

00:04:26.680 --> 00:04:28.840
たとえ通話が別のチームやオフィスに転送されても問題ありません

00:04:28.840 --> 00:04:31.440
顧客はそれがどのように処理されているかを知る必要はありません

00:04:31.440 --> 00:04:34.880
アイガトウェイを使えばアプリは一つの承認済みエンドポイントを呼び出すだけで

00:04:34.880 --> 00:04:37.800
その背後でゲートウェイがタスクに最適なモデルへリクエストを振り分けます

00:04:37.800 --> 00:04:41.820
マイクロソフトにはユニファイドモデルAPIという新しいアプローチもあります

00:04:41.820 --> 00:04:46.400
簡単に言えばアプリケーションはオープンAI形式でリクエストを送信し

00:04:46.400 --> 00:04:50.880
ゲートウェイがバックグラウンドで様々なモデルプロバイダーに接続できるという仕組みです

00:04:50.880 --> 00:04:54.060
つまりアプリは使い慣れた一つの形式でリクエストを送り

00:04:54.060 --> 00:04:56.840
ゲートウェイがプロバイダーに関する詳細をすべて処理します

00:04:56.840 --> 00:04:59.840
設定次第でそのリクエストをAzureオープンAIのデプロイメント

00:04:59.840 --> 00:05:01.240
マイクロソフトファウンドリのモデル

00:05:01.240 --> 00:05:04.620
アントロピック、グーグルジェミニ、あるいはアマゾンベッドロックに送ることができます

00:05:04.620 --> 00:05:07.100
ルートは個々のアプリに埋め込まれた固定的な選択肢ではなく

00:05:07.100 --> 00:05:08.980
設定したルールに従って決定されます

00:05:08.980 --> 00:05:13.180
これによりプラットフォームチームはアプリ利用者に影響を与えることなく変更を加えることができます

00:05:13.180 --> 00:05:16.300
例えば企業がカスタマーサポート用にAIアシスタントを運用しているとします

00:05:16.300 --> 00:05:17.980
ほとんどの質問はシンプルです

00:05:17.980 --> 00:05:19.360
注文はどこにありますか?

00:05:19.360 --> 00:05:21.420
パスワードをリセットするにはどうすればいいですか?

00:05:21.560 --> 00:05:25.420
これらは小さくて安価なモデルで素早く回答できるため不要なコストを抑えられます

00:05:25.420 --> 00:05:29.660
一方で顧客から慎重な推論や専門知識を必要とする長く複雑な質問が送られてくることもあります

00:05:29.660 --> 00:05:32.920
ゲートウェイはその種のリクエストをより強力なモデルへとルーティングします

00:05:32.920 --> 00:05:35.660
サポートアプリは常に同じ方法でリクエストを送信するため

00:05:35.660 --> 00:05:38.160
チームがどのモデルが回答したかを気にする必要はなく

00:05:38.300 --> 00:05:41.360
開発者が選択肢ごとに個別の接続を構築する必要もありません

00:05:41.360 --> 00:05:43.240
キャパシティについてはどうでしょうか?

00:05:43.240 --> 00:05:45.500
AIモデルのエンドポイントには制限があります

00:05:45.500 --> 00:05:48.560
一定期間内に処理できるトラフィック量には限界があるのです

00:05:48.560 --> 00:05:50.680
すべてのリクエストが一つのデプロイメントに集中すると

00:05:50.680 --> 00:05:53.680
混雑時には全体的な動作が遅くなったり停止したりする可能性があります

00:05:53.680 --> 00:05:56.200
ゲートウェイは複数の承認済みデプロイメントにトラフィックを分散し

00:05:56.200 --> 00:05:58.560
一つのデプロイメントがいっぱいになれば別のリージョンにルーティングしたり

00:05:58.560 --> 00:06:00.920
エンドポイントがダウンした際にはバックアップルートを使用したりできます

00:06:00.920 --> 00:06:03.520
もちろんリクエストがランダムに飛び交うわけではありません

00:06:03.520 --> 00:06:05.340
ルールを決めるのはあくまであなたです

00:06:05.340 --> 00:06:08.320
例えば顧客向けのトラフィックをメインモデルで優先処理し

00:06:08.320 --> 00:06:10.340
社内テストには別のパスを使う

00:06:10.340 --> 00:06:12.560
あるいは特定のリージョンがローカルユーザーを処理し

00:06:12.560 --> 00:06:15.640
別のリージョンをバックアップとして機能させるといったことが可能です

00:06:15.640 --> 00:06:17.060
要点はシンプルです

00:06:17.060 --> 00:06:19.420
アプリケーションは一つの制御されたフロントドアに接続し

00:06:19.420 --> 00:06:21.500
その背後でプラットフォームがモデル、リージョン

00:06:21.500 --> 00:06:24.100
あるいはプロバイダーを最小限の影響で調整できるということです

00:06:24.100 --> 00:06:26.560
AIの世界は動きが早いためこれが重要なのです

00:06:26.560 --> 00:06:29.460
今日うまく機能しているモデルが来月も最善の選択肢であるとは限りません

00:06:29.460 --> 00:06:31.320
すべてのアプリがプロバイダーと直接やり取りすると

00:06:31.320 --> 00:06:33.580
モデルの変更がすべてのチームにとって大きなプロジェクトになります

00:06:33.580 --> 00:06:36.960
ゲートウェイを使えばモデルの決定を共有可能な一箇所に集約できます

00:06:36.960 --> 00:06:39.480
統合モデルAPIについて一言ぶれておきます

00:06:39.480 --> 00:06:42.100
マイクロソフトはこれをパブリックプレビューとして提供しています

00:06:42.100 --> 00:06:43.740
プレビュー機能は変更される可能性があり

00:06:43.740 --> 00:06:45.740
あらゆる本番ユースケースに対応しているとは限りません

00:06:45.740 --> 00:06:48.960
それでもより広範なパターンはその特定の機能だけに依存するものではありません

00:06:48.960 --> 00:06:51.600
API管理はすでにモデルエンドポイントの前面に配置され

00:06:51.600 --> 00:06:54.920
ルーティングルールを適用し複数のバックエンドを管理するのに役立つからです

00:06:54.920 --> 00:06:59.700
統合モデルAPIの狙いはそのプロバイダー間での操作性をアプリケーションにとってより容易にすることです

00:06:59.700 --> 00:07:02.420
適切なモデルを選ぶのは仕事の半分にすぎません

00:07:02.420 --> 00:07:04.180
モデルは質問に答えるだけですが

00:07:04.180 --> 00:07:07.880
エージェントは実際の企業システムに踏み込むアクションを起こすことができるからです

00:07:07.880 --> 00:07:09.660
エージェントとツールのガバナンス

00:07:09.660 --> 00:07:13.160
エージェントはAIを単なる質問への回答以上の存在へと進化させます

00:07:13.160 --> 00:07:15.760
これはタスクを確認し承認された選択肢から選び

00:07:15.760 --> 00:07:18.400
ツールやサービスを呼び出して業務を遂行できるソフトウェアです

00:07:18.400 --> 00:07:20.140
人事エージェントなら休暇ポリシーを調べ

00:07:20.140 --> 00:07:22.040
サポートエージェントなら注文を確認し

00:07:22.040 --> 00:07:24.720
財務エージェントなら支払い依頼を作成するといった具合です

00:07:24.720 --> 00:07:28.080
その能力は有用ですが同時にリスクの性質も変化させます

00:07:28.080 --> 00:07:30.180
モデルの誤った回答は人を混乱させる程度ですが

00:07:30.180 --> 00:07:31.580
エージェントがツールを誤って使えば

00:07:31.580 --> 00:07:34.080
データの漏洩、記録の改ざん、あるいは触れるべきではない

00:07:34.080 --> 00:07:35.400
プロセスの実行を招く恐れがあります

00:07:35.400 --> 00:07:38.140
これがツール自体にも独自のルールが必要な理由です

00:07:38.140 --> 00:07:41.340
MCP、モデルコンテキストプロトコルという言葉を耳にするでしょう

00:07:41.340 --> 00:07:43.160
これはエージェントが文書検索サービスや

00:07:43.160 --> 00:07:45.720
注文紹介APIのような企業ツールを見つけて利用するための

00:07:45.720 --> 00:07:48.160
基地の手法を提供する標準的なコネクタの形だと考えてください

00:07:48.160 --> 00:07:49.600
すべてのエージェントとシステムに対して

00:07:49.600 --> 00:07:50.900
個別に接続を構築する代わりに

00:07:50.900 --> 00:07:53.000
MCPはチームに共通のパターンを提供します

00:07:53.000 --> 00:07:55.480
次にA2A、エージェント間通信があります

00:07:55.480 --> 00:07:58.400
これはエージェント同士が連絡を取り合うための標準的な方法です

00:07:58.400 --> 00:08:00.360
例えばサポートエージェントが配送システムを

00:08:00.360 --> 00:08:01.720
自ら解読しようとする代わりに

00:08:01.720 --> 00:08:03.780
配送エージェントに詳細を問い合わせるといった形です

00:08:03.780 --> 00:08:05.260
理屈では整然として聞こえますが

00:08:05.260 --> 00:08:07.760
すべての接続に異なるアクセスルールや隠れた資格情報

00:08:07.760 --> 00:08:10.560
未知のツールが介在するとエージェントチェーンは複雑化します

00:08:10.560 --> 00:08:13.680
請求書に関する質問に答える財務エージェントを想像してください

00:08:13.680 --> 00:08:16.300
本来は承認済みの請求書検索ツールのみを使うべきですが

00:08:16.300 --> 00:08:18.620
限定的なツールを定義するより手っ取り早いという理由で

00:08:18.620 --> 00:08:20.920
財務システムへの広範なアクセス権を与えてしまうケースです

00:08:20.920 --> 00:08:22.820
ユーザーが一見無害なプロンプトを送り

00:08:22.820 --> 00:08:24.620
添付された文書内の隠し命令が

00:08:24.620 --> 00:08:26.640
エージェントを未承認のアクションへと誘導します

00:08:26.640 --> 00:08:28.220
もしエージェントに過剰な権限があれば

00:08:28.220 --> 00:08:29.420
不要なデータを要求したり

00:08:29.420 --> 00:08:32.520
本来人間の承認が必要なワークフローを勝手に開始したりする可能性があります

00:08:32.520 --> 00:08:34.200
エージェント自体に悪意はありません

00:08:34.200 --> 00:08:37.360
単に信頼できない入力を扱う際に自由を与えすぎただけなのです

00:08:37.360 --> 00:08:38.620
マイクロソフトアイガトウェイは

00:08:38.620 --> 00:08:42.280
MCPサーバーやビジネスAPIの前面に制御機能を配置できるようにします

00:08:42.280 --> 00:08:44.840
AIアプリからデータベースへの直接的なパスではなく

00:08:44.840 --> 00:08:47.940
特定の業務専用の小さな制御されたツールを公開します

00:08:47.940 --> 00:08:49.940
例えばこの注文のステータスを確認して

00:08:49.940 --> 00:08:51.380
というエージェントの問いかけに対して

00:08:51.380 --> 00:08:53.780
そのツールは全ての注文や顧客の全レコードではなく

00:08:53.780 --> 00:08:54.940
ステータスのみを返します

00:08:54.940 --> 00:08:56.180
これは限定的な業務であり

00:08:56.180 --> 00:08:57.680
ゲートウェイは呼び出しを許可する前に

00:08:57.680 --> 00:08:59.140
誰が要求しているのかを確認します

00:08:59.140 --> 00:09:01.380
この設定の中心にあるのはIDです

00:09:01.380 --> 00:09:03.080
マイクロソフトエントラーIDを使用すると

00:09:03.080 --> 00:09:05.040
アプリはプロバイダーキーを共有する代わりに

00:09:05.040 --> 00:09:06.520
マネージドIDを通じてサインインします

00:09:06.520 --> 00:09:09.740
マネージドIDは開発者がシークレットをコードにコピーすることなく

00:09:09.740 --> 00:09:10.920
IDを証明します

00:09:10.920 --> 00:09:13.120
各エージェントは独自のIDを持つべきです

00:09:13.120 --> 00:09:15.400
そうすることでどのエージェントがツールを呼び出したかを把握し

00:09:15.400 --> 00:09:17.580
他のエージェントに影響を与えずに特定のアクセスの取り消しや

00:09:17.580 --> 00:09:18.880
異なるルールの適用が可能になります

00:09:18.880 --> 00:09:20.480
両方でAIを使用しているからといって

00:09:20.480 --> 00:09:22.820
人事エージェントが財務エージェントの権限を継承すべきではありません

00:09:22.820 --> 00:09:24.780
これはゼロトラストの原則に従っています

00:09:24.780 --> 00:09:25.960
すべての要求を確認し

00:09:25.960 --> 00:09:27.740
現在の業務に必要なアクセス権のみを与え

00:09:27.740 --> 00:09:30.280
あらゆるプロンプトやツールの応答が安全ではない可能性があると想定します

00:09:30.280 --> 00:09:33.620
実際にはエージェントは特定のツールとアクションに対してのみ許可を得ます

00:09:33.620 --> 00:09:36.700
休暇残高は読み取れても給与ファイルをダウンロードすることはできません

00:09:36.700 --> 00:09:38.460
サポートチケットのドラフトは作成できても

00:09:38.460 --> 00:09:39.860
ケースをクローズすることはできません

00:09:39.860 --> 00:09:43.320
ゲートウェイはプロンプトやツールのトラフィックに対しても安全チェックを適用します

00:09:43.320 --> 00:09:46.640
要求に有害なコンテンツやシステムから外に出すべきでないデータが含まれている場合

00:09:46.640 --> 00:09:48.800
ポリシーがバックエンドに到達する前にそれを阻止します

00:09:48.800 --> 00:09:50.460
フィルターですべてを検知することはできませんが

00:09:50.460 --> 00:09:52.060
共有ポイントでトラフィックをチェックする方が

00:09:52.060 --> 00:09:55.200
各エージェント作成者が同様の保護を実装することを期待するよりもはるかに安全です

00:09:55.200 --> 00:09:57.700
また承認済みツールのカタログも必要です

00:09:57.700 --> 00:10:00.560
アピセンターはAPIとMCPサービスのプライベートカタログとして機能し

00:10:00.560 --> 00:10:02.060
チームは古いドキュメントを探したり

00:10:02.060 --> 00:10:03.840
未検証のウェブアドレスをコピーしたりすることなく

00:10:03.840 --> 00:10:05.140
適切なツールを見つけられます

00:10:05.140 --> 00:10:07.680
これによりエージェントがどのツールを使えるかという判断を

00:10:07.680 --> 00:10:09.680
管理されたビジネス上の意思決定に変えることができます

00:10:09.680 --> 00:10:11.420
セキュリティ制御はパスを保護しますが

00:10:11.420 --> 00:10:13.060
同時に新たな問いも生じさせます

00:10:13.060 --> 00:10:14.620
どのチームがそのパスを使用していて

00:10:14.620 --> 00:10:17.060
どれくらいのAI利用量が発生しているのかという点です

00:10:17.060 --> 00:10:19.380
トークンのコスト、制限、そして可視化です

00:10:19.380 --> 00:10:22.100
AIのコストは通常のソフトウェアライセンスとは異なる仕組みで動作します

00:10:22.100 --> 00:10:23.440
トークン単位で課金されます

00:10:23.440 --> 00:10:24.640
トークンとは何でしょうか?

00:10:24.780 --> 00:10:26.020
それはテキストの小さな断片です

00:10:26.020 --> 00:10:27.640
短い単語であれば1トークン程度かもしれません

00:10:27.640 --> 00:10:29.500
長い単語はより多くのトークンを使用します

00:10:29.500 --> 00:10:31.460
モデルは送信されたすべての情報をカウントします

00:10:31.460 --> 00:10:35.540
あなたの質問、追加した指示、添付したドキュメント、そして返される回答のすべてです

00:10:35.540 --> 00:10:37.580
そのため単純な質問はわずかなコストで済みますが

00:10:37.580 --> 00:10:40.360
長いポリシー文章を読み、追跡質問を行い、ツールを呼び出し

00:10:40.360 --> 00:10:43.640
詳細な回答を作成するエージェントは予想を遥かに超えるコストがかかる可能性があります

00:10:43.640 --> 00:10:46.440
会議のトランスクリプトでこのような経験をしたことはありませんか?

00:10:46.580 --> 00:10:48.120
数ページのメモが表示されます

00:10:48.120 --> 00:10:53.820
AIシステムはシステム指示、トランスクリプト、取得した社内データ、ツールの実行結果、そして最終的な応答を処理します

00:10:53.820 --> 00:10:55.840
すべての要素が使用量に加算されます

00:10:55.840 --> 00:10:59.520
そのため、一つのビジーなエージェントが共有モデルの制限を驚くほど早く消費してしまうことがあります

00:10:59.520 --> 00:11:03.280
金曜の午後に、あるチームが新しいマーケティングアシスタントをテストしている場面を想像してください

00:11:03.280 --> 00:11:08.200
誰かが大量のキャンペーンファイルを読み込ませ、比較、書き換え、要約を繰り返すよう指示します

00:11:08.200 --> 00:11:12.800
その間、カスタマーサポートも同じモデルの容量を頼りに、助けを求める人々にサービスを提供しています

00:11:12.800 --> 00:11:17.820
テストのワークロードが共有コータを使い切ると、顧客が必要としているときにサポートアシスタントが遅延したり停止したりする可能性があります

00:11:17.820 --> 00:11:20.640
問題は、単に会社が費用を支払ったということだけではありません

00:11:20.640 --> 00:11:23.960
重要度の高いワークロードの容量を、そうでないワークロードが奪ってしまったのです

00:11:23.960 --> 00:11:27.960
Azure App ManagementのAI Gatewayは、そうなる前に制限を適用できます

00:11:27.960 --> 00:11:33.760
アプリ、チームプロジェクト、または消費者ごとに、リクエスト制限、トークン制限、コータを設定できます

00:11:33.760 --> 00:11:39.080
コータは、短期間のマイフントークン数や、日並み、月時といった長期的な許容量をカバーできます

00:11:39.080 --> 00:11:41.720
これにより、各ワークロードに境界線が設けられます

00:11:41.720 --> 00:11:44.680
マーケティングアシスタントには、その目的に合った予算を持たせることができます

00:11:44.680 --> 00:11:48.060
カスタマーサポートには、それ独自の許容量と高い優先度を持たせることが可能です

00:11:48.060 --> 00:11:52.360
マーケティングアシスタントが制限に達すると、ゲートウェイはそれ以降のリクエストを拒否または遅延させることができます

00:11:52.360 --> 00:11:56.100
テストプロジェクトがリソースを全て使い切ることはないため、カスタマーサポートは稼働し続けます

00:11:56.100 --> 00:11:58.720
これは、月々のコストに関する議論のあり方も変えます

00:11:58.720 --> 00:12:04.040
全体を把握できなければ、財務チームは高額なAIの請求書を受け取って、誰がこれほど使ったのかと尋ねることになります

00:12:04.040 --> 00:12:08.640
チームが共有キーを使って個別に様々なサービスに接続していると、その答えを見つけるのは困難です

00:12:08.640 --> 00:12:13.960
ゲートウェイは、呼び出し元、モデル、トークン使用量、応答ステータス、リクエストに関連付けられたツール呼び出しを記録できます

00:12:13.960 --> 00:12:16.440
これにより、より明確な追跡が可能になります

00:12:16.440 --> 00:12:24.500
人事アシスタント、開発者のテスト環境、顧客向けチャットボット、あるいはエラー後に再試行を繰り返すエージェントのどれが費用を発生させたのかを確認できます

00:12:24.500 --> 00:12:29.240
また、特定のアプリケーションが通常よりはるかに大きなプロンプトを送信しているといった異常なパターンも発見できます

00:12:29.240 --> 00:12:33.220
チームがマイクロソフトファウンドリで作業を開始した場合、ゲートウェイはその作業にも接続できます

00:12:33.220 --> 00:12:37.920
パウンドリプロジェクトはプロジェクトレベルのトークン制限を使用でき、ゲートウェイがその周囲のトラフィックルールを適用します

00:12:37.920 --> 00:12:43.480
これにより、AI構築者はよりシンプルな出発点を得られ、プラットフォームチームは制限と監視を一元管理できる場所を維持できます

00:12:43.480 --> 00:12:45.920
セマンティックキャッシュと呼ばれる便利な機能もあります

00:12:45.920 --> 00:12:49.740
例えば、ある従業員が出張規定はどこにありますか?と尋ねたとします

00:12:49.740 --> 00:12:53.980
その数秒後に、別の従業員が出張に関するポリシーはどこですか?と尋ねます

00:12:53.980 --> 00:12:59.840
言葉は違っても意味が近ければ、ゲートウェイはモデルを再呼び出しする代わりに、過去の適切な回答を再利用できます

00:12:59.840 --> 00:13:02.620
これにより、コストを削減し、応答を高速化できます

00:13:02.620 --> 00:13:05.180
これは再利用が理にかなっている質問にのみ有効です

00:13:05.180 --> 00:13:10.160
現在の休暇残高や注文状況の紹介などは、回答が変化する可能性があるためキャッシュすべきではありません

00:13:10.160 --> 00:13:12.200
ルーティングもコスト削減に役立ちます

00:13:12.200 --> 00:13:20.040
企業は、適切なタスクを低コストのモデルに割り当てたり、追加料金が発生する前に確保済みのリソースを使用したり、制限に達した際にバックアップ経路へ切り替えたりできます

00:13:20.040 --> 00:13:23.160
それでも、ゲートウェイがあるからといって、管理責任がなくなるわけではありません

00:13:23.160 --> 00:13:24.680
チームには予算が必要です

00:13:24.680 --> 00:13:26.720
誰かがモデルの回答を確認する必要があります

00:13:26.720 --> 00:13:29.460
エージェントをそもそも導入すべきかどうかを判断する誰かが必要です

00:13:29.460 --> 00:13:32.600
ゲートウェイは、計測機能、ガードレール、そしてトラフィックの記録を提供します

00:13:32.600 --> 00:13:35.040
ゲートウェイがビジネス上の意思決定を代行することはありません

00:13:35.040 --> 00:13:39.300
トラフィックの可視化と制御ができるようになると、全体像が日常的な例で理解しやすくなります

00:13:39.300 --> 00:13:41.080
シンプルなリクエストの工程です

00:13:41.080 --> 00:13:43.180
社内の人事アシスタントを想像してみてください

00:13:43.180 --> 00:13:48.180
従業員が、育児休暇は何日取れますか?また、申請手続きを開始してもらえますか?と尋ねます

00:13:48.180 --> 00:13:52.820
目的はシンプルで、従業員に迅速かつ有益な回答を提供し、承認された次のステップを支援することです

00:13:52.820 --> 00:13:58.520
しかし、人事アシスタントは給与データを開示したり、あらゆる人事ファイルにアクセスしたり、コード内にモデルプロバイダーのキーを保持したりしてはなりません

00:13:58.520 --> 00:14:00.900
リクエストは従業員のサインインから始まります

00:14:00.900 --> 00:14:08.560
アシスタントがモデルやツールにデータを送信する前に、ゲートウェイは従業員の本人確認を行い、その従業員が人事アシスタントを利用できるか、そのアプリにどのような制限が適用されるかを確認します

00:14:08.560 --> 00:14:12.580
従業員にはシンプルなチャットウィンドウが見えているだけで、これらのチェックはバックグラウンドで行われます

00:14:12.580 --> 00:14:14.620
次に、アシスタントが回答を求めます

00:14:14.620 --> 00:14:18.560
基本的な規定に関する質問は、会社が承認したモデルエンドポイントへ送信されます

00:14:18.560 --> 00:14:25.120
そのエンドポイントが混雑しているか、制限に達している場合、ゲートウェイは会社が事前に承認したバックアップルートをたどることができます

00:14:25.120 --> 00:14:31.060
従業員はモデルのデプロイメントが混雑してエラーになるような事態を避け、同じ人事アシスタントを通じて回答を得られます

00:14:31.060 --> 00:14:33.800
続いて、従業員が休暇申請の開始を求めます

00:14:33.800 --> 00:14:36.400
この時点で、エージェントにはモデル以外のものが必要です

00:14:36.400 --> 00:14:39.940
従業員の詳細を確認し、適切な申請を作成できるツールが必要です

00:14:39.940 --> 00:14:43.460
エージェントは、休暇管理用に承認されたMCPツールを使用しようとします

00:14:43.460 --> 00:14:45.360
ゲートウェイはそのリクエストもチェックします

00:14:45.360 --> 00:14:47.540
この人事エージェントはこのツールを呼び出せるか?

00:14:47.660 --> 00:14:50.180
この従業員はこの種のリクエストを開始する権限があるか?

00:14:50.340 --> 00:14:52.760
そのアクションはエージェントに割り当てられた権限に適合しているか?

00:14:52.920 --> 00:14:55.240
それらが確認されて初めて、ツールが呼び出しを受け取ります

00:14:55.240 --> 00:14:58.300
このツールは、膨大な従業員記録のリストを返すことはありません

00:14:58.300 --> 00:15:05.500
必要な情報、つまり従業員の休暇暫時数、適用されるポリシー、そして申請が下書きとして作成されたという確認情報のみを返します

00:15:05.500 --> 00:15:07.640
この限定的な応答が重要なのです

00:15:07.640 --> 00:15:12.640
エージェントは支援に必要な情報だけを持ち、自然言語で質問したからといって広範なアクセス権を得ることはありません

00:15:12.640 --> 00:15:16.440
では、従業員が外部のドキュメントからテキストをチャットに貼り付けたと想像してください

00:15:16.440 --> 00:15:21.840
そのテキストには、アシスタントのルールを無視させたり、機密情報を要求させたりしようとする指示が含まれています

00:15:21.840 --> 00:15:26.580
ゲートウェイは、プロンプトがモデルに届く前、あるいはツールがリクエストを受け取る前に安全確認を行うことができます

00:15:26.580 --> 00:15:29.380
リクエストがルールに違反していれば、そこで阻止することが可能です

00:15:29.380 --> 00:15:32.920
同様の確認作業は、回答が従業員に届く前に行うこともできます

00:15:32.920 --> 00:15:35.960
すべての問題が不適切なプロンプトに起因するわけではありません

00:15:35.960 --> 00:15:39.840
モデルが、本来返すべきではない情報を含んだ回答を生成することもあります

00:15:39.840 --> 00:15:43.760
共通の制御ポイントがあれば、企業はその経路を監視し、対策を講じることができます

00:15:43.760 --> 00:15:45.820
同時に、リクエストは記録として残ります

00:15:45.820 --> 00:15:49.120
企業は使用されたトークンを人事アシスタントプロジェクトに関連付けることができます

00:15:49.120 --> 00:15:54.720
どのモデルが質問を処理したか、ツール呼び出しが成功したか、リクエストがブロックされたか、処理にどの程度の時間がかかったかを確認できます

00:15:54.720 --> 00:15:57.360
これにより、サポートやレビューが非常に容易になります

00:15:57.360 --> 00:16:03.200
人事チームから従業員が休暇申請を作成できないという報告があれば、運用チームは失敗したツール呼び出しを探すことができます

00:16:03.200 --> 00:16:07.500
もし安全ルールが正当な質問をブロックしているなら、そのパターンを見つけてポリシーを改善できます

00:16:07.500 --> 00:16:12.360
特定の一つのエージェントが、突然通常よりはるかに多くのAIリソースを消費し始めた場合、その変化を把握できます

00:16:12.360 --> 00:16:18.800
また、特定の休暇申請の前に特別なチェックを追加するなど、ルールを更新する場合も、ゲートウェイのポリシーを一度変更するだけで済みます

00:16:18.800 --> 00:16:25.160
同じ制御経路を使用しているすべての人事アプリ、チャットボット、ワークフローにおいて、個別にコードを更新して待つ必要はありません

00:16:25.160 --> 00:16:33.380
企業が新しいモデル、新しいリージョン、内部ツール、あるいは関連する人事タスクを扱う別のエージェントを追加しても、同じリクエストパターンが機能します

00:16:33.380 --> 00:16:35.500
ただし、最初は小規模から始めましょう

00:16:35.500 --> 00:16:38.740
AIトラフィックが共有され始める段階で、ゲートウェイが役立つようになります

00:16:38.740 --> 00:16:40.260
どこから始めるべきでしょうか?

00:16:40.360 --> 00:16:42.680
では、実際にどこから着手すれば良いのでしょうか?

00:16:42.680 --> 00:16:50.240
まずは、すでにモデルを呼び出しているサポートアシスタントや、人事、財務、社内文書検索のためにチームが計画しているエージェントなど、単一の実際のワークロードから始めてください

00:16:50.240 --> 00:16:52.980
すべてのモデルとツールを一度に扱おうとしないでください

00:16:52.980 --> 00:16:54.760
それは混乱への近道です

00:16:54.760 --> 00:17:01.140
各アプリケーションに直接プロバイダーキーを渡すのではなく、そのワークロードのモデルエンドポイントをAzure App ManagementのAI Gatewayの背後に配置してください

00:17:01.140 --> 00:17:04.080
AIトラフィックのための単一のセキュリティ検問所だと考えてください

00:17:04.080 --> 00:17:05.820
次に、基本設定を行います

00:17:05.820 --> 00:17:07.660
ワークロードの責任者を明確にします

00:17:07.660 --> 00:17:11.160
エントラベースのアクセス制御を使用し、適切なユーザーやサービスのみがアクセスできるようにします

00:17:11.160 --> 00:17:13.880
業務に適したトークン制限を設定し、パフ速をなくします

00:17:13.880 --> 00:17:16.120
ログを有効にして、状況を把握できるようにします

00:17:16.120 --> 00:17:18.700
チームがテスト検証できるコンテンツ安全ルールを一つ追加します

00:17:18.700 --> 00:17:20.180
まずはシンプルに始めましょう

00:17:20.180 --> 00:17:24.480
モデルの経路とアクセス境界が機能したら、承認済みのMCPツールを一つずつ追加します

00:17:24.480 --> 00:17:28.200
各ツールには特定の役割を持たせ、エージェントが使用する理由を明確にします

00:17:28.200 --> 00:17:29.880
不要な機能は追加しません

00:17:29.880 --> 00:17:34.560
そこから、単一の管理されたワークロードを、共有モデルやツール、エージェントへと拡張していきます

00:17:34.560 --> 00:17:41.080
最初の制御点がないと、新しいAIアプリが作られるたびに管理外のデータ経路が増え、AIの請求額も増大します

00:17:41.080 --> 00:17:45.180
次のヒントとして、Azure App Managementの簡単な解説をご覧ください

00:17:45.180 --> 00:17:48.020
それが、Microsoft iGatoへの基盤となっています
