コパイロットの問題は実際には機能の問題ではありません それはその背後にあるモデルに対する信頼の問題です多くのチームは安全性とはプロンプトや権限設定そしてエッジでのいくつかのフィルタで確保できると考えています しかし重要なのは攻撃者はプロンプトを打ち破る必要はなくその周囲のコンテキストを汚染するだけで十分でありそこから崩壊が始まるということです 基本的なフィルタで明らかな不要データは防げますがメールやシェアポイントのファイルフォームのフィールドに隠されたペイロードは見逃されます こうした取得されたコンテンツはコパイロットがそれを取り込み直接的な指示として扱うまで静かに潜伏しています マイクロソフト365コパイロットのエコーリークやコパイロットスタジオのシェアリークで私たちはすでにその予兆を目にしています そして現実にはパッチを適用してもこのパターンは終わりませんでしたコパイロットはマイクロソフト365環境全体を検索 ようやく実行できるため一度の悪意ある命令が急速に拡散する可能性がありますつまりこれはスタックにダッシュボードを追加する話ではなく アジュールロジックアップスを導入しコパイロットが実行される前に悪意あるペイロードを検査評価ブロックする経路を作ることなのです 真の危険はプロンプトではなくアーキテクチャにあります旧来のモデルはモデルの周囲により良い指示を書くことでシステムを安全に保てるという前提に基づいています 強力なシステムプロンプトを与え区切り文字を加えユーザーにやってはいけないことを伝えるといった方法です理屈ではもっともですが実際にはモデルはセキュリティシステムのような信頼の境界を強制しません 指示とデータが同じチャンネルで混在し注意を奪い合っているからですその前提こそが欠陥なのです モデルがユーザーによる助けを求める言葉と事前の指示を無視するよう静かに促す文章を確実に見分けられないのであれば制御ポイントをプロンプト層だけに置くことはできません あなたはエッジで動作を保護しようとしていますが実際のリスクはモデルに流れ込むコンテキストの中に存在しています検索を対応するコパイロットワークロードが登場したことで多くのチームがこの事実に気づきました コパイロットがマイクロソフトグラフのメールファイルチャット履歴から情報の取得を開始した瞬間攻撃対象領域は完全に変化します もはや会話を保護するだけでなく信頼度の異なる入力が混在するライブストリームを保護しなければならないのですさらに一歩踏み込むとコパイロットは影響範囲を拡大させます 単に質問に答えるだけでなく情報を取得し要約し参照元を追跡するからです設定によってはツールやワークフローをトリガーすることさえあります そのため信頼できないコンテンツがその連鎖に入り込むとモデルはその影響を機密性の高いアクションにまで持ち込んでしまう可能性があります だからこそ今間接的なプロンプとインジェクションが非常に重要視されているのです本番システムにおいて一般的な攻撃は常にユーザーがチャットボックスにルールを無視せよと打ち込むようなものとは限りませんより危険なバージョンは取得されたコンテンツ内に潜んでおり誰かが気づくまでに数週間かかることもあります一見無害に見える文書メールホーム入力であっても実際にはモデルに向けた指示が含まれている可能性があります後でコパイロットがそのコンテンツを関連コンテキストとして取得し信頼できる資料と混ぜ合わせることでモデルは誤った指示に従ってしまいます攻撃の連鎖は単純でだからこそ危険なのです まず攻撃者がコパイロットの到達範囲内にコンテンツを仕込み取得プロセスでそれがセッションに取り込まれモデルがペイロードをデータではなく指示として扱いますその後機密情報の準備や回答の誘導あるいはリンクやツール利用を通じたデータ流出へと進む可能性がありますリーダーにとってこれは単なるAI衛生管理の問題ではなくアクセスガバナンスに直結するランタイム制御の問題ですコパイロットがテナント全体に広くアクセスできモデルが厳格な分離なしに信頼性の異なるコンテキストを扱う場合実行前にフローに入るものを精査するセキュリティモデルが必要ですその本質が見えれば解決策も変わります完璧なプロンプトにこだわるのをやめコンテキストが移動する場所に強制力のある対策を講じるのですなぜ基本的な防御策が本番環境で通用しないのか多くのチームが最初から根本的な間違いを犯しています長年アプリ開発で使ってきたセキュリティ対策がコパイロットにもそのまま通用すると思い込んでいるのですより強力なシステムプロンプトを書きユーザー入力を特殊文字で囲みガイドラインを公表すれば安心してしまうのですそれらの対策が悪いとは言いませんしやめるべきだとも言いませんが真のセキュリティ協会を形成するものではありませんそれらは単にモデルを説得しようとしているだけでありセキュリティの世界では説得は強制とは異なるのですそこに大きな隔たりがありますシステムプロンプトはモデルへの推奨事項に過ぎず悪意のあるファイルがワークスペースに取り込まれた時にモデルの注意を奪うことを防ぐことはできません区切り文字でテキストを構造化してもモデルにセキュリティクリアランスを確認させることはできません従業員向けガイドラインは単純ミスを防ぐには有効ですが取得データに潜む悪意のある文書やペイロードには全く無力ですその管理策は提案レベルのものであり実行時に機能する厳格なルールではないからですリージェックス正規表現も同様の問題を抱えています高速で低コストなため最初の足切りとして使うフンには価値がありますユーザーが以前の指示を全て無視せよと入力した場合システムは数ミリ秒でそれを検知すべきですまた明らかなプライバシー回避フレーズやツール引数に含まれるSQL形式の文字をフラグ立てするのにも使えますその部分はうまく機能しますが正規表現はあらかじめ定義したパターンしか認識できないため言い回しが少し変わったり特定の単語ではなく意味に基づいた攻撃が行われたりすると失敗しますそのため分類レイヤーが必要なのですAzure iContent Safetyには直接的及び間接的なプロンプトインジェクション攻撃の両方を検出できるプロンプトシールドがありますロジックアプリではモデルがプロンプトを確認する前にAPIを呼び出してチェックし攻撃が検出された場合にワークフローの経路を変更することができますこれはプロンプトとドキュメント全体を通して単語の背後にある意図を探るため単純な文字列一致よりもはるかに強力な制御となりますそれでも検出だけでは不十分ですリスクを見つけてもそれを阻止する方法がなければ意味がないからですセキュリティチームはプロセスのこの特定の側面を過小評価しがちですログファイルの警告は封じ込めではなく見た目の良いダッシュボードのタイルも同様ですたとえCM設定管理で優先度の高いアラートが出てもペイロードがすでにコパイロットを通過しダウンストリームシステムでアクションをトリガーしてしまえばそれは失敗です事後の状況確認は調査には役立ちますが攻撃が数秒で発生する場合それだけでは不十分です組織がすでに信頼しているシステム内部で行動を起こせるモデルを扱っているのです多くの製品マーケティングが無視している議員制の問題もあります間接的な攻撃は現実世界で見逃される検出の大部分を占めています危険な指示はモデルがそれを会話の残りと組み合わせるまで完全に正常に見えるからです人間が出力を確認して何かがおかしいと気づく頃には悪意のある入力はその仕事を終えてしまっていますここでの実際的なミスは非常に単純ですチームはコパイロットの発言を監視することに全ての時間を費やしていますが何を入力させるかについては同じレベルの規律で制御していません彼らは生成された後の回答を精査する一方で作業が始まる前に信頼できない素材が流れ込むのを許していますその順序は完全に逆ですその欠陥に気づくとセキュリティ戦略の目標全体が変わりますより安全なプロンプトの書き方を問うことをやめモデルが実行される前にどこでデータを傍受できるかを問い始めるのですそれがロジックアプリファイアオールモデルです傍受が目標であればその制御が実際にはどのようなものになるのかを見る必要があります実行フェーズの前に配置されるポリシーレイヤーとしてAzure Logic Appsを使用すべきですそれは被害が発生した後にレポートを送信するような受動的なツールであってはなりませんユーザー入力と取得データが通る経路に直接配置しモデルが動き出す前にそれらを検査できるようにする必要がありますこの転換はロジックアップスがオーケストレーションのために構築されているため非常に強力なのです特定のイベントをトリガーとして他のAPIを呼び出し複雑な条件に基づいて意思決定を行うことができますカスタムのセキュリティゲートウェイをゼロから構築することなくデータのルーティングやマイクロソフトセンチネルへのアラート送信外部情報によるプロセスの強化が可能ですここではコパイロットを置き換えようとしているわけではありませんその周辺のフローに制御のレイヤーを挿入しているだけですこのモデルの背後にあるロジックは意図的にシンプルにしていますまずプロセスをトリガーし次にデータを正規化しますそれを検査しリスクをスコアリングして判断を下し最後に結果をルーティングまたは記録しますパターンはこれで全てですリクエストやコンテンツがワークフローに入るとロジックアップがそのペイロードを取り込み標準化しますコネクタごとにデータの扱い方が異なるため生の入力データは通常整理されていませんメールとフォーム入力では見た目が異なりファイルの内容やツールの引数もそれぞれ異なるメタデータやフィールドを持っていますデータを正規化する前に検査を実行しようとすると検出システムは非常にノイズの多いものになってしまいます低ロードが一貫した形式にフラット化されたら最初の検査パスが始まりますここがカスタム正規表現がまだ役割を果たす場所です最終的な判断を下すものや魔法の解決策ではありませんがシステムのエッジで非常に高速なフィルターとして機能します基地のオーバーライド言語、エンコードのヒントまたはツールパラメータ内の不審なパターンを素早くスキャンし状況を即座にトリアージできます次に2回目の検査パスに進みますここではコンテンツをさらに深く調べますここでAzure iContent Safetyのプロンプトシールドを呼び出しますロジックアップはユーザープロンプトと取得したドキュメントをAPIに送信し攻撃が検出されたかどうかに基づいて処理を分岐させますプロンプトインジェクションは必ずしも一目でわかるコンピューターコードのように見えるとは限らないためこれが重要になりますプロンプトとドキュメントを単一のユニットとして評価した時に初めて危険性が明らかになることもあるからですこれを単なるフィルターから真のセキュリティ制御へと変えるもう一つのレイヤーそれが脅威インテリジェンスですもしコンテンツが基地の悪意のあるドメインやチームが依然確認した不審なURLを参照しているなら判断を変えるべきですロジックアップスはディフェンダー脅威インテリジェンスや他のサードパーティフィードとイベントを称号しリスクに信頼スコアを付加できますつまり信頼できるソースからの奇妙なパターンは許可される可能性がありますが同じパターンでも悪意ある評判スコアが伴えば即座にブロックされますこれにより意思決定ツリーは単なるはいかいいえの選択以上のものになりますリスクスコアが低ければリクエストを許可しそうでなければ安全でない断片を除去してサニタイズすることができますソースに手動確認が必要な場合はデータを隔離するという選択肢もあります機密データが関わる操作であれば処理を進める前に人の承認を必須にすることも可能ですもちろんシグナルが十分に強力な場合はリクエストを単純にブロックしてアラートを発信しますこの幅広い選択肢こそがこのモデルをビジネスで機能させるための鍵となります少しでも不確実に見えるケースをすべて拒否するとセキュリティチームが導入を阻害してしまい統制が厳しすぎると人々はそれを回避する方法を見つけてしまいますスコアベースのワークフローならパニックに陥ることなく実際のリスクに基づいて対応する余地が生まれますこれこそがバラバラなツールの寄せ集めよりもロジックアップスが適している理由ですすでにマイクロソフトエコシステム全体と接続されておりセンチネルプレイブックとも完璧に連携しますコンテンツの安全性チェックや脅威データの検索監査イベントのプッシュをすべて一元的に行えます攻撃者が表現を変えたり新しい侵入経路が出現したりするたびに長い開発サイクルを回す必要はありませんこれを機能させるためのルールは非常にシンプルですあらゆるコンテキストをスコアリングされるまでは信頼できないものとして扱う必要がありますそれはユーザーのプロンプトだけでなくメール本文アップロードされたファイルシェアポイントのホームフィールドも同様ですコネクタのペイロード取得したドキュメントのチャンクさらにはツールの引数も含まれますそのすべてをチェックしなければなりませんどれか一つのソースをデフォルトで安全だと想定した瞬間に攻撃者が利用できる新たな隙が生まれますワークフローでこのルールを一貫して強制すればコパイロットが単独で良質なデータと悪質なデータを分別することに頼る必要はなくなりますプロセスは管理されたエントリーシステムへと変わります理論としては理想的に聞こえますが現実世界で危険なペイロードが実際にワークフローに到達したとき何が起こるかが重要ですシステム稼働時のランタイムにおいてワークフローは単にテキストをスキャンするだけでなく決定を下す前にリクエストの全容を把握しますフォーム送信、メールフロー、コパイロットプロセスに紐づくファイルアップロードなどのイベントがイングレスポイントに到達するとロジックアップスは即座にメタデータでそのイベントをラップします誰がリクエストを送信し、どのアプリがそれに触れ、ファイルがどこから発生し次にシステムが何をしようとしているのかを追跡しますこの追加のコンテキストは同じ文章でもその主書によって意味が全く異なる可能性があるため非常に重要ですデータが取得されるとペイロードは特定の信頼ゾーンに分割されますこの分離を明確に保つ必要がありますユーザーのプロンプト、取得されたドキュメント、そして会話履歴やツールパラメータはそれぞれ別の場所に格納しますこれらをあまりに早い段階で混在させてしまうと危険な指示がどこから始まったのかを特定できなくなり検証プロセスは完全な推測頼みになってしまいます多くのチームが全てを統合する方が早いと感じてこのステップを飛ばしますが実際には辿るべき道筋を隠しているにすぎません次にワークフローは正規化のフェーズに移りますこれは退屈な作業ですが検出機能を実際に使い物にするために欠かせないプロセスですノイズとなるマークアップを取り除きURLエンコードやベース64形式をデコードしネストされたフィールドをフラット化することで安定した形式で検査を行えるようにしますあるコネクタがリッチテキストを送信し別のコネクタがJSONフラグメントを送信する場合それらをすべて一貫して読み取れるフィールドに集約する必要がありますこれを行わないとロジックは実際の攻撃を見つけることよりも形式のフィッチへの対応に多くの時間を費やすことになりますデータがクリーンになったらまずは高速なパターンマッチングを実行しますこれは低コストで直接的かつ迅速に行う必要があります以前の指示をすべて無視せよやシステムオーバーライドのバリエーションなどシステムの動作を上書きしようとするフレーズを探しますまた機密情報の開示やシークレットのダンププライバシー設定のバイパスを求めるような抽出を試みる言語も探しますロジックアップスでは単一のヒットで即座にリクエストをブロックするのではなく式や構成ステップを通じてフラグを設定することで対応するのが一般的です単一のフレーズが必ずしも悪意ある行動を意味するとは限らないためこのフラグ立てが重要になります正当なセキュリティワークフローに従事する担当者が機密コンテンツの取り扱いの確認を求めているだけである可能性もあるからですこれを解決するためワークフローはより詳細な分析を行うためにAzure iContent Safetyのプロンプトシールドへペイロードを送信しますAPI呼び出しにはユーザープロンプトと取得されたドキュメントの両方が含まれます両者の関係性の中にこそ真の問題が潜んでいることが多いからですサービスは単純なシグナルを返します攻撃が検出された場合ワークフローはモデルを呼び出す前にルートを切り替えます次に外部のコンテキストを追加する必要があります脅威インテリジェンスの検索はワークフローに別の視点を与えてくれますマイクロソフトディフェンダー脅威インテリジェンスや信頼できるTAXIIソースをクエリし悪用に関連するドメインURLソースインジケーターをチェックできます信頼スコアが利用可能な場合はそれを取り込むべきですソースの評価は最終スコアに反映させるべきであり全面的に置き換えるべきではないからですリスクの高いソースからの弱いペイロードは十分に把握された内部プロセスからの同じペイロードよりも常に高く評価されるべきです最後にシステムは複合スコアを構築しますパターン一致の強度、プロンプトシールドの結果、ソースの評価、そして要求されたアクションの機密性を考慮します公開記事の要約といった低リスクな要求は保護されたファイルを漏洩させる可能性のある要求と同じ重みではありませんこの統合スコアが分岐を決定付けますクリーンなイベントは予定通り実行されます中リスクのケースはサニタイズされるか安全な代替手段へとルーティングされますそして高リスクのケースはコパイロットが実行される前にブロックされます全ては決定経路が保存された監査証跡に書き込まれますこれらのブロックされたイベントによってどこに負荷がかかっているかどのソースが問題を引き起こし続けているかがわかりますビジネスワークフローにどのようなパターンが入り込んでいるかを確認すれば次回のシステム調整に必要なデータが得られますノイズを抑え実際のビジネス用途に合わせるための調整方法システムが稼働すると作業の性質が変わりますフローの構築自体はむしろ簡単な作業です人々がシステムを信頼し回避策を探そうとしないように調整することこそがこれが真のセキュリティ対策になるか単なる失敗した実験に終わるかを決定しますシステムが過度な摩擦を生むとユーザーは簡単に回避策を見つけてしまいプロジェクト全体が無意味になりますまずは範囲を絞るべきです初日からコパイロットのすべてのタッチポイントを監視しようとしないでくださいその代わりにツールを使用したアクションや高価値なデータソースなどリスクが最も高く道筋が明確な場所を選んでくださいシェアポイントベースのプロセスや特定のホームワークフローから始めて読み取れるシグナルを得るのが良いでしょう範囲を小さくすることでデータに溺れることなく学習する余裕が生まれます初期チェックを設定する際は絶対的な確実性よりも再現性を重視して拒否設定を調整してください最初のパスは疑わしい言語を早期に検知するためのものであり合理的な疑いを超えて悪意を証明するためのものではありませんパターンを完璧にしようとするとシステムは脆くなり本来ケアすべき対象を見逃すようになります最初は少しフラグを立てすぎたとしてもその後のチェックでコンテキストを追加してノイズを減らす方が効果的ですこれが単一のヒットよりもスコアリングが重要な理由ですフレーズ一致だけで要求を常に拒否すべきではありませんがその一致とプロンプトシールドのフラグそして危険なソースが組み合わされれば状況は一変します弱いシグナルは積み重ねるべきであり強いシグナルはブロックを加速させるべきですこれこそが硬直的で煩わしいフィルターとビジネスに真に役立つポリシーモデルとの根本的な違いですまた5検知の上限を設定する必要があります2%未満に抑えるよう努めてください制御が通常業務を妨げていると感じた途端ユーザーはシステムを信頼しなくなりますそうなると回避策が始まりますユーザーは管理外のツールにテキストをコピーしチームは隠れたフローを構築し管理者は一括除外を要求し始めるでしょう制御は内部から崩壊します検知が失敗したからではなく摩擦が許容範囲を超えてしまうからですこれを防ぐには適切な指標を監視する必要があります見栄えだけのダッシュボードは忘れ平均検知時間に注目してください手動レビューが必要なものについてはこれを15分未満に抑えるのが理想ですまた自動化された封じ込め時間も追跡し安全にブロックできる場合は5分未満を目指すべきですワークフローが常に起動しても意思決定に影響を与えないならそれは単なるノイズですコストもまた絶えず調整が必要な要素です重量課金制のロジックアプリは実行した分だけ支払えば良いため突発的な負荷や小規模なパイロット運用に最適ですしかしイベント量が予測可能になり実行ごとのコストが負担になってきたら標準プランの方が合理的です憶測で判断しないでください料金モデルを決定する前に実際のトリガー数とペイロードサイズを測定しましょうストレージの扱いには注意が必要ですインシデントレビューやガバナンスの証拠には十分な実行履歴が必要ですが機密情報が詰まった巨大なデータベースは不要です決定理由を説明する特定のフィールドは残し保持リスクとなる不要なデータは削除してください不要意にデータを保存しすぎるとセキュリティツールがプライバシー上の負債になりかねません最後にこれらすべての調整をより広範なガバナンスに結びつけましょうワークフローをNISTAやRMFの測定や管理機能にマッピングしパービューのデータ感ドラベルと関連付けてください最善の解決策はよりスマートな検知機ではなく問題になる前にワークフローから不要なアクセス範囲を単純に削除することですその段階に到達すればもはやAIの安全性を抽象的に議論しているだけではありませんビジネスとして実際に管理可能な敷地とトレードオフを備えた現実的な運用モデルを実行しているのですリーダーやアーキテクトにとって何が変わるのでしょうかこれを導入すればコパイロットは盲目的に信頼するシステムではなくなりそこに真の変化が生まれますこの変更前モデルは混在したコンテキストを受け取るだけでチームは正しい指示が優先されることを願うしかありませんでした今ではモデルが触れる前にそのコンテキストがスクリーニングスコアリングルーティングされますセキュリティの成果はもはや抽象的な方針ではなく制御された実行として機能しますアーキテクトにとってこれは設計におけるセキュリティの所在を変えることになりますそれはもはやテナント設定や権限プロンプトテンプレート内に止まるものではなく取引の経路そのものに直接組み込まれます重要なリクエストにはすべて防受ポイントが設けられ機密性の高い操作はすべて特定の決定経路に従うようになりますつまり新しいコネクタ、エージェント、プラグインは単なる生産性向上機能ではなく入力経路として評価すべき対象となるのですアーキテクチャの乖離は往々にしてこうしたプログラムが失敗する原因となるためこれは極めて重要ですあるチームが単一のユースケースでコパイロットを展開し別のチームがホームを接続しやがて誰かがワークフローを追加したりエージェントにツールアクセス権を与えたりします個々の変更は小さく見えますがそれらが組み合わさることで当初の想定を遥かに超える巨大な攻撃経路が生まれます運用モデルに防受の仕組みを組み込まなければ環境はコントロールが追いつかないほどの速さで拡大してしまいますセキュリティリーダーにとってこのアプローチは多くの組織を悩ませてきた厄介な責任の所在という問題を最終的に解決するものです現在コパイロットのリスクは多くの場合各チーム間の隙間に埋もれてしまっていますSoCはアラートを確認しマイクロソフト365管理者は設定を見守りAIオーナーは導入状況だけを気にしていますロジックアップスの制御経路を使用すればこれらのグループすべてが単一の対応モデルに基づいて連携できるようになります同じイベントトレイル同じスコアリングロジック同じブランチ履歴を使うことで本番環境で危険なプロンプトや有害なドキュメントが発生した際の混乱を大幅に軽減できますビジネス面での影響は人々が考えるよりも遥かに直接的なものです脅威を早期にブロックすることは後から事後対応で解消するよりも常に低コストです事後対応には調査ホームレビューユーザーへの影響が伴い多くの場合本来導入前に済ませるべきだった面倒なアクセス権の見直しで終わることになりますリーダー層はAI倫理の長い講義を必要としません彼らにとって重要なのは管理されていないリスクを日常業務システムに蔓延させるよりもランタイム制御の方がコストを抑えられると理解することです経営層にとってこれはリスクがどこに存在するのかという不都合な真実を突きつけるものですAIのリスクはもはやサンドボックスや実験室の中にはなくワード、アウトルック、シェアポイント、そしてチームの中に存在しています人々はこれらの場所が十分に安全だと信じて高速に業務を進めていますがその借り物の信頼こそが企業のリスクを増大させているのです実験的なアプリでの不適切なワークフローは限定的な問題ですが日々の業務スタック内での不適切なワークフローは全く別次元の話となります展開の道のりは小さく非常に慎重なものにすべきですまずは一つのユースケース、一つのトリガー、そして一つのスコアリングモデルから始めましょうデータが真に重要であり、その振る舞いを監視しやすい経路を選んでくださいワークフローが危険な入力を補足し、安全なものを適切に振り分けレビューが必要な場合に人間に有用な情報を提供できることを証明する必要がありますそれが機能すると証明できれば拡張を開始できますその後、必要に応じて異常検知や出力制御を追加できますツールの悪用に対する詳細な監視も追加できますが最初のゲートは必ず信頼できないコンテキストがシステムに入る場所に設置してください最初のゲートが脆弱なままだと、後から追加する制御はすべて出発点の悪さを補うだけのものになってしまいますここでの転換は実際には非常にシンプルですプロンプとインジェクションを単なる言葉の表現の問題として扱うのをやめコパイロット内を流れる信頼できないコンテキストに対する実行時制御として扱うのです今週、コパイロットのワークフローを一つ最初から最後までマッピングする時間を取ってください実行前の最後の安全な介入ポイントを見つけその特定の経路をスコアリング、ブロック、ログ記録するロジックアプリを一つ構築してください不要な情報を省いたコパイロットセキュリティの詳細が必要な方はチャンネル登録とレビューをお願いしますまた、リンクトインで私、ミルコピーターズまで連絡しあなたが保護しようとしているテナントの具体的なシナリオを教えてください