M365Con 2027 – conférence en ligne gratuite · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Surveillance de sécurité de Copilot : détecter les fuites de données liées à l’IA

By · · Updated

Découvrez comment les équipes SOC peuvent détecter les fuites de données liées à Copilot grâce à des playbooks, des signaux de sécurité, des investigations, des réponses et une gouvernance adaptée.

Automatically translated with AI from the original post. Read the English original

Cover: Fix Microsoft Teams Governance Sprawl with Enforced Decisions

Vous êtes désormais confronté à une situation nouvelle. Les copilotes IA ne ressemblent pas aux applications classiques. Ils analysent les données et prennent des décisions. Parfois, ils vont trop loin. Vous devez savoir distinguer un comportement d’IA normal, risqué ou malveillant. Les plans de lutte contre les logiciels malveillants traditionnels ne suffisent plus face aux fuites de données liées à l’IA. Envisagez de limiter l’usage des données et chiffrer les données, et de définir des règles claires pour l’IA. Veillez à ce que vos outils de sécurité des données et ceux de votre SOC fonctionnent de concert. Vérifiez en permanence les risques. Aujourd’hui, la collaboration et une bonne connaissance de la situation sont essentielles.

Points clés

Pourquoi les alertes d’accès liées à l’IA compliquent le travail des SOC

Kill chain classique et fuites de données liées à l’IA

Vous connaissez peut-être le modèle classique de la kill chain. Il permet de repérer des menaces comme les logiciels malveillants ou l’hameçonnage. Vous recherchez des étapes telles que la livraison, l’exploitation et l’exfiltration. Ce modèle fonctionne bien pour de nombreuses attaques. Or, les fuites de données liées à l’IA ne suivent pas ces étapes. Les copilotes IA peuvent accéder aux fichiers et partager des informations de façons nouvelles. Vous pourriez recevoir une alerte indiquant que Copilot a accédé à un fichier confidentiel. Cela ne ressemble pas à une attaque classique. Vous devez déterminer si la situation est sûre, risquée ou constitue une véritable menace.

Les copilotes IA agissent comme de nouveaux utilisateurs dans votre environnement. Ils peuvent déplacer des données très rapidement. Ils ne laissent pas toujours de traces évidentes d’un problème. Vous ne pouvez pas vous contenter d’une seule alerte : vous devez examiner le contexte, par exemple qui a demandé à Copilot d’accéder au fichier et ce qui s’est passé ensuite. Votre tâche devient ainsi plus complexe. Les anciennes règles ne suffisent plus à elles seules.

Fatigue des analystes : bruit ou menace ?

Le nombre d’alertes peut vite devenir accablant. De nombreuses équipes SOC sont confrontées à la fatigue liée aux alertes. Les avertissements sont si nombreux qu’il devient difficile de repérer les vrais problèmes. Le tableau ci-dessous présente quelques difficultés courantes liées aux alertes d’accès liées à l’IA :

Difficulté

Description

Fatigue liée aux alertes

La charge de travail accrue rend difficile l’identification des menaces significatives parmi les nombreuses alertes.

Complexité des investigations

Les investigations deviennent plus complexes avec les alertes liées à l’IA qu’avec les alertes traditionnelles.

Nécessité d’une réponse plus rapide

Les SOC sont sous pression pour réagir vite tout en garantissant la précision, ce qui est difficile avec les alertes liées à l’IA.

Vous devez aussi travailler plus vite. Les outils d’IA peuvent vous aider à terminer les investigations plus rapidement. De nombreux analystes qui utilisent l’IA obtiennent une meilleure précision et des conclusions plus détaillées que ceux qui procèdent manuellement. Il vous faut néanmoins apprendre à distinguer un usage normal de l’IA des signes de fuites de données liées à l’IA. Cette nouvelle façon de travailler exige de meilleurs outils et des règles claires.

Sur-partage et étiquettes insuffisantes : le véritable risque

Comment une gouvernance des données défaillante favorise les fuites de données liées à l’IA

Une gouvernance des données faible présente de réels dangers. Si vous ne contrôlez pas qui peut utiliser vos données, les outils d’IA risquent de divulguer des informations privées. Des règles insuffisantes et un suivi défaillant multiplient les erreurs. Des fuites de données liées à l’IA peuvent se produire si les fichiers ne sont pas étiquetés correctement ou si trop de personnes peuvent accéder à des dossiers sensibles.

Des cas récents montrent combien ces problèmes peuvent affecter votre organisation. Le tableau ci-dessous recense les différents risques liés à une gouvernance des données insuffisante :

Type de risque

Description

Sécurité des données

Des acteurs malveillants peuvent voler ou dérober les jeux de données utilisés pour l’IA. Cela peut entraîner une perte de données et la fuite de secrets.

Confidentialité des données

L’IA utilise souvent des données privées ou personnelles. Mal traitées, ces données peuvent enfreindre les règles de confidentialité et entraîner des amendes.

Intégrité des données

Des données erronées ou biaisées peuvent conduire l’IA à fournir des réponses fausses ou à présenter des biais.

Provenance des données

Si vous ne savez pas d’où proviennent vos données, il est difficile de les contrôler ou de respecter les règles.

Disponibilité des données

Si vous ne pouvez pas accéder aux données nécessaires, les modèles d’IA risquent de mal fonctionner, voire de s’arrêter.

Vous avez besoin d’une gouvernance des données solide pour protéger vos données. De bonnes règles vous permettent de voir qui utilise vos données et comment les outils d’IA les exploitent. Des étiquettes claires et des règles d’accès claires empêchent les fuites avant qu’elles ne se produisent.

Mauvaise configuration des conteneurs et problèmes d’étiquetage

Vous pensez peut-être que vos fichiers sont en sécurité, mais de mauvais paramètres peuvent poser problème. Si vous laissez « Tout le monde dans l’entreprise » accéder aux dossiers, vous pourriez partager des informations sensibles par erreur. Des étiquettes faibles ou absentes empêchent l’IA de savoir ce qui est privé. Sans un système d’étiquetage simple, vous perdez le contrôle de vos données.

Pour protéger votre groupe, vous devez :

Vous pouvez éviter la plupart des fuites de données liées à l’IA en corrigeant ces problèmes au plus tôt. De bonnes règles et des étiquettes intelligentes protègent vos données et aident votre équipe SOC à réagir rapidement.

Cadre de décision pour les incidents liés à l’IA

Justifiable, excessif ou malveillant ?

Lorsque vous recevez une alerte concernant l’IA, vous devez faire un choix important. Vous devez déterminer si l’action est justifiable, excessive ou malveillante. Ce choix vous indique la marche à suivre et protège vos données.

Vous pouvez utiliser un tableau pour identifier les actions courantes que vous pourriez remarquer :

Catégorie

Description

Injection de prompts et jailbreaks

De mauvaises instructions qui amènent le modèle à agir de façon inappropriée.

Exploitation informatique autonome et détournement d’outils

Utilisation d’outils tels que les calendriers ou les API pour effectuer des actions non prévues.

Menaces multi-agents et au niveau des protocoles

Attaques dans lesquelles plusieurs agents collaborent pour causer davantage de dommages.

Risques liés aux interfaces et à l’environnement

Points faibles dans la manière dont les systèmes d’IA et leur environnement interagissent.

Préoccupations liées à la gouvernance et à l’autonomie

Problèmes survenant lorsqu’il n’existe aucun moyen central de vérifier l’identité ou la fiabilité des systèmes d’IA.

Vous pourriez aussi observer ces actions à risque :

Il est essentiel de détecter ces problèmes au plus tôt. Cela vous permet de stopper les fuites et de protéger votre groupe.

Questions clés de tri pour les SOC

Lorsque vous recevez une alerte, vous devez agir rapidement. Vous devez poser les bonnes questions pour comprendre ce qui s’est passé et savoir quoi faire. Voici quelques questions importantes pour vous aider :

  1. Qui est l’utilisateur ?
    Vérifiez qu’il s’agit bien de la personne concernée. Recherchez des signes indiquant que le compte a été piraté ou utilisé de manière anormale.

  2. Quelle est l’étiquette et quel est son historique ?
    Examinez l’étiquette du fichier. Vérifiez si quelqu’un l’a modifiée avant que l’IA n’accède au fichier.

  3. Où le contenu est-il allé ensuite ?
    Suivez si le fichier a été partagé, envoyé par e-mail ou transféré sur un appareil personnel après l’accès de l’IA.

  4. Cela correspond-il au profil habituel de traitement des données de l’utilisateur ?
    Comparez cette action à ses pratiques habituelles. Surveillez les changements soudains ou les comportements risqués.

  5. L’accès de l’IA a-t-il respecté une stratégie ou enfreint-il une règle ?
    Vérifiez si votre DLP ou vos garde-fous IA auraient dû bloquer cette action.

Astuce : notez toujours vos constats. Cela vous aide à progresser et à former votre équipe.

Ces questions vous permettent de déterminer si l’incident est justifiable, excessif ou malveillant. Cette démarche vous aide à agir rapidement et réduit le risque de fuites de données liées à l’IA.

Corrélation des signaux entre les outils

Pour repérer les fuites de données liées à l’IA, vous devez examiner plus d’un outil. Chacun vous livre une partie de l’histoire. Si vous ne regardez qu’une seule alerte, vous risquez de manquer le tableau d’ensemble. Vous devez corréler les signaux provenant de Purview, de DSPM, de Defender XDR et de l’audit des requêtes (prompt auditing). C’est ce qui vous permet de comprendre ce qui s’est réellement passé.

Purview, DSPM et l’historique des étiquettes

Purview et DSPM vous aident à suivre vos données. Vous pouvez voir où se trouvent vos fichiers, qui peut y accéder et quelles étiquettes ils portent. Si quelqu’un remplace l’étiquette « Hautement confidentiel » par « Général », vous devez le savoir. L’historique des étiquettes vous indique si quelqu’un a tenté de masquer la véritable valeur d’un fichier. Vous pouvez utiliser ces outils pour repérer les modifications à risque avant que les outils d’IA n’accèdent aux données. Lorsque vous croisez les modifications d’étiquettes avec les accès liés à l’IA, vous obtenez un signal clair de problème potentiel.

Defender XDR et audit des requêtes

Defender XDR et l’audit des requêtes vous apportent davantage de détails. Defender XDR surveille les actions suspectes sur vos terminaux, dans le cloud et dans vos systèmes d’identité. Il peut repérer les cas où des outils d’IA agissent d’une manière que vous n’attendez pas. L’audit des requêtes vous permet de voir ce que demandent les utilisateurs et les agents IA, ainsi que les réponses obtenues. Vous pouvez vérifier si quelqu’un a tenté d’obtenir des données sensibles au moyen d’une requête adressée à l’IA.

Voici comment Defender XDR et l’audit des requêtes vous aident :

Rôle de Defender XDR

Rôle de l’audit des requêtes

Corrèle les signaux d’attaque propres à l’IA sur les terminaux, l’identité et le cloud

Surveille et contrôle l’utilisation de données sensibles dans les requêtes et les réponses d’IA

Détecte tôt les usages abusifs de l’IA et les entrées malveillantes

Prévient les fuites de données et garantit la conformité aux stratégies et aux réglementations

Lorsque vous croisez les modifications d’étiquettes, les accès liés à l’IA et les déplacements de données, vous voyez la réalité des faits. Cela vous permet d’arrêter les fuites avant qu’elles ne s’amplifient.

Runbook SOC rapide pour les fuites de données liées à l’IA

Face à une fuite de données potentielle liée à l’IA, vous devez agir rapidement en suivant un plan clair. Ce runbook vous guide étape par étape pour trier, décider et contenir l’incident. Vous pouvez l’utiliser comme liste de contrôle dans les premiers instants d’une alerte.

Les 10 premières minutes : étapes de tri

Vous devez agir vite dès qu’une alerte concerne l’IA et les données sensibles. Les dix premières minutes sont critiques. Voici ce que vous devez faire :

  1. Accusez réception de l’alerte immédiatement.
    N’attendez pas. Assurez-vous de voir et d’enregistrer chaque alerte dès son apparition.

  2. Lancez votre investigation.
    Interrogez-vous sur la signification possible de l’alerte. S’agit-il d’une action normale, d’une erreur ou de quelque chose de malveillant ? Collectez un maximum d’informations.

  3. Rassemblez l’ensemble des données.
    Consultez les journaux de votre SIEM, vérifiez l’activité des terminaux, examinez l’identité des utilisateurs et exploitez les renseignements sur les menaces dont vous disposez. N’attendez pas que quelqu’un d’autre s’en charge.

  4. Effectuez plusieurs vérifications simultanément.
    Vous pourriez recevoir plus d’une alerte. Commencez à examiner chacune d’elles afin de ne rien laisser passer d’important.

Conseil : Notez systématiquement vos constats dès ces premières étapes. De bonnes notes vous aident, vous et votre équipe, à tirer des enseignements de chaque incident.

Arbre de décision et confinement

Une fois vos premières vérifications terminées, vous devez décider de la suite à donner. Utilisez un arbre de décision pour choisir la bonne action. Le tableau ci-dessous montre comment associer les signaux aux actions :

Signal

Vecteur de gravité

Données d’entrée clés

Plan d’action

Usage abusif d’un agent à haut risque

CVSS:9.4/AARS:8.5 ⇒ 8.7

Exploitation élevée ; impact élevé

Mettre le système en quarantaine, révoquer les accès et escalader en priorité absolue

Anomalie dans la chaîne d’approvisionnement

CVSS:9.3/AARS:1.0 ⇒ 5.0

Exploitation moyenne ; impact moyen

Suivre le problème, corriger le système et informer le propriétaire

Vous devez choisir la bonne action en fonction de ce que vous observez. Si vous constatez un usage abusif d’un agent à haut risque, vous devez mettre le système en quarantaine et révoquer tous les accès particuliers. Si vous identifiez un problème dans la chaîne d’approvisionnement, vous devez suivre le problème, le corriger et en informer le propriétaire.

Pour le confinement, vous disposez de plusieurs options pour arrêter la fuite et protéger vos données :

Si vous agissez vite et suivez ces étapes, vous pouvez réduire le risque de fuites de données liées à l’IA et protéger votre organisation.

Garde-fous pour prévenir les fuites de données liées à l’IA

Évaluation du partage excessif et étiquetage

Vous pouvez éviter de nombreux problèmes en amont en vérifiant les partages excessifs et en utilisant des étiquettes claires. Si vous savez qui peut voir chaque fichier et comment il est étiqueté, vous réduisez le risque de fuites de données liées à l’IA. Utilisez des outils qui vous aident à repérer les fichiers ou dossiers accessibles à un trop grand nombre de personnes. Ces outils vous permettent de corriger rapidement les problèmes. Le tableau ci-dessous présente des moyens d’améliorer votre processus :

Méthode/Outil

Description

Custom Data Risk Assessment

Vous aide à repérer les partages excessifs et à les corriger élément par élément.

Étiquetage de confidentialité

Marque les éléments selon leur niveau de sensibilité, afin de contrôler leur partage.

Outils de surveillance

Indique les éléments partagés de manière excessive et vous aide à supprimer les liens risqués.

Vous pouvez aussi utiliser des cartes de découverte pour suivre la circulation des données. L’inventaire des applications vous aide à repérer les applications ou connecteurs à risque. La modélisation des menaces permet de voir où le partage excessif peut causer des problèmes.

DLP et règles de détection adaptées aux risques liés à l’IA

Vous avez besoin de règles spécifiques pour protéger vos données contre les nouveaux risques liés à l’IA. Les outils de prévention de la perte de données (DLP) peuvent analyser ce que l’IA produit ou partage. Ils recherchent les informations privées avant qu’elles ne quittent votre système. Certains outils utilisent une analyse en temps réel, un masquage automatique ou une rédaction pour occulter les données sensibles. Vous pouvez définir des règles personnalisées pour empêcher certains types d’informations d’atteindre les utilisateurs.

Bonne pratique

Description

Cadre de gouvernance des données

Vous aide à gérer la qualité, l’accès et la conformité des données.

Mises à jour régulières des stratégies

Maintient vos règles solides face aux nouvelles menaces.

Confidentialité différentielle

Protège les données personnelles tout en vous permettant de repérer les grandes tendances.

Contrôles d’accès

Garantit que seules les personnes et systèmes autorisés peuvent utiliser vos données.

Surveillance continue

Détecte les problèmes en temps réel.

Contrôles de conformité automatisés

Lance des audits pour vérifier que vous respectez les règles.

Vous pouvez aussi utiliser des validateurs qui analysent les sorties de l’IA afin de détecter les données sensibles. Certains vérifient même la présence de données à caractère personnel (PII) ou de secrets d’entreprise avant de partager les résultats.

Gouvernance et taxonomie des étiquettes

Une bonne gouvernance et un système d’étiquettes clair vous permettent de garder le contrôle. Lorsque vous utilisez un cadre structuré, vous vous assurez que vos données sont sûres et exactes. Vous pouvez suivre des normes comme les principes FAIR ou DMBOK pour guider votre travail. Ces cadres vous aident à gérer les données, à les sécuriser et à respecter les règles de confidentialité.

L’IA peut vous aider à mieux gérer vos données. Elle peut repérer les problèmes et vous aider à les corriger rapidement. Vous devez répartir correctement vos données pour éviter les fuites pendant l’entraînement. Par exemple, utilisez des découpages temporels pour les dates, ou regroupez les données par utilisateur. Effectuez toujours le découpage après avoir terminé toute modification, afin d’éviter les erreurs.

Astuce : un système d’étiquettes simple, accompagné de règles claires, permet à chacun de suivre plus facilement les bonnes pratiques et d’éviter les fuites.

Indicateurs et parties prenantes

OKR clés pour les fuites de données liées à l’IA

Vous avez besoin d’objectifs clairs pour savoir si vous enrayez les fuites de données liées à l’IA. Ces objectifs montrent ce qui fonctionne et ce qui doit être corrigé. Les OKR, ou objectifs et résultats clés, vous aident à suivre votre travail. Voici quelques exemples que vous pouvez utiliser :

Objectif

Exemple de résultat clé

Réduire le partage excessif de données sensibles

Diminuer de 50 % le nombre de fichiers partagés de manière excessive en 3 mois

Améliorer la couverture d’étiquetage

Atteindre 95 % d’étiquetage sur tous les conteneurs de données à haut risque

Accélérer la réponse aux incidents

Réduire à 10 minutes le temps de réponse moyen aux fuites de données liées à l’IA

Améliorer la qualité des preuves

Collecter l’intégralité des journaux de prompts et de sorties pour 100 % des incidents

Vous devriez vérifier ces OKR régulièrement. Suivre votre progression vous aide à repérer les problèmes tôt et à faire de meilleurs choix.

Astuce : partagez vos OKR avec votre équipe. Cela aide tout le monde à travailler ensemble sur les mêmes objectifs.

Rôles dans la sécurité et la gouvernance

Vous avez besoin des bonnes personnes pour stopper les fuites de données liées à l’IA. De nombreuses équipes doivent contribuer à la protection de vos données. Chaque groupe a un rôle particulier à jouer :

Lorsque tous ces groupes collaborent, vous bâtissez une défense solide contre les fuites de données liées à l’IA. Chacun connaît son rôle et travaille vers le même objectif.

Perspectives d’avenir pour les SOC et l’IA

Tendances en matière de sécurité de l’IA

La sécurité de l’IA va beaucoup évoluer prochainement. Les attaquants utilisent désormais l’IA pour concevoir des menaces plus intelligentes. Les rançongiciels gagnent en sophistication, il faut donc se méfier des nouvelles techniques. Les obligations réglementaires se multiplient, il faut donc rester attentif.

Voici quelques tendances à connaître :

Restez curieux et continuez à vous former. Ces tendances vont transformer la manière dont vous protégez vos données.

Se préparer aux risques de l’IA de nouvelle génération

Vous pouvez vous préparer aux nouveaux risques liés à l’IA en mettant à jour vos outils et votre façon de penser. Commencez par recourir à l’IA à chaque étape de la détection des menaces et de la réponse. Utilisez l’IA pour repérer des schémas anormaux dans vos données de sécurité. Les réponses automatisées vous permettent d’agir rapidement en cas de problème. La veille sur les menaces prédictive vous permet de repérer les attaques avant qu’elles ne se produisent. Les systèmes d’apprentissage adaptatif s’améliorent avec le temps, ce qui maintient la solidité de vos défenses.

Suivez ces étapes pour vous préparer :

  1. Organisez des ateliers pour identifier les risques de vos systèmes et en discuter.

  2. Évaluez la probabilité de chaque risque et l’ampleur des dommages qu’il pourrait causer.

  3. Définissez le niveau de risque que vous pouvez accepter et choisissez les meilleurs moyens de le réduire.

  4. Continuez à contrôler vos systèmes et mettez à jour vos plans au fur et à mesure de l’évolution des outils d’IA.

Concilier innovation et sécurité demande un travail d’équipe. Une bonne gouvernance relie toutes les parties de votre système d’IA et responsabilise chacun. Les responsables de la sécurité définissent les contrôles et favorisent la collaboration entre les équipes. Un comité de pilotage de l’IA peut guider votre plan et veiller au respect des règles. Des espaces de test sécurisés vous permettent d’essayer de nouvelles idées sans risquer vos systèmes principaux. Des rapports réguliers tiennent chacun informé et aident à faire des choix éclairés.

Aspect clé

Description

Gouvernance

Relie toutes les parties de votre système d’IA et maintient chacun sur la bonne voie.

Rôle des responsables de la sécurité

Définir les contrôles et aider les équipes à aligner leurs stratégies d’IA.

Environnements d’expérimentation sécurisés

Permettent de tester de nouvelles idées en toute sécurité et de respecter les règles de l’entreprise.

Transparence et reporting

Partager régulièrement les mises à jour pour tenir chacun informé et favoriser de bonnes décisions.

En restant vigilants et en travaillant ensemble, vous pouvez aborder l’avenir de la sécurité de l’IA avec confiance.

Vos fuites de données liées à l'IA viennent surtout d'une gestion insuffisante de vos données et d'étiquettes peu robustes. Le problème ne vient pas vraiment des copilotes IA. Selon des études, 68 % des fuites surviennent lorsque des informations privées sont transmises à des outils d'IA. Par ailleurs, 60 % des incidents liés à l'IA aboutissent à une fuite de données.

Description

Pourcentage

Fuites de données à partir d'informations sensibles dans l'IA

68%

Incidents liés à l'IA entraînant une compromission de données

60%

Vous pouvez y remédier en définissant des règles strictes et en travaillant en équipe. Commencez par configurer des étiquettes par défaut pour vos fichiers. Ajoutez ensuite des règles DLP compatibles avec l'IA. Activez l'audit des requêtes pour surveiller les actions de l'IA. Essayez un sprint d'une heure pour mettre en place ces étapes. Continuez à vous former et à adapter vos défenses à mesure que les menaces liées à l'IA évoluent.

Questions fréquentes

Qu'est-ce qu'une « fuite de données Copilot » ?

Une fuite de données Copilot se produit lorsque des copilotes IA accèdent à des données sensibles censées rester privées, ou les partagent. Cela peut arriver si les fichiers portent des étiquettes peu robustes ou si trop de personnes peuvent les consulter.

Comment savoir qu'une action de l'IA est risquée ?

Vérifiez qui a demandé à l'IA d'accéder aux données, quelle étiquette portait le fichier et où les données sont allées ensuite. Surveillez les modifications d'étiquettes, les comportements inhabituels des utilisateurs et les fichiers envoyés hors de votre entreprise.

Quels outils permettent de détecter les fuites de données liées à l'IA ?

Astuce : utilisez ces outils ensemble pour obtenir les meilleurs résultats.

Comment empêcher l'IA de divulguer des données sensibles ?

Vous pouvez définir des étiquettes robustes, limiter le nombre de personnes autorisées à voir les fichiers et utiliser des règles DLP qui empêchent l'IA de lire les données « Hautement confidentiel ». Activez l'audit des requêtes pour surveiller les actions de l'IA.

Qui doit participer à la gestion des risques liés aux données de l'IA ?

Rôle

Responsabilité

Analystes SOC

Détecter les fuites et y répondre

Gouvernance des données

Définir et vérifier les règles relatives aux données

Administrateurs IT

Corriger les problèmes d'accès et d'étiquetage

Tout le monde doit travailler ensemble pour garder les données s


Écoutez aussi

Si vous vous intéressez à la surveillance de sécurité de Copilot, ces épisodes apportent un éclairage pratique sur la mise en œuvre, l'architecture, la sécurité et la gouvernance :

Compliance

Related articles

RSS