AI guardrails
Concept
Contrôles tels que les invites système, l'exposition restreinte des fonctions et les couches d'autorisation qui limitent ce qu'un utilisateur peut faire faire à un modèle ou à un agent d'IA, afin de prévenir les fuites de données et l'injection de prompts.
Également abordés
Les épisodes consacrés à AI guardrails abordent aussi Agentic SDLC, GitHub Copilot CLI, GitHub Copilot coding agent, Gentle AI, Gentleman Programming et Ralph loop.
Description
Les garde-fous de l'IA sont des contrôles qui limitent ce qu'un utilisateur peut faire faire à un modèle ou à un agent d'IA. Les exemples typiques sont les invites système, l'exposition restreinte des fonctions et les couches d'autorisation. Ils servent à prévenir les fuites de données et l'injection de prompts, et s'inscrivent dans le domaine plus large de la gouvernance de l'IA, qui couvre les politiques et les responsabilités que les garde-fous mettent en pratique au niveau technique.
Le besoin de garde-fous découle de la manière dont les applications alimentées par l'IA sont utilisées. Dans l'épisode de M365.FM « How AI Changed Software Development Forever — Building the Agentic Future with Andre Baltieri [MVP] », l'injection de prompts est décrite comme une nouvelle surface d'attaque. Les utilisateurs peuvent manipuler intentionnellement les prompts, tenter de récupérer des informations en dehors du contexte prévu, consommer les ressources de l'entreprise ou inciter un système d'IA à effectuer des actions que ses concepteurs n'avaient pas anticipées. L'épisode évoque les instructions système, les restrictions au niveau applicatif et l'accès contrôlé comme des moyens d'y répondre.
Un exemple concret de cet épisode concerne l'accès aux données. Plutôt que de donner à un agent un accès illimité à une base de données, les développeurs devraient exposer des fonctions soigneusement contrôlées, ne renvoyant que les informations nécessaires à une tâche précise. Cela est particulièrement important lorsque les agents peuvent lire ou modifier des données d'entreprise, car la couche de fonctions définit alors la limite de ce que l'agent peut voir ou modifier, quelle que soit la saisie de l'utilisateur dans le prompt. En ce sens, un garde-fou n'est pas seulement une instruction textuelle adressée au modèle, mais aussi une limite structurelle sur les outils et les données auxquels le modèle peut accéder.
Les garde-fous apparaissent également dans le contexte du coût et de la responsabilité. L'épisode « How to Build Low-Cost AI Agents in Microsoft Cloud » comprend une section sur les garde-fous de l'IA responsable dans Azure. Il indique que les organisations devraient aligner tous les agents sur leurs politiques de gouvernance internes, isoler les données confidentielles et restreindre l'accès afin que les agents n'utilisent que ce dont ils ont besoin. Il recommande également de standardiser les intégrations de connaissances et d'outils pour réduire les doublons et simplifier la maintenance, et de signaler clairement lorsqu'un agent d'IA intervient dans une interaction. Le même épisode relie la supervision à ce travail, en mentionnant des outils comme Evidently AI pour détecter les schémas de dépenses inhabituels, et recommande de revoir fréquemment la configuration de la supervision afin que les problèmes soient corrigés avant de s'aggraver.
Le volet réglementaire est traité dans « Govern High-Risk Power Platform AI Under the EU AI Act ». Cet épisode revient sur ce qui peut mal tourner lorsque des organisations déploient des copilotes ou des chatbots sans garde-fous de l'IA responsable. Il souligne que les grands modèles de langage modernes sont non déterministes, que l'injection de prompts n'est pas hypothétique, et que de mauvaises sorties peuvent se propager dans les flux de travail métier plus vite qu'une erreur humaine. Il relie ensuite ce sujet au règlement européen sur l'IA et à ses implications pour les créateurs sur Power Platform et Microsoft 365, en particulier pour tout ce qui touche à des domaines comme l'emploi ou le crédit.
Pris ensemble, ces sources décrivent les garde-fous comme des mesures superposées plutôt que comme une fonctionnalité unique. Une invite système fixe le comportement attendu, l'exposition restreinte des fonctions limite ce qu'un agent peut faire des données d'entreprise, les couches d'autorisation contrôlent qui peut accéder à quoi, et les politiques de gouvernance ainsi que la supervision assurent le contrôle. Les décisions relatives aux garde-fous portent généralement sur la manière de restreindre au plus juste l'accès des agents, sur la façon de considérer les saisies des utilisateurs comme potentiellement malveillantes, et sur l'alignement des contrôles techniques avec les politiques internes et la réglementation applicable.
Aperçu compilé avec l'IA à partir des épisodes M365.FM et des informations de cette page. Tu peux l'améliorer avec le bouton de modification ci-dessous.
| Type | Concept |
|---|---|
| Type | Practice |
Questions fréquentes
Les questions marquées IA ont été rédigées avec l'IA à partir des informations de cette page.
Qu'est-ce que les garde-fous de l'IA ? (IA)
Les garde-fous de l'IA sont des contrôles tels que les invites système, l'exposition restreinte des fonctions et les couches d'autorisation qui limitent ce qu'un utilisateur peut faire faire à un modèle ou à un agent d'IA. Ils servent à prévenir les fuites de données et l'injection de prompts.
Comment les garde-fous aident-ils contre l'injection de prompts ? (IA)
L'épisode sur l'avenir agentique décrit l'injection de prompts comme une nouvelle surface d'attaque, où les utilisateurs manipulent les prompts pour récupérer des informations en dehors du contexte prévu. Les instructions système, les restrictions au niveau applicatif et l'accès contrôlé sont présentés comme des moyens de la limiter.
Pourquoi exposer des fonctions contrôlées plutôt qu'un accès direct à la base de données pour un agent ? (IA)
Selon l'épisode avec Andre Baltieri, des fonctions soigneusement contrôlées ne renvoient que les informations nécessaires à une tâche précise. Cela est particulièrement important lorsque les agents peuvent lire ou modifier des données d'entreprise.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: