Comment tester les agents IA et les extensions Copilot de manière reproductible
Par Mirko Peters · · Mis à jour
Comment tester les agents IA de façon reproductible : constituer un jeu de tests, choisir les évaluateurs, noter les appels d’outils et suivre les régressions, avec un exemple Copilot Studio destiné aux responsables QA.
Traduit automatiquement par IA à partir de l'article original. Lire l'original en anglais
Comment tester les agents IA est une question pratique pour tout responsable QA à qui l’on demande d’en valider un : une même entrée peut produire des réponses différentes, si bien que l’ancienne habitude consistant à comparer la sortie à une valeur attendue unique ne fonctionne plus. Ce guide s’adresse aux responsables QA qui ont besoin d’une méthode reproductible pour les agents construits avec Copilot Studio ou d’autres outils. Vous y découvrirez ce qui rend les agents difficiles à tester, une approche en couches, la manière de constituer un jeu de tests, les évaluateurs à utiliser et la façon de garder des résultats comparables dans le temps. Un exemple chiffré, avec des données fictives, montre une petite équipe qui met l’ensemble en pratique.
Points clés
- Un agent IA donne des réponses différentes à une même entrée : tester de façon reproductible consiste donc à évaluer selon des critères et des seuils convenus, plutôt qu’à rechercher une chaîne de caractères exacte.
- Répartissez les tests d’agents en couches : des tests unitaires classiques pour le routage et l’analyse syntaxique, une évaluation de la qualité de la sortie du modèle de langage, et des scénarios de bout en bout pour les flux en plusieurs étapes.
- Un bon jeu de tests commence petit, couvre les tâches réelles des utilisateurs, les défaillances connues, les cas limites et les comportements à haut risque, et il est conservé sous contrôle de version à côté des prompts.
- Vérifiez le chemin emprunté, et pas seulement la réponse : une réponse d’apparence correcte qui a omis un appel d’outil obligatoire reste un échec.
- Exécutez chaque cas plusieurs fois, comparez les taux d’échec à une référence, et traitez les cas qui doivent impérativement réussir ainsi que les actions interdites comme des critères bloquants.
Ce qui rend les agents IA difficiles à tester
Une application classique se comporte de manière prévisible : une même entrée mène au même résultat. Un agent IA repose sur un grand modèle de langage : ses réponses varient, et il décide aussi quels outils appeler et dans quel ordre. Il y a donc deux éléments à vérifier : la réponse finale et le chemin suivi pour l’atteindre.
Les modèles de langage peuvent halluciner, c’est-à-dire affirmer avec assurance des faits erronés ; chaque système d’IA que vous mettez en production doit donc être contrôlé sur ce point. Le risque augmente avec les flux de travail agentiques, dans lesquels un agent IA appelle une API, lit un fichier ou modifie un enregistrement pour le compte de l’utilisateur. Tester un tel agent IA ne se limite pas aux mots qu’il rédige.
L’article de SitePoint sur le test des agents IA dans un monde non déterministe écarte la comparaison de chaînes exactes pour les sorties de modèle, car des réponses correctes peuvent être formulées de nombreuses façons. Il remplace la question « est-ce identique ? » par « est-ce suffisamment bon ? ». Ce changement de perspective est au cœur du test d’agents IA : il influe sur la manière de rédiger les résultats attendus, de fixer les seuils de réussite et de communiquer les risques.
La variabilité ne rend pas les tests impossibles. Elle impose de travailler avec des plages, des seuils et des exécutions répétées, tandis que le code classique reste soumis aux tests classiques.
Comment tester les agents IA en quatre couches
Le même article de SitePoint répartit le test d’agents en trois couches, et le guide LangChain sur les tests des LLM et des agents IA ajoute une quatrième idée, celle des portes de validation avant mise en production. Ensemble, elles forment un plan réalisable :
- Logique simple. Le routage des outils, l’analyse syntaxique, la mise en forme et les changements d’état relèvent du code classique. Des tests unitaires ordinaires, avec des assertions exactes, conviennent très bien ici, et SitePoint recommande de les exécuter à chaque commit.
- Qualité des réponses. Évaluez les réponses du modèle de langage sous l’angle de la fidélité, de la pertinence et des hallucinations. Ces contrôles sont plus lents et coûtent de l’argent lorsqu’un modèle juge intervient ; SitePoint recommande donc de les exécuter lors des fusions ou selon un calendrier.
- Scénarios de bout en bout. Exécutez des conversations à plusieurs tours et des utilisations d’outils en plusieurs étapes, depuis le premier message de l’utilisateur jusqu’au résultat final. C’est l’équivalent, pour un agent IA, des tests de bout en bout, et c’est la couche qui détecte les problèmes entre les différents composants.
- Portes de validation. LangChain recommande d’exécuter les contrôles de votre pipeline de livraison sur chaque modification candidate, avec des seuils convenus pour la qualité, le comportement et les performances, comme la latence et le coût.
Ne négligez pas la première couche sous prétexte que l’agent IA semble relever de la magie. De nombreux échecs d’agents IA sont de simples bogues dans l’analyse des entrées ou dans le choix de l’outil, et ils sont peu coûteux à détecter.
Constituer un jeu de tests qui reste utile
Le jeu de tests, souvent appelé jeu d’évaluation (eval set), est au cœur des travaux d’évaluation de l’IA. Le conseil de LangChain est de commencer petit, avec des cas de grande qualité couvrant les tâches réelles des utilisateurs, les échecs connus et les comportements à haut risque, puis de l’étoffer à mesure que les conversations réelles révèlent de nouveaux problèmes. Incluez les demandes courantes, les entrées adverses, les cas limites et les exemples corrigés par des experts du domaine. Chaque cas peut contenir une entrée, une sortie de référence, des critères d’évaluation, les étapes requises ou interdites, ainsi que des métadonnées permettant le filtrage.
SitePoint ajoute une bonne pratique qui rend les résultats traçables : conservez le jeu de données dans le contrôle de source et versionnez-le avec les modèles de prompts, afin qu’une variation des scores puisse être rattachée à une modification précise de l’agent.
Un jeu de départ pour un responsable QA pourrait ressembler à ceci :
- Questions courantes, formulées avec les mots que les utilisateurs emploient réellement.
- Échecs connus, issus d’incidents ou de réclamations antérieures, conservés comme cas de régression permanents.
- Cas limites, comme les questions vagues, les mélanges de langues, les informations manquantes et les demandes que l’agent IA doit refuser.
- Demandes à risque, y compris les tentatives d’injection de prompt, les questions portant sur des données que l’utilisateur ne doit pas voir et les demandes d’actions hors du périmètre de l’agent.
- Cas bloquants, pour lesquels un seul échec suffit à bloquer la livraison.
Décrivez le résultat attendu avec le plus de précision possible. Des attentes vagues produisent des scores peu fiables, quel que soit l’outil utilisé pour la notation.
Choisir les évaluateurs : code, modèle juge ou personne
LangChain distingue trois types d’évaluateurs, et chacun a sa place :
- Contrôles par code, adaptés aux règles déterministes : JSON valide, identifiant de compte requis, appel d’outil précis. Ils sont peu coûteux et reproductibles.
- Un modèle juge note les qualités qui relèvent du jugement, comme l’ancrage dans les sources, le respect des instructions et l’achèvement de la tâche. LangChain conseille de valider les scores du modèle juge sur des exemples relus par des humains avant de s’y fier.
- La relecture humaine traite les cas ambigus ou à haut risque. Les relecteurs qualifient les échecs, et ces cas peuvent rejoindre le jeu de tests comme futurs tests de régression.
Vérifiez le chemin suivi, pas seulement la réponse. LangChain appelle cela l’évaluation de trajectoire : ordre des outils, arguments, étapes d’approbation et boucles. Son exemple est celui d’un agent de remboursement qui doit consulter une stratégie avant de répondre. Une réponse d’apparence correcte qui a omis cette consultation reste un échec. C’est pourquoi chaque cas de test doit consigner l’appel d’outil attendu, et pas seulement le texte attendu.
Les scores ont besoin de seuils. SitePoint recommande un minimum par métrique plutôt qu’une cible exacte unique, et ses exemples incluent 0,85 pour la fidélité et 0,7 pour la pertinence de la réponse. Considérez ces valeurs comme des exemples et fixez vos propres seuils en fonction de vos risques.
Tester un agent Copilot Studio
Copilot Studio dispose d’une évaluation intégrée, et la page de Microsoft sur la création d’un jeu de tests détaille les éléments dont un responsable QA a besoin.
- Jeux de tests : un jeu de tests à réponse unique peut contenir jusqu’à 100 cas de test. Vous pouvez générer rapidement un jeu de dix questions à partir de la description de l’agent, en générer davantage à partir d’une source de connaissances ou de sujets, réutiliser des questions issues d’une conversation de test, importer un fichier CSV ou TXT, ou rédiger les cas manuellement.
- Méthodes de test : qualité générale, sécurité du contenu, comparaison de sens, utilisation d’outils, correspondance de mots clés, similarité textuelle, correspondance exacte et critères personnalisés. Toutes les méthodes, à l’exception de la qualité générale, nécessitent pour chaque cas une réponse attendue, des mots clés ou des capacités attendues.
- Identité : les tests automatisés utilisent l’authentification de l’utilisateur connecté pour accéder aux sources de connaissances et aux outils. Exécutez les tests toujours avec le même utilisateur afin que les résultats restent comparables, et vérifiez que cet utilisateur peut accéder à toutes les sources dont l’agent a besoin.
- Limites : les jeux générés ne permettent pas de détecter les lacunes d’information, car ils s’appuient uniquement sur ce que l’agent connaît déjà. Les résultats sont conservés pendant 89 jours ; exportez-les donc au format CSV pour conserver une référence.
Deux précautions découlent de cette page. Les cas de test générés peuvent contenir des données sensibles auxquelles le compte connecté a accès, et les autres créateurs ayant accès à l’agent peuvent consulter les jeux de tests associés ; vérifiez-les donc avant de les partager. Par ailleurs, un jeu généré n’est qu’un point de départ, et non un jeu complet. Ajoutez manuellement vos propres échecs connus et vos demandes à risque.
Rendre les résultats reproductibles
La reproductibilité repose sur des habitudes dans votre processus de test, et non sur une fonctionnalité :
- Exécutez chaque cas plusieurs fois. SitePoint recommande au moins trois exécutions et une moyenne. LangChain suggère de comparer les taux d’échec pour les sorties variables.
- Comparez avec une référence. Exécutez la version candidate et la version actuelle sur le même jeu de tests. LangChain met en garde : une meilleure moyenne peut masquer une régression sur un cas critique ; surveillez donc les exemples impératifs.
- Utilisez des contrôles bloquants pour les actions interdites. LangChain recommande des vérifications déterministes avec un seuil de zéro échec pour les actions que l’agent ne doit jamais effectuer.
- Relancez après chaque modification et automatisez le processus. L’automatisation dans votre pipeline ancre l’habitude. Une modification de prompt est considérée comme une modification de code, tout comme un changement de modèles, de récupération, de définitions d’outils, de mémoire ou de routage.
- Conservez les preuves. Exportez les résultats et stockez-les avec la version du jeu de tests et la version de l’agent.
Exemple : un agent sur la politique de congés
Les chiffres sont fictifs.
Une équipe crée un agent Copilot Studio qui répond aux questions sur la politique de congés. Le responsable QA crée 40 cas de test. Vingt-deux sont des questions courantes, huit sont des échecs connus issus du pilote, six utilisent une formulation inhabituelle, comme des dates peu claires, et quatre sont des demandes à risque, dont une question sur le congé d’un autre salarié. Six sont marqués comme impératifs.
Le responsable utilise la correspondance de mots clés pour les faits précis, comme le nombre de jours de congé, la comparaison de sens pour les explications, et une vérification de l’utilisation d’outils pour s’assurer que l’agent appelle la fonction de consultation de la politique avant de répondre. Chaque cas est exécuté trois fois.
Lors de la première exécution complète, 34 cas sur 40 réussissent dans les trois exécutions. Sur les six échecs, deux concernent un cas impératif, et dans l’un d’eux, l’agent a répondu sans appeler la consultation de la politique. L’équipe corrige l’instruction, relance les tests et atteint 38 cas sur 40, tous les cas impératifs étant au vert. Le responsable exporte les résultats comme référence et fixe une règle : toute modification de prompt ou de modèle relance les 40 cas, et une baisse sur un cas impératif bloque la mise en production dans le workflow de livraison.
Erreurs courantes
- Correspondance exacte du texte. Les bonnes réponses peuvent varier, donc la correspondance exacte génère de faux échecs.
- Évaluer uniquement la réponse. L’agent peut produire une réponse d’apparence correcte en sautant une étape obligatoire.
- Exécuter chaque cas une seule fois. Une exécution chanceuse prouve peu de choses.
- Se fier uniquement à un jeu de tests généré. Il ne peut pas détecter les lacunes sur ce que l’agent n’a jamais appris.
- Faire aveuglément confiance au modèle juge. Validez ses scores à partir d’exemples revus par des humains.
- Ne tester que le scénario nominal. Incluez des formulations inhabituelles, des demandes à risque et les échecs connus.
Comment les logiciels peuvent aider
Commencez par ce que propose votre plateforme d’agents. Copilot Studio intègre une évaluation native, et des frameworks d’évaluation open source comme commerciaux existent pour les agents IA personnalisés. Choisissez un outil de test qui permet de versionner les jeux de tests, d’exécuter chaque cas plusieurs fois, de vérifier les appels d’outils et d’exporter les résultats. Intégrez votre pipeline de livraison comme point de contrôle, et utilisez un tableur ou un outil de gestion de tests pour suivre les cas et leurs responsables. Testez d’abord sur un seul agent IA avant de généraliser.
Prochaine étape
Rédigez dix cas de test pour un agent IA que vous exploitez déjà, dont trois échecs connus et deux demandes à risque, puis notez chaque cas trois fois. Enregistrez ensuite les résultats comme référence, afin que le test des agents IA devienne une étape de routine dans votre équipe plutôt qu'un sujet de débat.