Qu’est-ce que l’automatisation de tests en langage naturel ? Une explication simple
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
Par Mirko Peters · · Mis à jour
L’automatisation de tests en langage naturel permet aux testeurs de rédiger leurs étapes en anglais courant, pendant qu’une IA les exécute dans un navigateur. Découvrez son fonctionnement, ses limites et la manière de l’évaluer.
Traduit automatiquement par IA à partir de l'article original. Lire l'original en anglais
L’automatisation de tests en langage naturel signifie que vous rédigez un test en anglais courant, et qu’un modèle d’IA l’exécute dans un vrai navigateur. Au lieu d’un script rempli de sélecteurs, vous écrivez « Cliquer sur le bouton Se connecter » ou « Vérifier que le total de la commande affiche 49,00 ». Cette explication s’adresse aux responsables QA et aux testeurs qui entendent ce terme et veulent savoir ce qu’il recouvre, comment il fonctionne et où il s’arrête. Vous découvrirez l’idée étape par étape, les limites que les éditeurs eux-mêmes reconnaissent, et une méthode simple pour juger si cette approche convient à votre équipe.
Points clés
- L’automatisation de tests en langage naturel consiste à décrire une étape de test en anglais courant, qu’un modèle d’IA transforme en actions de navigateur au moment de l’exécution du test.
- Elle remplace les sélecteurs et les attentes écrits à la main par des instructions telles que « Cliquer sur le bouton Se connecter », ce qui permet aux testeurs qui ne codent pas de rédiger et de lire les tests.
- Les éditeurs documentent des limites : les instructions larges ou complexes échouent plus souvent, et les instructions à une seule étape sont les plus fiables.
- Les outils d’IA conçus pour des tâches web génériques peuvent inventer des résultats sans inspecter l’application réelle. Chaque étape générée doit donc être relue et associée à une règle claire de réussite ou d’échec.
- Considérez-la comme un moyen de rédiger plus rapidement des tests de bout en bout, et non comme un remplacement de la conception des tests, des données de test ou d’environnements bien maîtrisés.
Ce que signifie l’automatisation de tests en langage naturel
Un test automatisé classique de l’interface utilisateur est du code. Un développeur ou un ingénieur en automatisation rédige les étapes et indique à l’outil comment trouver chaque élément de la page, par exemple grâce à son identifiant ou à un sélecteur CSS. Le test exécute les mêmes étapes à chaque fois. Lorsque la page change, le sélecteur peut ne plus correspondre, et le test échoue.
Avec cette approche, le testeur rédige plutôt l’intention. L’équipe Cypress décrit sa commande cy.prompt comme un moyen de décrire les tests en langage courant, sous forme de chaînes de texte dans le fichier de test. Un article du blog de Cypress indique que les étapes générées peuvent être inspectées et déboguées, puis converties en code de test statique que vous pouvez enregistrer.
La technologie sous-jacente est l’IA générative : un modèle lit le texte et la page, puis décide de l’action à mener. Dans la plupart des outils, il s’agit d’un grand modèle de langage, un modèle d’IA entraîné sur de grandes quantités de texte. Certains éditeurs qualifient de agent IA le logiciel qui réalise cette tâche, car il effectue des actions au lieu de se contenter de répondre à des questions. L’objectif reste le même dans tous les cas : des personnes qui connaissent le produit peuvent rédiger et lire des tests sans apprendre un langage de programmation. C’est pourquoi cette approche est parfois présentée comme des tests sans code.
Pour les équipes de test logiciel, ce changement concerne la création des tests, et non le processus de test lui-même. La conception des tests, les données de test et l’exécution restent identiques, et c’est toujours une personne qui décide quel cas de test couvrir.
Dans l’automatisation de tests traditionnelle, les ingénieurs écrivent et maintiennent un script de test pour chaque parcours. Les outils d’IA utilisent le traitement du langage naturel pour lire chaque phrase à la place. Certains éditeurs vont plus loin et qualifient leurs outils d’« agentiques ». Un guide d’éditeur d’Autosana, à caractère promotionnel, définit la différence : un outil agentique interprète un objectif formulé en langage courant, explore la page en direct, agit et s’ajuste en cours d’exécution, et « sans code » ne signifie pas « agentique ». Ce même guide met en garde : de nombreux produits se réclament de tests pilotés par l’IA parce qu’ils ont simplement ajouté une saisie semi-automatique à un éditeur de scripts. Il faut donc aborder ces étiquettes avec prudence, et conserver une règle de réussite ou d’échec que vous maîtrisez.
Fonctionnement d’un test fondé sur des instructions écrites
Les détails varient d’un outil à l’autre, mais le déroulement est similaire. BrowserStack documente sa version bêta de l’« NL Test Automation Agent » pour Selenium, et sa page en donne une vue claire :
- Vous rédigez une courte instruction. Chaque commande est une seule phrase en anglais, et non un sélecteur ou du code. La page recommande de commencer par un verbe d’action, comme « Click the Submit button ».
- L’IA l’interprète au moment de l’exécution. Les étapes d’automatisation sont générées pendant le déroulement du test ; aucun sélecteur ni aucune attente n’est donc écrit à la main.
- L’outil effectue l’action dans le navigateur. La page répertorie des types de commandes tels que clic, saisie, recherche, survol et défilement.
- L’outil fournit le résultat. Les exécutions réussies affichent des journaux de réussite, et les exécutions échouées affichent des journaux d’erreur accompagnés d’une raison.
Comparez avec l’approche recommandée par Playwright dans ses bonnes pratiques : tester ce que les utilisateurs voient et font, et privilégier les localisateurs fondés sur le rôle, le texte ou l’identifiant de test, plutôt que les sélecteurs XPath ou CSS qui cassent dès que la page change. Cette approche pousse l’idée un cran plus loin. Le testeur nomme ce qu’un utilisateur verrait, par exemple « le bouton Se connecter », et c’est l’outil qui le trouve.
Où le test en langage naturel est utile
Cette approche convient mieux à certaines tâches qu’à d’autres.
- Contrôles de fumée et parcours utilisateurs courants. Se connecter, rechercher, ajouter au panier, passer la commande. Ce sont les parcours de tests de bout en bout les plus importants, et ils se décrivent facilement en une phrase.
- Équipes où les testeurs ne codent pas. Un testeur qui connaît le processus métier peut rédiger et lire le test.
- Génération de tests. Certains outils peuvent générer un test à partir d’une courte description. Une personne doit tout de même relire la conception du test et la couverture.
Le test en langage naturel est moins adapté lorsque la vérification dépend de valeurs numériques exactes, d’une préparation de données complexe ou d’une synchronisation qui exige un contrôle fin, comme dans les tests de performance. Un test unitaire d’un calcul n’a besoin ni d’un navigateur ni d’un modèle d’IA, et les tests exploratoires exigent toujours une personne curieuse.
Les limites reconnues par les éditeurs
Les éditeurs honnêtes énoncent leurs limites. Utilisez-les comme liste de contrôle lorsque vous évaluez un produit.
- Les instructions complexes échouent plus souvent. La page de BrowserStack indique que les objectifs complexes ou trop larges peuvent échouer avec une erreur
UNSUPPORTED_OBJECTIVE, que la fiabilité diminue à mesure que les commandes se complexifient, et que les instructions à une seule étape sont les plus précises. Découpez une tâche longue en étapes courtes. - Les résultats peuvent varier. Un modèle d’IA interprète chaque instruction au moment de l’exécution : une phrase vague peut donc entraîner des actions différentes d’une exécution à l’autre. Gardez chaque étape courte et précise.
- La fonctionnalité peut être en bêta. La même page indique que la fonctionnalité est en bêta et que les environnements pris en charge pourraient changer.
- Les résultats inventés constituent un risque. L’article de Cypress met en garde : de nombreux outils d’IA pour navigateur sont conçus pour des tâches web génériques, et non pour les tests. Ils peuvent produire des résultats hallucinés sans inspecter l’application réelle, et ils offrent souvent peu de prise en charge du débogage, des assertions et du cycle de vie des tests.
Gardez les tests courts, relisez ce que l’IA a généré, et exigez une règle claire de réussite ou d’échec pour chaque étape.
Échecs, maintenance et CI
La maintenance est le moment où les tests en langage courant doivent faire leurs preuves : il faut donc se demander comment chaque outil gère les changements. Le guide de Cypress sur la génération de tests par IA présente une approche. Le code généré est mis en cache, et ce cache est partagé entre les machines et les environnements, y compris l’intégration continue (CI). Ainsi, relancer un test n’appelle pas l’IA à nouveau, sauf si l’invite ou la page invalide le cache. Lorsqu’un sélecteur ou son texte change entre deux exécutions, l’outil régénère le code de cette étape et la marque comme auto-réparée dans les journaux. Il avertit que la réparation à chaque exécution multiplie les appels à l’IA et ralentit l’exécution, et conseille de cibler les éléments par un texte stable et visible. Il permet également de consulter le code généré, avec des commentaires qui relient chaque commande à son étape d’invite, et de l’enregistrer à la place de l’invite.
Le guide Autosana suggère une preuve de concept de deux semaines sur des parcours utilisateurs réels, y compris ceux qui ont déjà cassé par le passé, avec une revue des captures d’écran et des rejeux de session pour auditer ce qu’a fait l’agent. Il ne fournit aucun taux d’échec mesuré : menez donc un pilote de votre côté.
Peut-il remplacer les ingénieurs QA ? D’après ces éléments, non : les humains continuent de planifier ce qu’il faut tester, de préparer les données et de décider si un résultat est correct.
Questions à poser avant de choisir un outil
Utilisez ces questions lors d’un échange avec un éditeur ou dans le cadre d’un pilote. Elles valent pour n’importe quel produit.
- Que voit exactement le modèle ? Inspecte-t-il la page réelle, ou devine-t-il à partir du texte de votre instruction ?
- Puis-je lire et exporter ce qu’il a fait ? Vous voulez un journal de chaque étape générée et, idéalement, un script figé que vous pouvez conserver dans un système de gestion de versions.
- Comment décide-t-il de la réussite ou de l’échec ? Recherchez des vérifications explicites que vous rédigez vous-même, et non uniquement le jugement propre au modèle.
- Où le test s’exécute-t-il, et qui peut voir les données ? Les comptes de test et les captures d’écran peuvent contenir des informations réelles.
- Que contient un rapport d’échec ? Captures d’écran, journaux et étape en échec permettent de gagner des heures de débogage.
- S’intègre-t-il à notre suite de tests actuelle ? Vérifiez votre infrastructure d’automatisation, votre pipeline et votre processus de tests manuels.
Exemple : un test de connexion, trois méthodes
Les chiffres sont fictifs.
Une équipe compare trois manières d’écrire un test de connexion.
- Code avec sélecteurs. Un ingénieur écrit environ 12 lignes. Cela prend 30 minutes. Lorsqu’un développeur renomme l’identifiant du bouton, le test échoue et doit être corrigé.
- Langage naturel. Un testeur écrit quatre lignes : ouvrir la page de connexion, saisir le nom d’utilisateur, saisir le mot de passe, cliquer sur « Log In » et vérifier que le titre du tableau de bord apparaît. Cela prend 5 minutes. Le testeur relit les étapes générées, confirme qu’elles correspondent, et n’utilise l’IA que pour les exécuter.
- Langage naturel, puis export. L’équipe conserve la version en anglais courant pour l’exploration, et exporte un script figé pour la campagne de régression nocturne, comme le décrit l’article de Cypress pour son propre outil.
Sur un mois, deux échecs proviennent de vrais bogues, et un d’une étape imprécise : « click the button » a sélectionné le mauvais bouton. L’équipe la réécrit en « click the Log In button ». La précision de la phrase compte autant que la précision d’un sélecteur.
Erreurs courantes
- Rédiger de longues instructions vagues. Ne traitez qu’une intention par étape, et nommez l’élément.
- Faire confiance aux étapes générées par l’IA sans les relire. Relisez chaque étape au moins une fois, et conservez le journal.
- Oublier le résultat attendu. Un test a besoin d’une vérification claire, comme un titre ou un total. « S’assurer que ça fonctionne » n’est pas une vérification.
- L’utiliser pour tout. Les vérifications unitaires et d’intégration relèvent du code, au plus près des développeurs.
- Adopter un outil sans pilote. Exécutez d’abord dix tests réels et comparez les causes d’échec.
Comment les logiciels peuvent aider
Il existe plusieurs catégories d’outils de test assistés par IA. Certains ajoutent des commandes en langage courant à un framework basé sur du code, comme les fonctionnalités de Cypress et de BrowserStack évoquées ci-dessus. D’autres sont des plateformes distinctes destinées à l’ensemble de l’équipe QA. Les frameworks open source comme Playwright restent très pertinents pour les équipes qui privilégient le code.
Genta by Cognillo est un exemple de plateforme distincte. Selon le fournisseur, les testeurs décrivent en langage courant ce que doit faire une application : Genta exécute alors le test dans un navigateur, sur une machine virtuelle dans le cloud, et indique le résultat (réussite ou échec), accompagné de captures d’écran et de journaux. Le fournisseur affirme que la solution s’adresse aux responsables QA, aux SDET et aux ingénieurs en automatisation. Il s’agit là des affirmations du fournisseur. Comparez-la à d’autres solutions dans le cadre d’un pilote avant de vous décider.
Déclaration d’intérêts : Cognillo sponsorise M365.FM.
Prochaine étape
Choisissez un parcours utilisateur stable, par exemple la connexion et la recherche, et décrivez-le en cinq étapes simples, rédigées en anglais courant. Exécutez-le dans un outil d’automatisation de tests en langage naturel, puis dans votre framework de tests actuel, et comparez l’effort requis, les échecs constatés et la qualité des journaux.