M365Con 2027 – conférence en ligne gratuite · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Quels tests de régression automatiser en premier ? Guide de décision

Par · · Mis à jour

Quels tests automatiser en premier ? Commencez par les tests de régression critiques pour l’activité, exécutés fréquemment et stables. Appuyez-vous sur cinq critères et une matrice de notation simple pour décider.

Traduit automatiquement par IA à partir de l'article original. Lire l'original en anglais

Quels tests automatiser en premier ? Commencez par les tests de régression qui couvrent les flux critiques pour l’activité, s’exécutent à chaque build, changent rarement et prennent le plus de temps à rejouer à la main. Ce guide s’adresse aux responsables QA disposant d’une petite équipe et d’une longue liste de contrôles manuels, qui ont besoin d’un ordre de priorité défendable. Vous y trouverez cinq critères de sélection, la liste de ce qu’il vaut mieux laisser en manuel pour l’instant, et une matrice de notation simple. Un exemple détaillé, aux chiffres fictifs, classe cinq tests candidats afin que vous puissiez reprendre la méthode telle quelle.

Points clés

  • Automatisez d’abord les tests de régression qui couvrent les flux critiques pour l’activité, s’exécutent souvent, changent rarement et coûtent le plus de temps à rejouer à la main.
  • Classez les fonctionnalités selon le coût d’une défaillance : la probabilité et la gravité d’un défaut déterminent quel test mérite l’automatisation avant les autres.
  • Laissez en manuel, pour l’instant, les contrôles ponctuels, instables, exploratoires et d’ergonomie, car les automatiser peut coûter plus cher que de les exécuter à la main.
  • Un score pondéré de 1 à 5 sur la criticité, la fréquence, la stabilité, l’effort manuel et l’instabilité transforme un débat en une liste classée.
  • Privilégiez le niveau de test le plus bas qui fonctionne, et réservez les tests de bout en bout au niveau navigateur aux flux pour lesquels une validation complète est indispensable.

Pourquoi l’ordre d’automatisation compte

Automatiser demande des efforts, et ces efforts ne sont rentabilisés que si un test s’exécute de nombreuses fois. Un test qui tourne à chaque build se rentabilise rapidement. Un test qui ne tourne qu’une fois ne se rentabilise jamais.

Dans les équipes agiles aux sprints courts, l’équipe a rarement le temps d’automatiser tout ce qui serait souhaitable. L’automatisation des tests est un investissement, il faut donc raisonner en termes de retour sur investissement (ROI) : les heures manuelles économisées par chaque cas de test automatisé, moins les heures nécessaires à l’écriture et à la maintenance de ses scripts. L’ordre dans lequel vous automatisez détermine donc la vitesse à laquelle cet investissement rapporte. Une équipe qui automatise dix contrôles à faible valeur tout en laissant le parcours de paiement en manuel a investi ses efforts au mauvais endroit.

Le guide de Ranorex sur le choix de ce qu’il faut automatiser place les tests de régression en tête de la liste des priorités, car les réexécutions fréquentes multiplient les gains. Il recommande également de classer les fonctionnalités selon le coût d’une défaillance et d’ajouter en premier lieu, à la suite de régression, les tests des fonctionnalités les plus risquées.

L’article de TestDevLab sur la hiérarchisation des cas de test pour les tests de régression décrit la même idée sous la forme d’une priorisation fondée sur les risques : classer les cas de test selon des facteurs tels que la probabilité de défaillance et la gravité de l’impact. Il conseille de commencer par les fonctions à risque élevé et forte criticité, puis de passer aux fonctions à risque plus faible. Il précise aussi que les fonctionnalités mises à jour fréquemment et les fonctionnalités complexes à plusieurs composants méritent d’être testées plus tôt.

Le message pratique : automatisez en fonction du risque et de la fréquence d’exécution du test, et non selon la liste des fonctionnalités ou la facilité de mise en œuvre.

Une stratégie d’automatisation courte identifie les candidats, les outils, le responsable et la date de revue. La plupart des bonnes pratiques d’automatisation des tests commencent ainsi : décider de ce qu’il faut automatiser, puis seulement choisir l’outil.

Quels tests automatiser en premier : cinq critères

Le guide de Katalon sur la sélection des cas de test de régression indique qu'un bon candidat à l'automatisation remplit la plupart des conditions d'une liste. Voici les cinq qui comptent le plus pour une petite équipe.

  1. Critique pour l'activité. Le test couvre un parcours essentiel au chiffre d'affaires, sensible du point de vue de la sécurité, comme la connexion, le paiement ou les transactions. Si ce parcours tombe en panne, ce sont les clients qui le remarquent en premier.
  2. Exécuté fréquemment. Le test s'exécute à chaque demande de tirage (pull request), à chaque build nocturne ou à chaque livraison.
  3. Stable. La fonctionnalité évolue rarement, de sorte que le test n'aura pas besoin d'une maintenance constante.
  4. Coûteux à réaliser manuellement. Le test est répétitif, lent et sujet aux erreurs humaines. Les contrôles répétés et piloté par les données conviennent bien, car les mêmes étapes s'exécutent avec de nombreuses saisies différentes, et c'est ici que l'automatisation des tests fait gagner le plus de temps.
  5. Résultat clair. Le test produit un résultat objectif de réussite ou d'échec, facile à vérifier, par exemple à l'écran, dans une réponse d'API ou dans l'état du système. Couvrez dans les données de test les cas limites qui comptent, et non toutes les saisies possibles.

Un test qui remplit quatre ou cinq de ces critères passe en tête de file. Un test qui n'en remplit qu'un ou deux attend son tour.

Katalon ajoute un point sur les couches : privilégiez la couche la plus basse qui fonctionne, et n'automatisez les parcours d'interface instables que lorsque la validation de bout en bout est indispensable. Si une règle peut être vérifiée par un test unitaire ou un appel d'API, ce contrôle est généralement plus rapide et plus fiable qu'un test de navigateur. Les tests d'interface lents doivent être réservés aux quelques parcours qui en ont réellement besoin. Conservez les tests de bout en bout au niveau du navigateur pour les parcours où le chemin complet à travers les écrans doit être démontré.

Organisez l'ordre selon la pyramide des tests et votre pipeline

La sélection indique ce qu'il faut automatiser. Les couches indiquent où le faire. La Practical Test Pyramid de Martin Fowler recommande de nombreux tests unitaires petits et rapides, quelques tests plus globaux et très peu de tests de haut niveau. Sa règle pour choisir le niveau est utile pour une liste classée : si un test de niveau supérieur détecte une erreur qu'aucun test de niveau inférieur ne détecte, rédigez un test de niveau inférieur. Descendez les tests aussi bas que possible, et supprimez les tests de haut niveau qui font double emploi avec ce que les niveaux inférieurs couvrent déjà.

Avant d'écrire un test de navigateur pour un élément classé, posez-vous donc deux questions. Un test unitaire ou un test d'intégration pourrait-il démontrer la même règle plus rapidement ? Certains cas de test automatisés sont-ils désormais redondants ? Ces questions sont les nôtres, fondées sur la règle de Fowler, et non une liste de contrôle issue des sources.

Placez ensuite chaque test dans le pipeline. Ranorex décrit les tests de fumée comme un petit sous-ensemble des tests de régression, exécutés à chaque nouveau build, et Katalon désigne chaque demande de tirage, chaque build nocturne et chaque livraison comme les moments où les bons candidats s'exécutent. Une répartition pragmatique, qui est notre propre suggestion, consiste à exécuter un petit jeu de tests de fumée à chaque build, et la suite d'automatisation complète chaque nuit ou à chaque livraison. Laissez les tests exploratoires entre les mains de l'équipe QA, et réexaminez le plan tous les trimestres.

Ce qu'il vaut mieux laisser manuel pour l'instant

Dire non fait partie du plan. Ranorex répertorie les cas où l'automatisation ne rapporte rien :

  • Tests à usage unique. Il peut être plus long d'automatiser un test que de l'exécuter une fois à la main. Les tests destinés à rejoindre la suite de régression ou piloté par les données ne sont pas considérés comme à usage unique.
  • Fonctionnalités instables. Tant qu'une exigence est encore expérimentale ou en cours de développement, testez-la manuellement.
  • Tests sans résultat clair de réussite ou d'échec. N'automatisez que lorsque le résultat est objectif.
  • Tests exploratoires et tests d'utilisabilité. Ranorex indique que ces tests ne peuvent pas et ne doivent pas être automatisés, car ils reposent sur le jugement humain.

Les fonctionnalités qui résistent à l'automatisation, comme un CAPTCHA, nécessitent un plan à part. Ranorex suggère de les désactiver dans l'environnement de test, d'ajouter un contournement réservé aux développeurs, ou de suspendre le test pour qu'un testeur les réalise.

Manuel ne signifie pas oublié. Inscrivez ces tests sur une liste assortie d'une date de réexamen, afin qu'une fonctionnalité stabilisée puisse remonter dans la liste.

Notez les candidats avec une matrice simple

Quand deux tests semblent tous deux importants, un score rend la décision visible. Katalon recommande d’attribuer à chaque test une note de 1 à 5 sur des facteurs pondérés, de multiplier chaque note par son poids, puis d’additionner les résultats. Ses exemples de poids sont : criticité métier 0,3, fréquence d’exécution 0,2, stabilité 0,2, effort manuel économisé 0,15 et score d’instabilité 0,15, où un score plus élevé signifie un risque d’instabilité plus faible. Ses seuils suggérés sont : 4,0 ou plus pour automatiser, 3,0 à 3,9 pour y revenir plus tard, et moins de 3,0 pour conserver un test manuel ou exploratoire.

Vous pouvez reprendre ces poids tels quels ou les modifier. L’important n’est pas le chiffre exact. L’important est que l’équipe se mette d’accord sur les facteurs avant de débattre de tests individuels.

D’où viennent les scores ? Katalon souligne que les données de production et les incidents passés révèlent les parcours qui comptent le plus. TestDevLab décrit une priorisation fondée sur l’historique, qui classe les tests selon leur bilan passé en matière de détection d’anomalies. Utilisez votre liste d’incidents et vos tickets de support pour renseigner la colonne criticité, et votre historique de builds pour renseigner les colonnes fréquence et instabilité. Un score fondé sur des données est plus facile à défendre qu’un score fondé sur l’opinion. Passez le classement en revue avec toute l’équipe, et suivez la couverture de vos parcours critiques sous forme de simple compte : combien de vos dix parcours principaux disposent d’un cas de test automatisé ?

Exemple : classement de cinq tests candidats

Les scores sont fictifs, et les poids sont ceux indiqués ci-dessus.

Un responsable QA doit classer cinq vérifications manuelles. Chaque facteur est noté de 1 à 5.

  1. Export des factures. Criticité 5, fréquence 5, stabilité 4, effort 4, score d’instabilité 3. Score : 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. À automatiser en premier.
  2. Réinitialisation du mot de passe. Criticité 5, fréquence 3, stabilité 5, effort 3, score d’instabilité 4. Score : 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. À automatiser ensuite.
  3. Filtre de rapport. Criticité 3, fréquence 4, stabilité 4, effort 4, score d’instabilité 4. Score : 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. À réexaminer le trimestre prochain.
  4. Nouvelle mise en page du tableau de bord. Criticité 3, fréquence 3, stabilité 1, effort 3, score d’instabilité 2. Score : 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. À garder manuel tant que la conception n’est pas stabilisée.
  5. Envoi de la photo de profil. Criticité 2, fréquence 2, stabilité 3, effort 2, score d’instabilité 2. Score : 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. À garder manuel.

Le résultat est une liste classée : export des factures, puis réinitialisation du mot de passe, le filtre de rapport restant en réserve. Le responsable commence par un petit cadre d’automatisation, des données de test partagées et ces premiers cas de test, puis étoffe la suite automatisée. Le product owner peut voir les raisons, et lorsque le tableau de bord cessera d’évoluer, son score de stabilité augmentera et il pourra remonter dans la liste.

Erreurs courantes

  • Automatiser d’abord les tests les plus faciles. Les tests faciles ont souvent un faible impact : la suite grossit sans protéger ce qui compte vraiment.
  • Automatiser une fonctionnalité instable. Les tests cassent à chaque modification, et l’équipe finit par ne plus leur faire confiance.
  • Compter les tests au lieu de mesurer l’impact. Une grande suite de contrôles à faible valeur coûte plus cher à maintenir qu’elle ne fait gagner de temps.
  • Commencer chaque vérification au niveau du navigateur. Si un test unitaire ou une vérification d’API peut couvrir la règle, il est généralement moins coûteux de la conserver à ce niveau.
  • Ignorer les tests manuels qui restent essentiels. Les vérifications exploratoires et les revues d’ergonomie restent du ressort des testeurs, et le test logiciel a besoin des deux types d’effort.
  • Ne jamais revoir le classement. Les usages, l’impact et la stabilité évoluent : réexaminez la liste chaque trimestre.

Comment les logiciels peuvent aider

Un tableur reprenant vos cinq critères et leurs poids suffit pour commencer. Ajoutez une colonne pour la date de la dernière revue. Votre outil de gestion des tests, si vous en avez un, peut aussi indiquer à quelle fréquence chaque test s’exécute et à quelle fréquence il échoue, ce qui alimente les scores de fréquence et d’instabilité. Les données de défauts passés issues de votre système de tickets montrent quelles zones cassent le plus souvent. Les outils de test de navigateur, qu’ils reposent sur des scripts ou sur un langage naturel, ne deviennent utiles que lorsque le classement indique quels parcours méritent un test. Choisissez l’outil après avoir établi la liste, et non avant.

Prochaine étape

Listez vos vingt vérifications de non-régression manuelles les plus longues, notez chacune selon les cinq facteurs et triez le résultat. Automatisez ensuite les trois premières, et utilisez cette liste classée pour répondre à la question des tests à automatiser en premier lors de votre prochaine réunion de planification.

Entités dans cet article

Regression testing End-to-end testing Unit testing

Articles associés

RSS