M365Con 2027 – conférence en ligne gratuite · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Preuves de test pour les audits : captures d’écran, journaux et enregistrements de réussite ou d’échec

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

Par · · Mis à jour

Preuves de test automatisées pour les audits : ce qu’un responsable QA doit conserver, comment rendre captures d’écran, journaux et enregistrements de réussite ou d’échec exploitables en revue, et comment répondre à un auditeur.

Traduit automatiquement par IA à partir de l'article original. Lire l'original en anglais

Les preuves de test automatisées pour les audits sont l’ensemble des enregistrements qui démontrent qu’un test a été exécuté, indiquent ce qu’il a vérifié et décrivent ce qui s’est produit, sous une forme qu’un inconnu peut examiner des mois plus tard. Ce guide s’adresse aux responsables QA dont les équipes doivent fournir des preuves lors d’une revue de conformité ou d’une validation. Vous verrez ce que recherche un auditeur, quels éléments d’une exécution de test valent la peine d’être conservés, le niveau de détail à enregistrer et la manière de les organiser. Un exemple détaillé, avec des chiffres fictifs, montre une équipe passant d’une recherche désordonnée à une réponse en cinq minutes.

Points clés

  • Un auditeur doit pouvoir voir, à partir des seuls enregistrements, ce qui a été testé, ce qui était attendu, ce qui s’est produit et qui ou quoi a exécuté le test ; un simple succès ou échec suffit donc rarement.
  • Une preuve utile comporte cinq éléments : captures d’écran ou enregistrements, journaux d’exécution, pièces jointes telles que les données de test, métadonnées d’exécution et liens entre les échecs et les anomalies.
  • Les captures d’écran ne sont pas juridiquement obligatoires, et les journaux système peuvent servir de preuves si ces journaux sont fiables et si l’outil d’automatisation des tests lui-même est validé.
  • Adaptez le niveau de détail des preuves au risque : conservez des enregistrements complets pour les fonctions à haut risque et des enregistrements plus légers pour celles à faible risque.
  • Reliez chaque test à une exigence et mesurez le temps nécessaire pour réunir des preuves complètes pour une seule exigence.

Ce que les auditeurs demandent réellement

Un auditeur ne souhaite pas voir votre outil de test. Il veut évaluer si votre produit fait ce qu’il doit faire et si vos propres enregistrements le démontrent. L’article de Johner Institute sur les preuves objectives, rédigé pour la qualité dans le secteur des dispositifs médicaux, le formule ainsi : la documentation doit être suffisamment détaillée pour qu’une personne extérieure au projet puisse comprendre ce qui a été fait et pourquoi les exigences sont satisfaites.

Le même article décrit quatre niveaux de détail dans les enregistrements de tests, allant d’un simple « réussi » ou « non réussi » jusqu’à une vidéo complète. Il juge le premier niveau insuffisant, estime que le deuxième offre une traçabilité limitée et indique qu’à partir du troisième niveau, les captures d’écran, les relecteurs disposent de suffisamment d’éléments à examiner. Il précise également qu’un simple succès ou échec n’est pas systématiquement accepté.

Votre domaine a ses propres règles, mais dans presque tous les référentiels et normes, les mêmes questions reviennent :

  • Qu’a-t-on testé, et par rapport à quelle exigence ?
  • Que attendiez-vous qu’il se produise ?
  • Qu’est-il arrivé, et qui ou quoi a exécuté le test ?
  • Quand et dans quel environnement cela s’est-il produit ?
  • En cas d’échec, qu’avez-vous fait pour y remédier ?

Des preuves d’audit qui répondent à ces cinq questions sans nécessiter d’échange constituent un bon dossier. Intégrez cette démarche à la préparation aux audits de votre équipe de test, afin de rester prêt à auditer toute l’année et non seulement dans les semaines qui précèdent une revue.

Preuves de test automatisées pour les audits : ce qu’il faut capturer

Le guide de TestCollab sur une stratégie de preuves de test identifie cinq types de preuves. Il constitue une bonne liste de contrôle pour toute documentation :

  1. Captures d'écran et enregistrements. Preuve visuelle des états de l'écran, des messages d'erreur et des échecs, particulièrement utile pour les tests de bout en bout dans un navigateur.
  2. Journaux d'exécution. Relevés étape par étape de ce qui a réussi, de ce qui a échoué et des raisons de l'échec.
  3. Pièces jointes. Données de test, instantanés de configuration, réponses d'API ou rapports exportés.
  4. Métadonnées d'exécution. Qui a lancé l'exécution, quand, dans quel environnement et avec quelle configuration.
  5. Liens vers les anomalies. Un lien entre chaque test en échec et son ticket d'anomalie.

Automatiser la collecte des preuves est l'étape suivante logique, et les équipes qui l'automatisent cessent de dépendre de leur mémoire. Un outil peut joindre une capture d'écran en cas d'échec et transmettre les résultats, accompagnés de leurs pièces jointes, à un système de gestion des tests. Des preuves automatisées de ce type ne demandent à personne de se souvenir de quoi que ce soit. Le guide souligne un point utile : une preuve capturée pendant le test est plus fidèle qu'une preuve reconstituée après coup. Une bonne capture des preuves, avec les relevés conservés à côté des résultats, vaut mieux qu'un tableur rempli par quelqu'un juste avant l'audit.

Tous les tests n'ont pas besoin de tous les artefacts. Le guide suggère qu'un test de fumée peut se contenter d'un statut, qu'un test d'acceptation peut nécessiter une capture d'écran de chaque écran critique, et qu'un test de non-régression peut exiger des relevés d'exécution et des détails sur l'environnement. Formalisez ces règles une fois pour toutes, par type de test, afin que le processus d'audit ne repose pas sur des suppositions.

Captures d'écran, journaux ou vidéo : quel niveau de détail suffit

Johner formule trois remarques qui permettent de gagner du temps.

  • Les captures d'écran ne sont pas une exigence légale. Elles constituent un moyen parmi d'autres de montrer ce qui s'est passé, par exemple l'apparition d'un avertissement précis.
  • Les journaux peuvent servir de preuve. Les conditions sont les suivantes : la sortie à l'écran et les entrées du journal concordent, les résultats sont évalués au regard des exigences, l'outil d'automatisation des tests est validé et les relevés respectent les règles applicables, comme la 21 CFR Part 11 pour les enregistrements électroniques aux États-Unis.
  • La vidéo a un coût. Elle montre l'exécution sans évaluer le résultat, son examen prend du temps, elle consomme beaucoup d'espace de stockage et elle se prête mal aux tests de non-régression.

Le projet de guide de la FDA sur l'assurance logicielle des ordinateurs (computer software assurance), tel qu'expliqué dans un article de Jama Software, va dans le même sens. Selon cet article, les captures d'écran ne sont pas obligatoires, et les journaux système, les pistes d'audit et d'autres données électroniques peuvent servir d'enregistrement. Le relevé doit présenter l'usage prévu, la détermination des risques, les activités d'assurance réalisées, les problèmes éventuels constatés et une conclusion sur l'acceptabilité des résultats. L'article décrit également une approche fondée sur les risques : tests scénarisés pour les fonctions à haut risque et tests non scénarisés pour celles à moindre risque. Vérifiez quelle version du guide s'applique à votre cas, car l'article décrit le projet.

La règle pratique consiste à adapter le niveau de détail du relevé au risque. Conservez des relevés complets, avec les étapes, les résultats attendus, les captures d'écran et les journaux, lorsqu'une défaillance pourrait porter atteinte aux personnes, aux finances ou à la conformité.

Johner évoque également les robots de test qui simulent les actions des utilisateurs et enregistrent les réactions, l'IA pouvant contribuer à l'évaluation. Si vous utilisez l'IA pour juger des résultats, considérez ses conclusions comme un brouillon, confiez la responsabilité du verdict à une personne et validez les fonctionnalités d'IA comme n'importe quel autre élément de l'outil. Un verdict de l'IA sans trace de son raisonnement constitue une preuve faible, et les contrôles pilotés par l'IA exigent le même relevé que tous les autres contrôles. Vous pouvez également automatiser la capture de ce relevé.

Rendre le relevé fiable et facile à retrouver

La collecte manuelle des preuves implique un travail manuel, et le travail manuel favorise les erreurs humaines, surtout en période d'audit, lorsque les équipes joignent les preuves à la main. Une preuve impossible à retrouver, ou que quelqu'un aurait pu modifier, est une preuve faible. Quatre habitudes aident à y remédier.

  1. Reliez chaque test à une exigence. TestCollab recommande de relier chaque test à l'exigence qu'il valide, afin que les preuves montrent quel test a couvert quelle exigence et avec quel résultat. Une matrice de traçabilité peut créer ces liens automatiquement.
  2. Conservez l’historique des exécutions de tests. Stockez l’historique afin qu’un relecteur puisse voir chaque exécution d’un test, et pas seulement la dernière exécution réussie. Les exécutions en échec qui ont été corrigées puis relancées doivent figurer dans l’historique.
  3. Contrôlez qui peut modifier quoi. Limitez les droits de modification aux résultats et aux pièces jointes, et consignez qui a modifié un test ou son résultat attendu. Demandez à votre équipe qualité si vous avez besoin de signatures formelles.
  4. Ajoutez une étape de validation. TestCollab propose un statut personnalisé, tel que « Needs Evidence Review », qui empêche de marquer un test comme terminé tant que les artefacts requis ne sont pas joints.

Le même guide propose trois mesures que vous pouvez suivre :

  • Couverture des preuves : la part des exécutions de tests qui disposent des artefacts requis. Son exemple : une couverture de 60 % alors qu’une stratégie exige des captures d’écran révèle un problème de processus.
  • Délai de production des preuves : le temps écoulé entre une exécution et le moment où les artefacts sont joints.
  • Vitesse de récupération : la capacité à extraire des preuves complètes pour n’importe quelle exigence en moins de cinq minutes, la norme que suggère le guide.

Gardez à l’esprit que le guide ne traite ni de la durée de conservation des enregistrements, ni de la manière d’empêcher leur altération. Ces réponses relèvent de votre régulateur, de vos contrats et de votre propre stratégie. Si votre entreprise est également soumise à un référentiel de conformité tel que SOC 2, demandez à votre responsable conformité si les mêmes enregistrements peuvent servir aux deux. Reliez ensuite le flux de tests à votre pipeline par le biais d’une intégration, afin que les enregistrements arrivent sans copie manuelle.

Quelles tâches de preuve automatiser, et lesquelles nécessitent une personne

L’automatisation des preuves fonctionne le mieux sur les étapes répétitives : collecte des données issues des exécutions de tests, ajout des journaux de tests et des captures d’écran, et association de chaque résultat à son exigence. À notre avis, cela vous épargne la corvée de collecte manuelle des preuves avant chaque cycle de préparation d’audit. Une personne doit néanmoins relire les preuves à l’appui, car seul un humain peut juger si elles étayent un contrôle ou une exigence d’audit précise. Conservez les scripts de test, les journaux de tests et les résultats des exécutions dans un même référentiel qui fait office de source de vérité, et réutilisez les mêmes preuves de conformité pour chaque référentiel qui les demande, si votre équipe qualité est d’accord.

Exemple : du branle-bas de combat aux cinq minutes

Les chiffres sont fictifs.

Un responsable QA prend en charge une application de facturation soumise à un contrôle interne. L’équipe exécute 60 tests automatisés avant chaque mise en production. Avant le contrôle, le relecteur choisit cinq exigences et demande la preuve des tests.

La première tentative est pénible. Les résultats des tests se trouvent dans une sortie de pipeline qui expire au bout de 30 jours. Des captures d’écran n’existent que pour 27 des 60 exécutions, soit une couverture des preuves de 45 %. Personne ne peut dire quel test couvre les avoirs. Il faut deux jours à l’équipe pour répondre, et la réponse comporte des lacunes.

Après le contrôle, le responsable apporte quatre modifications. Chaque test reçoit un identifiant d’exigence. Le pipeline joint une capture d’écran et l’enregistrement de l’exécution à chaque étape en échec, ainsi qu’une capture finale à chaque test critique. Les résultats, avec leur historique, sont transférés vers un référentiel conservé pendant toute la période de contrôle, et un statut de relecture bloque la finalisation tant que les artefacts ne sont pas joints. Le responsable rédige aussi une règle d’une page par type de test.

Lors du contrôle suivant, le relecteur interroge à nouveau sur cinq exigences. L’équipe exporte l’historique de chacune en environ cinq minutes par exigence. La couverture des preuves atteint désormais 58 exécutions sur 60, et les deux exceptions sont des tests de fumée documentés avec un statut seul, comme le permet la règle.

Erreurs courantes

  • Ne conserver que la réussite ou l’échec. Un relecteur ne peut pas savoir ce qui a été vérifié.
  • Capturer les preuves après coup. Les enregistrements reconstitués sont moins fiables et paraissent plus faibles.
  • Tout enregistrer, en permanence. La vidéo complète de chaque test coûte du stockage et du temps de relecture, alors que peu de ces contenus sont consultés.
  • Absence de lien avec les exigences. Sans traçabilité, vous ne pouvez pas démontrer ce qu’un test prouve.
  • Jeter l’historique. Les relecteurs peuvent interroger sur les exécutions en échec, et pas seulement sur le résultat final.
  • Faire aveuglément confiance à l’outil de test. Si ses enregistrements constituent vos preuves, l’outil qui les a produits peut lui-même devoir être validé.

Comment les logiciels peuvent aider

Commencez par votre outil de gestion des tests et votre système CI. Ils peuvent stocker les résultats, joindre des artefacts et conserver l’historique. Certains outils et plateformes de test proposent aussi des fonctions de preuve. Genta by Cognillo en est un exemple. Selon l’éditeur, il indique la réussite ou l’échec avec des captures d’écran, des journaux et des artefacts d’échec, et propose un contrôle d’accès basé sur les rôles, un journal d’audit et des exports de tableaux de bord vers Excel, CSV ou PDF. Ce sont les déclarations de l’éditeur, que M365.FM n’a pas testées. Comparez les outils dans le cadre d’un pilote et vérifiez si les enregistrements répondent à vos propres exigences de conformité.

Déclaration d’intérêts : Cognillo sponsorise M365.FM.

Prochaine étape

Choisissez une fonctionnalité soumise à réglementation et notez les cinq informations qu’un auditeur devrait voir pour ses tests. Vérifiez ensuite une exécution de test récente par rapport à cette liste, puis utilisez les lacunes constatées pour définir votre règle concernant les preuves de tests automatisés destinées aux audits.

Suivre le podcastSpotify

Entités dans cet article

End-to-end testing Audit readiness Compliance Genta Automation

Articles associés

RSS