M365Con 2027 – conferenza online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Evidenze di test per gli audit: screenshot, log e registri di esito pass/fail

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Evidenze di test automatizzati per gli audit: cosa deve raccogliere un QA lead, come mantenere screenshot, log e registri di esito pass/fail verificabili e come rispondere a un auditor.

Automatically translated with AI from the original post. Read the English original

Le evidenze di test automatizzati per gli audit sono l'insieme di registrazioni che dimostra che un test è stato eseguito, mostra cosa ha verificato e descrive cosa è successo, in una forma che un estraneo possa esaminare anche mesi dopo. Questa guida è rivolta ai QA lead i cui team devono fornire prove durante una verifica di conformità o una convalida. Vedrai cosa cerca un auditor, quali parti di un'esecuzione di test vale la pena conservare, quanto dettaglio registrare e come organizzarlo. Un esempio pratico, con numeri inventati, mostra un team che passa da un'emergenza a una risposta in cinque minuti.

Punti chiave

  • Un auditor deve poter capire dalle sole registrazioni cosa è stato testato, cosa ci si aspettava, cosa è successo e chi o cosa ha eseguito il test: per questo un semplice pass o fail raramente basta.
  • Un'evidenza utile si compone di cinque parti: screenshot o registrazioni, log di esecuzione, allegati come i dati di test, metadati di esecuzione e collegamenti dai fallimenti ai difetti.
  • Gli screenshot non sono richiesti per legge, e i log di sistema possono costituire evidenza se sono affidabili e lo strumento di automazione dei test è a sua volta convalidato.
  • Calibra il livello di dettaglio dell'evidenza sul rischio: conserva registrazioni complete per le funzioni ad alto rischio e registrazioni più snelle per quelle a basso rischio.
  • Collega ogni test a un requisito e misura quanto rapidamente riesci a recuperare un'evidenza completa per un singolo requisito.

Cosa chiedono davvero gli auditor

Un auditor non vuole il tuo strumento di test. Vuole valutare se il prodotto fa ciò che deve fare e se le tue registrazioni lo dimostrano. L'articolo del Johner Institute sulla evidenza oggettiva, scritto per la qualità dei dispositivi medici, lo esprime così: la documentazione deve essere abbastanza dettagliata da permettere a una persona non coinvolta di capire cosa è stato fatto e perché i requisiti sono soddisfatti.

Lo stesso articolo descrive quattro livelli di dettaglio nelle registrazioni di test, da un semplice «superato» o «non superato» fino a un video completo. Giudica il primo livello insufficiente, afferma che il secondo offre una tracciabilità limitata e sostiene che dal terzo livello, quello degli screenshot, chi verifica dovrebbe avere materiale sufficiente su cui lavorare. Aggiunge inoltre che un semplice pass o fail non viene accettato di routine.

Il tuo settore ha regole proprie, ma sotto quasi ogni framework o standard ricorrono le stesse domande:

  • Cosa è stato testato e rispetto a quale requisito?
  • Cosa ti aspettavi che accadesse?
  • Cosa è successo e chi o cosa ha eseguito il test?
  • Quando e in quale ambiente è avvenuto?
  • Se il test è fallito, cosa hai fatto al riguardo?

Un fascicolo di evidenze che risponde a queste cinque domande senza bisogno di spiegazioni a voce è ciò che definisce un buon fascicolo. Considera questo aspetto parte della preparazione agli audit per il tuo team di test, così da essere pronto per l'audit tutto l'anno e non solo nelle settimane precedenti una verifica.

Evidenze di test automatizzati per gli audit: cosa registrare

La guida di TestCollab su una strategia per le evidenze di test individua cinque tipi di evidenza. Costituiscono una buona checklist per qualsiasi documentazione:

  1. Screenshot e registrazioni. Prove visive degli stati della schermata, dei messaggi di errore e dei malfunzionamenti, particolarmente utili nei test end-to-end basati su browser.
  2. Log di esecuzione. Registrazioni passo dopo passo di ciò che è stato superato, di ciò che è fallito e del motivo.
  3. Allegati. Dati di test, snapshot della configurazione, risposte delle API o report esportati.
  4. Metadati di esecuzione. Chi ha avviato l'esecuzione, quando, in quale ambiente e con quale configurazione.
  5. Collegamenti ai difetti. Un collegamento tra ogni test fallito e il relativo ticket di bug.

Automatizzare la raccolta delle prove è il passo successivo naturale, e i team che lo fanno smettono di dipendere dalla memoria. Uno strumento può allegare uno screenshot in caso di errore e inviare i risultati, insieme agli allegati, a un sistema di gestione dei test; prove automatizzate di questo tipo non richiedono che qualcuno si ricordi di nulla. La guida aggiunge un punto utile: le prove acquisite durante il test sono più accurate di quelle ricostruite in seguito. Una buona acquisizione delle prove, con le registrazioni conservate accanto ai risultati, batte un foglio di calcolo che qualcuno compila poco prima dell'audit.

Non ogni test richiede ogni tipo di artefatto. La guida suggerisce che uno smoke test possa aver bisogno solo di uno stato, mentre un test di accettazione potrebbe richiedere uno screenshot di ogni schermata critica e un test di regressione potrebbe richiedere log di esecuzione e dettagli dell'ambiente. Scrivi queste regole una volta sola, per tipo di test, in modo che il processo di audit non dipenda da supposizioni.

Screenshot, log o video: quanto basta

Johner fa tre osservazioni che fanno risparmiare tempo.

  • Gli screenshot non sono un requisito di legge. Sono un modo per mostrare cosa è accaduto, ad esempio che è comparso un determinato avviso.
  • I log possono valere come prova. Le condizioni sono che l'output a schermo e le voci del log corrispondano, che i risultati siano valutati rispetto ai requisiti, che lo strumento di automazione dei test sia convalidato e che le registrazioni rispettino le norme applicabili, come il 21 CFR Part 11 per i documenti elettronici negli Stati Uniti.
  • Il video ha dei costi. Mostra l'esecuzione ma non valuta il risultato, richiede tempo per essere rivisto, occupa molto spazio di archiviazione ed è difficile da usare per i test di regressione.

La bozza di linee guida della FDA sulla computer software assurance, illustrata in un articolo di Jama Software, va nella stessa direzione. Secondo quell'articolo, gli screenshot non sono richiesti, e i log di sistema, le tracce di audit e altri dati elettronici possono costituire la registrazione. La registrazione dovrebbe mostrare l'uso previsto, la determinazione del rischio, le attività di assurance svolte, eventuali problemi rilevati e una conclusione sull'accettabilità dei risultati. L'articolo descrive anche un approccio basato sul rischio: test scriptati per le funzioni ad alto rischio e test non scriptati per quelle a rischio più basso. Verifica quale versione delle linee guida si applica al tuo caso, perché l'articolo descrive la bozza.

La regola pratica è commisurare il livello di dettaglio della registrazione al rischio. Conserva registrazioni complete, con passaggi, risultati attesi, screenshot e log, dove un guasto potrebbe danneggiare persone, denaro o la conformità.

Johner menziona anche i test robot che simulano le azioni dell'utente e registrano le reazioni, con l'AI che potrebbe supportare la valutazione. Se usi l'AI per giudicare i risultati, tratta l'output dell'AI come una bozza, mantieni una persona responsabile del verdetto e convalida le funzionalità di AI come qualsiasi altra parte dello strumento. Un verdetto dell'AI senza una registrazione del ragionamento è una prova debole, e i controlli affidati all'AI richiedono la stessa registrazione di tutti gli altri controlli. Puoi automatizzare anche la cattura di questa registrazione.

Rendi la registrazione affidabile e facile da trovare

La raccolta manuale delle prove significa lavoro manuale, e il lavoro manuale favorisce gli errori umani, soprattutto durante la stagione degli audit, quando i team allegano le prove a mano. Le prove che non si riescono a trovare, o che qualcuno avrebbe potuto modificare, sono prove deboli. Quattro abitudini aiutano.

  1. Collega ogni test a un requisito. TestCollab consiglia di collegare ogni test al requisito che convalida, così le prove mostrano quale test ha coperto quale requisito e con quale esito. Una matrice di tracciabilità può creare automaticamente questi collegamenti.
  2. Conserva la cronologia delle esecuzioni dei test. Archivia lo storico, così un revisore può vedere ogni esecuzione di un test, non solo l'ultima andata a buon fine. Le esecuzioni fallite che sono state corrette e ripetute devono far parte dello storico.
  3. Controlla chi può modificare cosa. Limita le autorizzazioni di modifica a risultati e allegati, e registra chi ha cambiato un test o il suo risultato atteso. Chiedi al tuo team qualità se ti servono firme formali.
  4. Aggiungi un passaggio di revisione. TestCollab suggerisce uno stato personalizzato come "Needs Evidence Review" che impedisce di contrassegnare un test come completato finché non sono stati allegati gli artefatti richiesti.

La stessa guida propone tre misure che puoi monitorare:

  • Copertura delle prove: la percentuale di esecuzioni dei test che dispongono degli artefatti richiesti. L'esempio della guida è che il 60 percento rispetto a un criterio che richiede screenshot indica un problema di processo.
  • Tempo per la raccolta delle prove: quanto rapidamente, dopo un'esecuzione, vengono allegati gli artefatti.
  • Velocità di recupero: se riesci a estrarre prove complete per qualsiasi requisito in meno di cinque minuti, che è lo standard suggerito dalla guida.

Tieni presente che la guida non copre per quanto tempo conservare i registri né come prevenirne le manomissioni. Queste risposte arrivano dal tuo regolatore, dai tuoi contratti e dalla tua policy aziendale. Se la tua azienda lavora anche secondo un framework di conformità come SOC 2, chiedi al responsabile della conformità se gli stessi registri possono servire a entrambi, e collega il flusso di test alla tua pipeline tramite un'integrazione, così i registri arrivano senza copiature manuali.

Quali attività di raccolta delle prove automatizzare e quali richiedono una persona

L'automazione delle prove funziona meglio sui passaggi ripetitivi: raccolta dei dati dalle esecuzioni dei test, allegato dei log e degli screenshot, e collegamento di ogni risultato al proprio requisito. A nostro avviso, questo ti risparmia il lavoro noioso di raccogliere manualmente le prove prima di ogni ciclo di preparazione a un audit. Una persona deve comunque rivedere le prove a supporto, perché solo una persona può giudicare se esse dimostrano un controllo specifico o un requisito di audit. Conserva script di test, log e risultati delle esecuzioni in un unico archivio che funga da fonte di verità, e usa le stesse prove di conformità per ogni framework che le richiede, se il tuo team qualità è d'accordo.

Esempio: da un'emergenza a cinque minuti

I numeri sono inventati.

Un QA lead supporta un'applicazione di fatturazione che rientra in una verifica di controllo interna. Il team esegue 60 test automatizzati prima di ogni rilascio. Prima della verifica, il revisore sceglie cinque requisiti e chiede la prova dei test eseguiti.

Il primo tentativo è doloroso. I risultati dei test si trovano in un output della pipeline che scade dopo 30 giorni. Gli screenshot esistono solo per 27 delle 60 esecuzioni, cioè una copertura delle prove del 45 percento. Nessuno sa dire quale test copra le note di credito. Al team servono due giorni per rispondere, e la risposta ha delle lacune.

Dopo la verifica, il lead apporta quattro modifiche. Ogni test riceve un ID di requisito. La pipeline allega uno screenshot e il record di esecuzione a ogni passaggio fallito, e uno screenshot finale a ogni test critico. I risultati, con lo storico, vengono spostati in un archivio conservato per tutto il periodo di verifica, e uno stato di revisione blocca il completamento finché non sono allegati gli artefatti. Il lead scrive inoltre una regola di una pagina per ogni tipo di test.

Alla verifica successiva, il revisore chiede di nuovo informazioni su cinque requisiti. Il team esporta lo storico di ciascuno in circa cinque minuti per requisito. La copertura delle prove è ora di 58 esecuzioni su 60, e le due eccezioni sono test smoke documentati con il solo stato, come consente la regola.

Errori comuni

  • Conservare solo superato o fallito. Un revisore non può capire che cosa sia stato verificato.
  • Raccogliere le prove a posteriori. I registri ricostruiti sono meno accurati e appaiono più deboli.
  • Registrare sempre tutto. Il video completo di ogni test costa in spazio di archiviazione e tempo di revisione, e se ne guarda poco.
  • Nessun collegamento ai requisiti. Senza tracciabilità non puoi dimostrare che cosa prova un test.
  • Eliminare lo storico. I revisori possono chiedere delle esecuzioni fallite, non solo del risultato finale.
  • Fidarsi ciecamente dello strumento di test. Se i suoi registri sono le tue prove, anche lo strumento che li ha prodotti potrebbe dover essere convalidato.

Come può aiutare il software

Inizia dal tuo strumento di gestione dei test e dal sistema di CI. Possono archiviare i risultati, allegare gli artefatti e conservare la cronologia. Alcuni strumenti e piattaforme di test offrono anche funzionalità per la raccolta di prove. Genta by Cognillo è un esempio. Secondo il fornitore, registra l'esito positivo o negativo con screenshot, log e artefatti di errore, e offre controllo degli accessi basato sui ruoli, un registro di controllo ed esportazioni delle dashboard in Excel, CSV o PDF. Si tratta di affermazioni del fornitore, non verificate da M365.FM. Confronta gli strumenti in un pilota e verifica se i registri soddisfano le tue regole di conformità.

Informativa: Cognillo sponsorizza M365.FM.

Prossimo passo

Scegli una funzionalità regolamentata e annota quali cinque informazioni un auditor dovrebbe vedere per i suoi test. Poi verifica un'esecuzione di test recente rispetto a questo elenco e usa le lacune emerse per definire la tua regola sulle prove dei test automatizzati per gli audit.

Segui il podcastSpotify

Entities in this article

End-to-end testing Audit readiness Compliance Genta Automation

Related articles

RSS