Copertura dei test per le app aziendali: come tenere traccia di ciò che è testato davvero
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Il monitoraggio della copertura dei test delle funzionalità mostra quali funzionalità di un'app aziendale hanno dei test e quali no. Crea una matrice di copertura, leggine le lacune e tienila aggiornata.
Automatically translated with AI from the original post. Read the English original
Il monitoraggio della copertura dei test delle funzionalità risponde a una domanda semplice per un'app aziendale: quali funzionalità hanno un test e che cosa è successo l'ultima volta che il test è stato eseguito? Questa guida è pensata per i QA lead che mantengono i test per le app line-of-business e che hanno bisogno di un quadro chiaro per le riunioni di rilascio. Vedrai in che cosa la copertura dei test nel software testing differisce dalla copertura del codice, come misurare la copertura dei test con una matrice di copertura e come mantenerla aggiornata. Un esempio svolto con numeri di fantasia mostra perché un'alta percentuale di funzionalità mappate può comunque nascondere lacune.
Punti chiave
- La copertura dei test chiede quali funzionalità, requisiti e casi d'uso hanno dei test, mentre la copertura del codice misura solo quanto codice sorgente è stato eseguito durante i test.
- Una matrice di copertura associa ogni requisito o funzionalità ai casi di test che lo verificano, insieme a priorità, risultati, stato e responsabile.
- Un test collegato indica una copertura documentata, non una validazione riuscita: tieni traccia dei risultati per build accanto ai collegamenti.
- Parti dall'elenco completo delle funzionalità, comprese quelle senza test, perché una matrice costruita solo dai test esistenti non può mostrare ciò che non è mai stato testato.
- Rivedi la matrice in fase di pianificazione, dopo le modifiche e prima delle decisioni di rilascio, e conserva istantanee datate come prova.
Che cosa significa copertura dei test e che cosa non significa
L'articolo di Perforce sulla copertura dei test rispetto alla copertura del codice distingue due concetti che i team spesso confondono.
- La copertura dei test riguarda funzionalità e casi d'uso. Aiuta a capire se sono stati considerati tutti gli scenari necessari e l'articolo la definisce un buon indicatore di rischio. Viene valutata rispetto a parametri come specifiche, rischio, funzionalità e prodotto.
- La copertura del codice misura quanto del codice sorgente di un'applicazione è stato eseguito durante i test, spesso espressa come percentuale di righe. Indica quale codice è stato testato e quale no.
Per un'applicazione aziendale, come un sistema di ordini o un portale HR, il primo concetto di solito conta di più per chi si affida al software. Un responsabile chiede se l'approvazione delle fatture è testata, non se la riga 4.200 è stata eseguita.
Lo stesso articolo mette in guardia dal leggere con troppa generosità entrambi i numeri. La copertura del codice non equivale necessariamente alla qualità del codice, e la copertura dei test non garantisce che un'applicazione sia priva di bug. Se i test sono deboli, anche la copertura è debole. Considera la copertura una mappa di dove hai guardato, non un voto.
Monitoraggio della copertura dei test delle funzionalità in quattro passaggi
La guida di TestRail sulla matrice di tracciabilità dei requisiti descrive un metodo che, per il monitoraggio della copertura dei test delle funzionalità, si può ridurre a quattro passaggi.
- Definisci l'ambito. Decidi quale rilascio o quale insieme di funzionalità copre la matrice, e a quali build e ambienti si applica.
- Elenca ogni funzionalità. Raccogli l'elenco completo degli elementi in ambito da fonti autorevoli e assegna a ciascuno un ID univoco e stabile. La guida insiste nel conservare l'elenco completo, inclusi gli elementi senza test. Un elenco costruito solo dai test esistenti non può rivelare ciò che non è mai stato collegato.
- Associa ogni elemento ai suoi test. Collega ogni elemento ai casi di test, alle revisioni o alle analisi che lo valutano, e verifica che quei controlli coprano i suoi criteri di accettazione principali.
- Registra i risultati e rivedi. Registra il risultato per la build interessata, collega i difetti ai risultati coinvolti, concordate cosa conta come verificato, e rivedi la matrice alla ricerca di associazioni mancanti e casi non aggiornati.
Parti da questo per i flussi più importanti e per ogni nuova funzionalità man mano che arriva. Ogni team QA ha il proprio flusso di lavoro, quindi mantieni i passaggi snelli. Una piccola matrice aggiornata vale più di una completa di cui nessuno si fida.
Quando un team sceglie di automatizzare un controllo, il quadro cambia solo un po'. Un test automatizzato resta comunque un singolo caso di test, e la copertura dell'automazione indica la quota di funzionalità mappate i cui test vengono eseguiti senza un tester. Conta questo dato in una colonna separata, accanto ai casi manuali, così il team vede quanto è automatizzato e quanto dipende ancora dalle persone. Metriche di copertura come queste aiutano la pianificazione, ma l'arretrato di funzionalità ad alto rischio non ancora testate è il numero che guida le azioni.
Cosa inserire nella matrice di copertura
TestRail elenca le colonne che una matrice completa può contenere. Per un piccolo team QA, bastano queste:
- ID del requisito o della funzionalità e una breve descrizione.
- Priorità o rischio, così da leggere le lacune nell'ordine giusto.
- ID dei casi di test collegati, che possono includere sia casi manuali sia casi automatizzati della tua suite di test end-to-end.
- Ultimo risultato e build, così la matrice mostra cosa è successo e quando.
- Stato, come non coperto, coperto, superato, fallito o bloccato.
- Responsabile, la persona che risponde per la riga.
PractiTest, nel suo articolo sulla matrice di tracciabilità dei requisiti, descrive la tracciabilità in entrambe le direzioni: da una funzionalità ai suoi test e da un test alla funzionalità che supporta. Le due direzioni aiutano in modi diversi. La prima mostra cosa ha una funzionalità. La seconda mostra perché esiste un test e quali test controllare quando cambia un requisito.
Leggere la matrice: lacune, profondità ed età
Una matrice è utile solo quanto le domande che le rivolgi.
- Lacune di associazione. Quali funzionalità non hanno test collegati? TestRail definisce la copertura delle associazioni come la quota di requisiti testabili nell'ambito con almeno un test collegato.
- Lacune di validazione. TestRail chiarisce che un test collegato indica una copertura documentata, non una validazione riuscita. Guarda l'ultimo risultato: il test è stato eseguito, e ha superato?
- Profondità. PractiTest avverte che si può testare qualcosa in modo completo in termini di percentuale ma non necessariamente bene in termini di profondità. Un solo test per funzionalità può essere superficiale, e le combinazioni di requisiti possono contare.
- Età. Un test che non viene eseguito da mesi dice poco sulla build di oggi. Mostra la data dell'ultima esecuzione.
- Test orfani. I test non collegati a nulla possono proteggere un rischio che l'elenco delle funzionalità non cattura. TestRail consiglia di rivedere i test non collegati prima di rimuoverli.
Un breve elenco dei cinque rischi più gravi è più utile in una riunione di rilascio di una tabella con duecento righe.
Dove gli strumenti di copertura del codice sono ancora utili
La nota di Martin Fowler sulla copertura dei test definisce uno strumento di copertura «un utile strumento per trovare le parti non testate di una base di codice» e suggerisce di eseguirlo ogni tanto per esaminare il codice non testato. Scrive anche che la copertura serve poco come affermazione numerica sulla qualità dei test, perché valori di copertura elevati si raggiungono troppo facilmente con test di bassa qualità. Diffiderebbe di qualsiasi valore vicino al 100 per cento, e considera una copertura sotto circa la metà un segnale di problemi. Aggiunge che la copertura è più utile soprattutto a chi scrive i test, perché leggerla richiede giudizio tecnico.
Per un QA lead, questo suggerisce una suddivisione del lavoro. A nostro avviso, gli sviluppatori leggono il report di copertura per i test unitari e i test di integrazione, mentre il team QA legge la matrice delle funzionalità per migliorare la copertura dei test dove il rischio per il business è più alto, sia nei test manuali sia nell'automazione dei test. Nessuno dei due numeri, da solo, dà sicurezza per il rilascio. Entrambi sono una mappa degli sforzi di test, non una prova della qualità del prodotto.
Mantienila aggiornata
Una matrice non aggiornata è peggio di nessuna matrice, perché le persone si fidano di lei. TestRail consiglia di rivederla durante la pianificazione, dopo ogni modifica e prima delle decisioni di rilascio, e di conservare un'istantanea datata quando serve la prova su cui si basa una decisione. Suggerisce anche di nominare un coordinatore e dei responsabili per le richieste di modifica, gli aggiornamenti dei test e le decisioni di verifica. PractiTest aggiunge che la matrice deve restare visibile a tutti coloro che ne hanno bisogno, e avverte che le copie del foglio di calcolo inviate via email generano confusione su quale versione sia quella attuale.
Mantieni una sola versione condivisa. Se usi uno strumento di gestione dei test, lascia che aggiorni i collegamenti e i risultati man mano che i test vengono eseguiti, così la matrice non dipende dalla memoria di qualcuno. Supporta anche il tuo regression testing, perché i collegamenti mostrano quali test di regressione rieseguire dopo una modifica.
Esempio: 40 funzionalità, tre numeri diversi
I numeri sono inventati.
Un QA lead tiene traccia di 40 funzionalità di un'app per la gestione degli ordini. La matrice mostra tre quadri diversi.
- Mappate: 31 funzionalità su 40 hanno almeno un test collegato. Si tratta di una copertura della mappatura del 77,5 per cento.
- Verificate: di queste 31, 22 sono passate sull'ultima build. Cinque sono fallite o bloccate, e quattro non vengono eseguite da 90 giorni. La copertura verificata è 22 su 40, ovvero il 55 per cento.
- Lacune: 9 funzionalità non hanno alcun test. Tre di esse sono ad alto rischio: rimborsi, modifiche manuali dei prezzi e cambi di ruolo degli utenti.
Il lead presenta al product owner il secondo numero, non il primo. Il prossimo sprint del team aggiunge test per le tre lacune ad alto rischio, risolve i cinque test falliti o bloccati e riesegue i quattro non aggiornati. La percentuale nella dashboard sale, e con essa cresce la fiducia che ne deriva. Una matrice che mostrasse solo il 77,5 per cento avrebbe nascosto il problema.
Errori comuni
- Considerare la copertura del codice come copertura delle funzionalità. Le righe eseguite non dicono nulla sulle funzioni di business non testate.
- Costruire la matrice solo a partire dai test esistenti. Non vedrai mai ciò che non ha alcun test.
- Considerare un collegamento come una prova. Mostra l'ultimo risultato per ogni build.
- Inseguire una percentuale. Un obiettivo del 100 per cento incentiva test superficiali che sfiorano appena ogni funzionalità.
- Lasciare che la matrice diventi obsoleta. Rivedila in fase di pianificazione, dopo le modifiche e prima del rilascio.
- Conservare copie via email. Più versioni generano discussioni su quale sia quella corretta.
Come può aiutare il software
Un foglio di calcolo è un buon punto di partenza. Uno strumento di gestione dei test può collegare i test alle funzionalità e aggiornare automaticamente i risultati, eliminando la manutenzione manuale. Genta by Cognillo è un esempio. Secondo il fornitore, include la gestione di casi di test e suite con il monitoraggio della copertura delle funzionalità, esecuzioni pianificate e dashboard esportabili in Excel, CSV o PDF. Si tratta di dichiarazioni del fornitore, non verificate da M365.FM. Confrontalo con altre opzioni e verifica come ogni strumento collega i risultati ai requisiti prima di scegliere.
Dichiarazione: Cognillo sponsorizza M365.FM.
Prossimo passo
Prendi il tuo flusso di lavoro di business più importante, elenca le sue dieci funzionalità e mappa ciascuna ai relativi test in una matrice semplice, con l'ultimo risultato e la data. Poi porta le tre lacune più grandi alla prossima riunione di rilascio e concordate chi sarà responsabile del monitoraggio della copertura dei test delle funzionalità da quel momento in poi.