M365Con 2027 – conferenza online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Quali test di regressione automatizzare per primi? Una guida alle decisioni

By · · Updated

Quali test automatizzare per primi? Parti dai test di regressione critici per il business, eseguiti di frequente e stabili. Usa cinque criteri e una semplice matrice di punteggio per decidere.

Automatically translated with AI from the original post. Read the English original

Quali test automatizzare per primi? Parti dai test di regressione che coprono flussi critici per il business, girano a ogni build, cambiano raramente e richiedono più tempo da ripetere a mano. Questa guida è pensata per i QA lead con un team ridotto e un lungo elenco di controlli manuali, che hanno bisogno di un ordine difendibile. Troverai cinque criteri di selezione, un elenco di ciò che per ora resta manuale e una semplice matrice di punteggio. Un esempio svolto con numeri di fantasia classifica cinque test candidati, così puoi replicare il metodo.

Punti chiave

  • Automatizza per primi i test di regressione che coprono flussi critici per il business, vengono eseguiti spesso, cambiano raramente e richiedono più tempo da ripetere a mano.
  • Ordina le funzionalità in base al costo del guasto: probabilità e gravità di un difetto determinano quale test merita l'automazione prima degli altri.
  • Lascia manuali per ora i controlli usati una sola volta, instabili, esplorativi o di usabilità, perché automatizzarli può costare più che eseguirli a mano.
  • Un punteggio ponderato da 1 a 5 su criticità, frequenza, stabilità, lavoro manuale e instabilità trasforma una discussione in un elenco ordinato.
  • Preferisci il livello di test più basso che funzioni e riserva i test end-to-end a livello di browser ai flussi in cui la validazione completa è essenziale.

Perché l'ordine di automazione conta

Automatizzare richiede impegno, e quell'impegno si ripaga solo quando un test viene eseguito molte volte. Un test che gira a ogni build si ripaga rapidamente. Un test eseguito una sola volta non si ripaga mai.

Nei team agili con sprint brevi, raramente c'è tempo per automatizzare tutto. L'automazione dei test è un investimento, quindi ragiona in termini di ritorno sull'investimento (ROI): le ore manuali che ogni caso di test automatizzato fa risparmiare, meno le ore necessarie per scrivere e mantenere i suoi script di test. L'ordine in cui automatizzi determina quindi la rapidità con cui l'investimento rende. Un team che automatizza dieci controlli di basso valore e lascia il checkout manuale ha impiegato le proprie energie nel posto sbagliato.

La guida di Ranorex su come capire cosa automatizzare colloca i test di regressione in cima alla lista delle priorità, perché le esecuzioni ripetute moltiplicano il risparmio. Consiglia inoltre di ordinare le funzionalità in base al costo del guasto e di aggiungere per primi alla suite di regressione i test delle funzionalità più rischiose.

L'articolo di TestDevLab su come dare priorità ai casi di test per il test di regressione descrive la stessa idea come prioritizzazione basata sul rischio: ordinare i casi di test in base a fattori come la probabilità di guasto e la gravità dell'impatto. Consiglia di partire dalle funzioni ad alto rischio e altamente critiche, per poi passare a quelle a rischio più basso. Sostiene inoltre che le funzionalità aggiornate di frequente e quelle complesse, composte da più componenti, meritano di essere testate prima.

Il messaggio pratico è questo: automatizza in base al rischio e alla frequenza di esecuzione del test, non in base all'elenco delle funzionalità o alla facilità.

Una breve strategia di automazione indica i candidati, gli strumenti, il responsabile e la data di revisione. La maggior parte delle best practice per l'automazione dei test inizia allo stesso modo: decidere cosa automatizzare e solo dopo scegliere lo strumento.

Quali test automatizzare per primi: cinque criteri

La guida di Katalon sulla selezione dei test di regressione afferma che i candidati forti per l'automazione soddisfano la maggior parte di una serie di condizioni. Questi cinque sono quelli che contano di più per un team piccolo.

  1. Critico per il business. Il test copre un flusso critico per i ricavi, sensibile dal punto di vista della sicurezza o centrale, come l'accesso, il checkout o i pagamenti. Se si rompe, se ne accorgono prima i clienti.
  2. Viene eseguito spesso. Il test viene eseguito a ogni pull request, a ogni build notturna o a ogni rilascio.
  3. Stabile. La funzionalità cambia raramente, quindi il test non richiederà continue riparazioni.
  4. Costoso se manuale. Il test è ripetitivo, lento e soggetto a errori umani. I controlli ripetuti e basati sui dati si adattano bene, perché gli stessi passaggi vengono eseguiti con molti input, ed è qui che l'automazione dei test fa risparmiare più tempo.
  5. Risultato chiaro. Il test ha un esito oggettivo di superamento o fallimento, facile da verificare, ad esempio tramite la schermata, una risposta API o lo stato del sistema. Copri nei dati di test i casi limite che contano, non ogni possibile input.

Un test che soddisfa quattro o cinque di questi criteri passa in cima alla coda. Un test che ne soddisfa uno o due attende.

Katalon aggiunge un'osservazione sui livelli: preferisci il livello più basso che funziona e automatizza i flussi dell'interfaccia utente instabili solo quando la validazione end-to-end è indispensabile. Se una regola può essere verificata con un unit test o con una chiamata API, quel controllo è di solito più veloce e più stabile di un test nel browser. I test lenti sull'interfaccia utente devono riguardare i pochi flussi che ne hanno davvero bisogno. Riserva il test end-to-end a livello di browser ai percorsi in cui va dimostrato l'intero cammino attraverso le schermate.

Allinea l'ordine alla piramide dei test e alla tua pipeline

La selezione dice cosa automatizzare. I livelli dicono dove farlo. La Practical Test Pyramid di Martin Fowler consiglia molti unit test piccoli e veloci, alcuni test più ampi e pochissimi test di alto livello. La sua regola per scegliere il livello è utile per una lista ordinata per priorità: se un test di livello superiore individua un errore e nessun test di livello inferiore fallisce, scrivi un test di livello inferiore. Spingi i test il più in basso possibile e rimuovi i test di alto livello che duplicano ciò che i livelli inferiori già coprono.

Quindi, prima di scrivere un test nel browser per un elemento della lista, poniti due domande. Un unit test o un test di integrazione potrebbe dimostrare la stessa regola più velocemente? Ci sono test automatizzati che ora sono ridondanti? Queste sono le nostre domande, basate sulla regola di Fowler, non una checklist tratta dalle fonti.

Poi colloca ogni test nella pipeline. Ranorex descrive gli smoke test come un piccolo sottoinsieme dei test di regressione che vengono eseguiti con ogni nuova build, e Katalon indica ogni pull request, build notturna e rilascio come i momenti in cui vengono eseguiti i candidati forti. Una suddivisione pratica, che è un nostro suggerimento, prevede un piccolo set di smoke test a ogni build e la suite di automazione più completa ogni notte o a ogni rilascio. Lascia il test esplorativo nelle mani del team QA e rivedi il piano ogni trimestre.

Cosa lasciare manuale per ora

Dire di no fa parte del piano. Ranorex elenca i casi in cui l'automazione non conviene:

  • Test usa e getta. Automatizzare un test può richiedere più tempo che eseguirlo a mano una sola volta. I test che entreranno nella suite di regressione o che sono basati sui dati non rientrano in questa categoria.
  • Funzionalità instabili. Finché un requisito è ancora sperimentale o in sviluppo, testalo manualmente.
  • Test senza un esito chiaro di superamento o fallimento. Automatizza solo quando il risultato è oggettivo.
  • Test esplorativi e di usabilità. Ranorex afferma che questi test non possono e non devono essere automatizzati, perché dipendono dal giudizio umano.

Le funzionalità che resistono all'automazione, come un CAPTCHA, richiedono un piano a parte. Ranorex suggerisce di disattivarle nell'ambiente di test, di aggiungere un bypass per gli sviluppatori o di mettere in pausa il test in attesa che un tester completi la verifica.

Manuale non significa dimenticato. Inserisci questi test in un elenco con una data di revisione, così una funzionalità che si è stabilizzata può passare in cima alla lista.

Assegna un punteggio ai candidati con una semplice matrice

Quando due test sembrano entrambi importanti, un punteggio rende visibile la decisione. Katalon consiglia di assegnare a ogni test un valore da 1 a 5 su fattori ponderati, moltiplicare ogni valore per il suo peso e sommare i risultati. I pesi di esempio sono: criticità per il business 0,3, frequenza di esecuzione 0,2, stabilità 0,2, sforzo manuale risparmiato 0,15 e punteggio di instabilità 0,15, dove un valore più alto significa un rischio minore di instabilità. Le soglie suggerite sono: 4,0 o più per automatizzare, da 3,0 a 3,9 per rivalutare più avanti, e sotto 3,0 per mantenere il test manuale o esplorativo.

Puoi usare questi pesi così come sono oppure modificarli. Il punto non è il numero esatto. Il punto è che il team concordi sui fattori prima di discutere i singoli test.

Da dove arrivano i punteggi? Katalon osserva che i dati di produzione e gli incidenti passati mostrano quali percorsi contano di più. TestDevLab descrive la prioritizzazione basata sulla storia, che ordina i test in base al loro passato nel rilevare difetti. Usa l'elenco degli incidenti e i ticket di supporto per compilare la colonna della criticità, e la cronologia delle build per compilare le colonne di frequenza e instabilità. Un punteggio basato sui dati è più facile da difendere di uno basato sull'opinione. Rivedi la classifica con tutto il team e tieni traccia della copertura dei flussi critici con un semplice conteggio: quanti dei tuoi primi dieci flussi hanno un test automatizzato?

Esempio: classifica di cinque test candidati

I punteggi sono inventati, mentre i pesi sono quelli indicati sopra.

Un QA lead deve classificare cinque verifiche manuali. Ogni fattore è valutato da 1 a 5.

  1. Esportazione delle fatture. Criticità 5, frequenza 5, stabilità 4, sforzo 4, punteggio di instabilità 3. Punteggio: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Da automatizzare per primo.
  2. Reimpostazione della password. Criticità 5, frequenza 3, stabilità 5, sforzo 3, punteggio di instabilità 4. Punteggio: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Da automatizzare subito dopo.
  3. Filtro del report. Criticità 3, frequenza 4, stabilità 4, sforzo 4, punteggio di instabilità 4. Punteggio: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Da rivalutare il prossimo trimestre.
  4. Nuovo layout della dashboard. Criticità 3, frequenza 3, stabilità 1, sforzo 3, punteggio di instabilità 2. Punteggio: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Mantenere manuale finché il design non si stabilizza.
  5. Caricamento della foto del profilo. Criticità 2, frequenza 2, stabilità 3, sforzo 2, punteggio di instabilità 2. Punteggio: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Mantenere manuale.

Il risultato è una classifica: esportazione delle fatture, poi reimpostazione della password, con il filtro del report in riserva. Il lead parte con un piccolo framework di automazione, dati di test condivisi e questi primi casi di test, quindi amplia la suite automatizzata. Il product owner può vedere le motivazioni e, quando la dashboard smette di cambiare, il suo punteggio di stabilità sale e può passare in alto nella classifica.

Errori comuni

  • Automatizzare prima i test più semplici. I test facili sono spesso a basso impatto, quindi la suite cresce senza proteggere ciò che conta.
  • Automatizzare una funzionalità instabile. I test si rompono a ogni modifica e il team smette di fidarsi di loro.
  • Contare i test invece dell'impatto. Una suite ampia di controlli a basso valore costa più di manutenzione di quanto faccia risparmiare.
  • Iniziare ogni controllo a livello di browser. Se un unit test o un controllo delle API può coprire la regola, di solito conviene mantenerlo a quel livello, perché costa meno.
  • Ignorare i test manuali che restano importanti. I controlli esplorativi e le revisioni di usabilità restano ai tester, e il software testing richiede entrambi i tipi di impegno.
  • Non rivedere mai la classifica. Utilizzo, impatto e stabilità cambiano, quindi rivedi l'elenco ogni trimestre.

Come può aiutare il software

Per iniziare basta un foglio di calcolo con i cinque criteri e i pesi. Aggiungi una colonna per la data dell'ultima revisione. Il tuo strumento di gestione dei test, se ne hai uno, può anche mostrare quante volte ogni test viene eseguito e quante volte fallisce, dati che alimentano i punteggi di frequenza e instabilità. I dati storici sui difetti del sistema dei ticket mostrano quali aree si rompono più spesso. Gli strumenti di test del browser, basati su script o in linguaggio naturale, hanno senso solo quando la classifica indica quali flussi meritano un test. Scegli lo strumento dopo aver avuto l'elenco, non prima.

Prossimo passo

Elenca le venti verifiche di regressione manuali più lente, assegna a ciascuna un punteggio sui cinque fattori e ordina il risultato. Poi automatizza le prime tre e usa questo elenco ordinato per rispondere alla domanda su quali test automatizzare per primi nella prossima riunione di pianificazione.

Entities in this article

Regression testing End-to-end testing Unit testing

Related articles

RSS