M365Con 2027 – conferenza online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Test end-to-end instabili: perché falliscono e come ridurli

By · · Updated

I test end-to-end instabili passano e falliscono senza alcuna modifica al codice. Scopri le cinque cause più comuni, come correggere attese e dati di test, e cosa fare con i test che non riesci a sistemare.

Automatically translated with AI from the original post. Read the English original

I test end-to-end instabili sono test automatici sul browser che in un'esecuzione passano e in quella successiva falliscono, senza alcuna modifica al codice, al test o all'ambiente. Questa guida è rivolta a QA lead e ingegneri dell'automazione che dedicano più tempo a rieseguire build rosse che a correggere bug. Vedrai perché questi test risultano instabili, quali sono le cinque cause più comuni, come correggere quella più grave (l'attesa) e come gestire i test che non si possono ancora sistemare. Un esempio svolto con numeri di fantasia mostra come individuare la causa radice in tre passaggi.

Punti chiave

  • Un test instabile a volte passa e a volte fallisce senza alcuna modifica al codice, al test o all'ambiente, quindi un errore non dice nulla finché non ripeti l'esecuzione.
  • Google ha riportato che circa l'1,5 per cento delle sue esecuzioni di test è risultato instabile e quasi il 16 per cento dei suoi test ha mostrato un certo grado di instabilità. Su larga scala l'instabilità è quindi normale e richiede un piano.
  • Le cinque cause più comuni sono stato condiviso, tempistiche, servizi remoti, orologio di sistema e risorse non rilasciate, e le tempistiche sono la prima cosa da verificare nei test sul browser.
  • Sostituisci le pause fisse con attese su una condizione visibile e assegna a ogni test i propri dati, così i test non possono interferire tra loro.
  • Metti in quarantena un test instabile come soluzione provvisoria, ma limita quanti test possono restarvi e per quanto tempo, altrimenti la suite di regressione perde gradualmente il proprio valore.

Perché i test instabili fanno così tanti danni

Un test è instabile quando il suo risultato non è ripetibile. L'articolo di Martin Fowler sulla non determinismo nei test definisce un test non deterministico come un test che "passa a volte e fallisce a volte", "senza alcuna modifica percepibile al codice, ai test o all'ambiente".

Il danno nasce dalla perdita di fiducia. Se una build rossa potrebbe essere un bug reale o solo rumore, le persone imparano a ignorare le build rosse. A quel punto un difetto reale passa inosservato. I team sprecano anche tempo: ogni fallimento richiede una ri-esecuzione prima che qualcuno possa dire se conta davvero. Una suite instabile rallenta anche la pipeline CI, perché ogni esecuzione fallita attende un nuovo tentativo e blocca dietro di sé la coda delle integrazioni.

I numeri dei grandi sistemi mostrano che questo fenomeno è normale, non raro. Un post del Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, riporta che circa l'1,5 per cento di tutte le esecuzioni di test ha dato un risultato instabile, e quasi il 16 per cento dei test presentava un certo livello di instabilità. Dice inoltre che circa l'84 per cento delle transizioni da superato a fallito osservate coinvolge un test instabile, e che il progetto medio contiene circa 1.000 test individuali. I tuoi numeri saranno diversi, ma la lezione resta valida: su larga scala l'instabilità è una certezza, quindi serve un processo.

I test end-to-end basati sul browser sono particolarmente esposti. Ogni test dipende da un browser, da una rete, da un'applicazione distribuita, da account di test e spesso da servizi di terze parti. Più parti in movimento significano più occasioni di variazione. Per questo i test e2e tendono a essere meno stabili dei test unitari, che hanno molte meno parti in movimento.

Le cinque cause più comuni dei test end-to-end instabili

L'articolo di Fowler individua cinque cause ricorrenti. Ognuna di esse si applica ai test sul browser.

  1. Mancanza di isolamento. I test condividono lo stato, come i record del database o una sessione già autenticata, quindi un test modifica ciò che un altro vede. Soluzione: ricostruire lo stato iniziale per ogni test, oppure ripulire tutto al termine.
  2. Comportamento asincrono. La pagina impiega tempo a rispondere e il test agisce troppo presto o troppo tardi. Il consiglio di Fowler è di non usare mai pause fisse (sleep) per attendere risposte asincrone, ma di ricorrere a una callback o al polling.
  3. Servizi remoti. Un sandbox di pagamento, un servizio di posta o un provider di identità in ttutto e per tutto esterno può essere lento o non disponibile. Soluzione: sostituire il sistema remoto con un test double, ogni volta che il test non ha bisogno di quello reale.
  4. Tempo. I test che leggono l'orologio di sistema si comportano in modo diverso a mezzanotte, a fine mese o tra fusi orari diversi. Soluzione: controllare l'orologio all'interno del test.
  5. Perdite di risorse. Un test lascia aperta una connessione o una sessione, e un test successivo, non correlato, fallisce quando la risorsa si esaurisce.

Il post di Google aggiunge concorrenza, dipendenza da comportamenti non deterministici o non definiti, codice di terze parti instabile e problemi di infrastruttura. Usa entrambi gli elenchi come checklist quando indagini sulla causa di un test che fallisce.

Prima sistema le attese

Nei test del browser, il timing è di solito il primo sospettato. Un test che clicca un pulsante prima che sia pronto, o verifica un messaggio prima che compaia, passerà su una macchina veloce e fallirà su una macchina occupata.

Una pausa fissa, come «attendi 5 secondi», è la soluzione peggiore. Fa perdere tempo quando la pagina è rapida, e fallisce comunque quando la pagina è lenta. Fowler descrive il polling come un controllo ripetuto e non una sola verifica, e sostiene che i limiti di tempo non dovrebbero mai essere valori fissi nel test.

Gli strumenti moderni includono già questo meccanismo. La documentazione di Playwright sull' actionability elenca i controlli che esegue prima di un'azione: l'elemento deve essere visibile, stabile (la sua posizione non cambia tra un frame di animazione e il successivo), abilitato, in grado di ricevere eventi nel punto del clic e, per la digitazione, modificabile. Playwright attende che i controlli vadano a buon fine, oppure termina con un errore di timeout. La sua pagina delle best practice aggiunge che le asserzioni web-first ripetono la verifica finché la condizione non è soddisfatta.

Regole pratiche:

  • Attendi una condizione che un utente potrebbe vedere, come un titolo o una riga, e non un numero di secondi.
  • Preferisci un selettore basato su ruolo, testo o ID di test rispetto a percorsi CSS o XPath lunghi, che si interrompono quando cambia il layout della pagina.
  • Imposta un unico timeout generoso per l'intero passaggio, invece di molte piccole pause.
  • Verifica il risultato con un'asserzione che venga ripetuta.

Isola i dati di test e l'ambiente di test

La seconda leva importante sono i dati. Assegna a ogni test il proprio account, il proprio ordine o la propria cartella. Non permettere a due test di modificare lo stesso record. Se i test devono essere eseguiti in parallelo, i dati condivisi garantiscono errori casuali.

Valuta anche l'ambiente. Un sistema di staging condiviso, sul quale altri team effettuano deployment durante la tua esecuzione, causerà errori che nessuna correzione dei test può risolvere. Concordate delle finestre di deployment, oppure esegui la suite su un ambiente dedicato.

Se un passaggio dipende da un servizio esterno, chiediti se il test riguarda quel servizio. Se non è così, sostituiscilo con uno stub. Mantieni un numero ridotto di test che usano il servizio reale e trattali come un gruppo a parte.

Infine, rendi ogni errore facile da diagnosticare. Conserva nella pipeline CI il log, uno screenshot e una trace di ogni esecuzione di test fallita. La documentazione di Playwright sulle best practice suggerisce di raccogliere una trace al primo tentativo ripetuto di un test che fallisce, così puoi riprodurre cosa è successo invece di fare ipotesi. Con un log e una trace, un test instabile diventa un problema di flusso di lavoro chiaro e risolvibile, come un timeout su un passaggio dell'interfaccia lento.

Cosa fare con i test che non puoi ancora correggere

Alcuni test instabili richiedono più tempo di quello che hai a disposizione, e alcuni dipendono da codice che non possiedi. In quel caso gestiscili in modo trasparente e mantieni affidabili i risultati dei test stabili.

  • Quarantena. Fowler descrive lo spostamento dei test non deterministici in una suite separata, in modo che i test sani continuino a fornire un feedback affidabile. Aggiunge che i test in quarantena vanno comunque corretti rapidamente, e che bisogna limitare quanti ne possono accumulare o per quanto tempo possono restare in quarantena.
  • Ripetizione con registrazione. Google descrive la riesecuzione dei test che falliscono e il contrassegno di un test come instabile, in modo che il test segnali un errore solo dopo tre fallimenti consecutivi. Il post definisce questa soluzione tutt'altro che perfetta e avverte che potrebbe facilmente mascherare una vera race condition o un altro bug nel codice sotto test.
  • Monitora la instabilità nel tempo. Google descrive anche strumenti che rilevano variazioni nel livello di instabilità di un test. Anche un semplice elenco dei test con la relativa percentuale di successo indica da dove iniziare.

Qualunque strada tu scelga, rendi visibile l'elenco dei test instabili, assegna a ogni test un responsabile e fissa una scadenza.

Esempio: trovare la causa in tre passaggi

I numeri sono inventati.

Una suite contiene 200 test di browser. In due settimane, 14 di questi falliscono almeno una volta senza alcuna modifica al codice. Sono il 7 percento dei test.

  1. Raggruppa per causa. Il team legge i log dei fallimenti e suddivide i 14 test. Otto falliscono per un timeout su un pulsante, quattro falliscono perché due test modificano lo stesso record cliente, e due falliscono solo dopo un deploy in staging.
  2. Correggi il gruppo più numeroso. Il team sostituisce le attese fisse negli otto test legati ai tempi con attese su condizioni visibili. Sette smettono di fallire.
  3. Correggi il gruppo successivo. Ogni test che modificava il cliente condiviso ora crea un proprio cliente. I quattro test smettono di fallire.

Dopo il terzo passaggio restano tre test instabili. Il team mette in quarantena i due test legati al deploy e assegna a ciascuno un responsabile e una scadenza di due settimane. La quota di test instabili della suite scende dal 7 al 1,5 percento, e il team la ricontrolla ogni settimana.

Errori comuni

  • Aggiungere attese fisse. Nascondono il problema per un po' e rallentano ogni esecuzione.
  • Ripetere tutto e andare avanti. I tentativi ripetuti senza una registrazione nascondono i difetti reali, e la causa principale resta al suo posto.
  • Condividere i dati di test tra più test. Con le esecuzioni in parallelo, questo si traduce in fallimenti casuali.
  • Testare i servizi di terze parti in ogni test. Sostituiscili con stub dove il servizio non è l'oggetto del test.
  • Lasciare crescere la quarantena senza limiti. Una quarantena senza responsabile diventa un cimitero.
  • Dare subito la colpa allo strumento. Verifica tempi, dati e ambiente prima di cambiare framework.

Come può aiutare il software

Parti da ciò che offre il tuo framework: attesa automatica, tracce e ripetizioni in CI. Aggiungi una dashboard dei fallimenti per test e per causa, così i pattern diventano visibili. Un foglio di calcolo va bene all'inizio. Gli strumenti che usano un agente AI per eseguire i test a partire da passaggi descritti in linguaggio naturale possono ridurre alcuni problemi di tempistica, perché l'agente decide quanto attendere, ma portano con sé rischi propri, come l'interpretazione errata delle istruzioni. Prova questi strumenti su pochi test e confronta il tasso di instabilità prima di decidere.

Prossimo passo

Questa settimana elenca i dieci test più inaffidabili, assegna a ciascuno una causa probabile tra le cinque descritte sopra e risolvi per primi i problemi di attesa. Poi monitora ogni settimana il tasso di test end-to-end instabili e proteggi il valore della tua suite di test di regressione con un limite alla quarantena.

Entities in this article

End-to-end testing Regression testing AI agent

Related articles

RSS