Si possono generare casi di test dalle user story con l'IA? Cosa verificare per prima cosa
By Mirko Peters · · Updated
Si possono generare casi di test dalle user story con l'IA? Gli studi mostrano bozze rapide ma con lacune. Ecco cosa verificare per prima cosa: copertura, ambiguità, casi limite e test inventati.
Automatically translated with AI from the original post. Read the English original
Si possono generare casi di test dalle user story con l'IA? Sì, e lo fa in pochi secondi, ma la bozza va controllata con attenzione prima di entrare nella suite di test. Questa guida è pensata per i QA lead che vogliono provarla senza abbassare la qualità. Vedrai cosa hanno rilevato due studi pubblicati, quali problemi ricorrono e una checklist per verificare una bozza. Un esempio svolto con numeri di fantasia mostra come una revisione modifica un gruppo di casi di test generati.
Punti chiave
- L'IA può preparare bozze di casi di test dalle user story in secondi o minuti. Un esperimento di Thoughtworks ha rilevato un'ampia copertura dei criteri di accettazione dichiarati, ma la qualità dipendeva dalla chiarezza della storia.
- Lo stesso esperimento ha misurato ambiguità in circa il 27% dei casi generati e circa il 6% di casi errati, quindi la revisione non è facoltativa.
- Gli studi descrivono quattro problemi ricorrenti: casi irrilevanti o inventati, casi ridondanti, casi limite mancanti e input non specificati in modo completo.
- Confronta ogni bozza con i criteri di accettazione, rimuovi i duplicati, aggiungi casi limite e percorsi negativi e riscrivi ogni passaggio vago.
- Considera il modello un assistente che prepara le bozze e lascia a una persona la responsabilità di ciò che entra nella suite di regressione.
Si possono generare casi di test dalle user story con l'IA? Cosa hanno rilevato gli studi
Un articolo di Thoughtworks, AI generated test cases from user stories: an experimental research study, descrive un piccolo esperimento. Tre ingegneri QA con tre-cinque anni di esperienza hanno scritto casi di test manuali per nove user story. Poi strumenti di IA generativa, principalmente GitHub Copilot con ChatGPT come confronto, hanno prodotto casi di test per le stesse storie partendo da prompt affinati.
In media, i casi generati hanno coperto il 98,67% dei criteri di accettazione e sono risultati coerenti nella struttura. L'articolo riporta circa il 4% di duplicazioni, circa il 6% di casi di test errati e un punteggio di ambiguità di circa il 27%. Descrive la generazione come un processo che richiede secondi o minuti invece di ore.
Anche i punti deboli sono stati evidenti. La qualità dipendeva fortemente dalla qualità e dalla specificità dell'input. Gli strumenti hanno faticato con la logica di business complessa, hanno individuato pochi casi limite senza indicazioni esplicite e hanno fatto poco test non funzionali se non richiesti. Gli autori definiscono la loro ipotesi parzialmente validata, affermano che la supervisione umana resta essenziale e fanno notare che il campione di nove user story è ridotto.
Un secondo lavoro, uno studio su arXiv intitolato Automatic High-Level Test Case Generation using Large Language Models, si concentra sui casi d'uso anziché sulle user story, quindi va considerato come un risultato correlato. Gli autori hanno costruito un dataset di 1.067 casi d'uso e 3.606 casi di test provenienti da 168 progetti. In una valutazione umana, GPT-4o ha ottenuto 3,91 per completezza e 3,98 per pertinenza, contro 4,04 e 4,30 per i casi scritti dagli esseri umani. Gli autori giudicano soddisfacente il risultato, ma affermano che è necessaria una valutazione umana completa dei casi di test automatici.
Cosa dicono e cosa non dicono i numeri
Attenzione alle percentuali. Entrambi gli studi dichiarano i propri limiti. L'esperimento di Thoughtworks ha usato nove user story, strumenti e versioni specifici e una valutazione in parte soggettiva, e non ha misurato la produttività nel lungo periodo. Riporta inoltre che ChatGPT ha fatto meglio di GitHub Copilot dove era necessaria un'interpretazione dettagliata del prompt, quindi i risultati dipendono dallo strumento e dal prompt.
Nello studio su arXiv, i 26 valutatori umani erano d'accordo tra loro solo in modo moderato, con un Cohen's Kappa di 0,42, e i partecipanti costituivano un campione di comodo. Gli autori sottolineano anche che un punteggio di similarità automatico non riesce a rilevare in modo affidabile i casi limite o negativi mancanti. Per questo chiedono una valutazione umana.
Anche l'alto valore di copertura va riesaminato. Misura i criteri che sono stati scritti. Non può mostrare le regole che nessuno ha messo nella user story, e spesso è proprio in quelle regole nascoste che si annidano i difetti.
Quattro problemi che tornano sempre
Lo studio su arXiv individua quattro problemi ricorrenti, e i risultati di Thoughtworks vanno nella stessa direzione:
- Casi non pertinenti. Gli autori li collegano alle allucinazioni dell'AI: il modello produce informazioni plausibili ma errate. Un esempio è stato un test per una funzionalità che l'applicazione non supportava.
- Casi ridondanti. Alcuni casi ripetono un altro con una modifica minima.
- Casi limite mancanti. I modelli non hanno considerato casi che i tester umani avevano incluso, come il rifiuto di un tipo di file non supportato.
- Specifica degli input debole. Alcuni casi generati omettevano campi di input necessari al test.
Nessuno di questi problemi rende inutile una bozza. Ti dicono cosa cercare.
Cosa controllare per primo: una checklist di revisione
Thoughtworks raccomanda di rivedere l'output prima dell'uso in produzione, verificandolo rispetto ai criteri di accettazione, segnalando la logica poco chiara e controllando la copertura dei casi limite. Trasformalo in una checklist da applicare a ogni lotto:
- Copertura. Ogni criterio di accettazione ha almeno un caso di test? Elenca i criteri e spuntali uno per uno.
- Test inventati. Ogni caso corrisponde a qualcosa presente nella user story? Elimina i casi relativi a funzionalità che non esistono.
- Duplicati. Unisci i casi che verificano lo stesso comportamento con gli stessi dati.
- Passaggi specifici. Ogni passaggio indica l'elemento e i dati? Riscrivi formulazioni vaghe come "inserisci dati validi".
- Risultati attesi. Ogni risultato atteso è visibile sullo schermo o in un record?
- Casi limite e percorsi negativi. Aggiungi input vuoti, formati errati, valori limite e fallimenti dei permessi.
- Requisiti non funzionali. Aggiungi controlli su prestazioni, accessibilità e sicurezza che la user story lascia intendere, perché il modello potrebbe ometterli.
Per un lotto numeroso, esamina prima un campione. Leggi per intero i primi dieci casi. Se molti non superano la checklist, correggi la user story o il prompt prima di proseguire, perché lo stesso difetto si ripeterà nel resto. Questa è una regola di lavoro, non un risultato degli studi.
La generazione di casi di test con l'AI si inserisce nel testing del software come fase di bozza che precede l'automazione dei test. Un team QA può usare l'AI per creare i casi di test per ogni scenario di una user story, verificare la copertura dei test rispetto ai criteri di accettazione, e poi decidere quali casi trasformare in test automatizzati. Lo strumento AI si occupa della stesura, mentre il team QA mantiene la progettazione dei test. Usato in questo modo, puoi generare test più rapidamente senza abbassare la qualità della suite.
Questo controllo è un lavoro di human-in-the-loop. Il tester non riscrive la bozza. La giudica, e questo giudizio è la parte che il modello non può fornire.
Rendi più semplice l'input per l'AI
Thoughtworks riferisce che il prompt si è evoluto da una richiesta semplice a una in cui al modello veniva assegnato un ruolo e gli si chiedeva di usare Given, When, Then dove appropriato. Riferisce inoltre che la copertura degli scenari complessi ha richiesto un lavoro significativo sul prompt. Tre abitudini aiutano:
- Scrivi criteri di accettazione espliciti. Se la user story è vaga, anche i casi di test lo saranno. Prima sistema la story.
- Aggiungi contesto. Indica il ruolo dell'utente, l'area del prodotto e le regole che il modello non può indovinare.
- Chiedi una struttura. Usa l'AI con un formato chiaro: richiedi per ogni caso un titolo, le precondizioni, i passi, i dati e il risultato atteso, e chiedi all'AI di elencare le sue ipotesi.
Tieni il prompt privo di segreti e di dati dei clienti. Usa valori di esempio inventati.
Esempio: revisione di un lotto
I numeri sono inventati.
Un team fornisce dieci user story a un assistente AI. In pochi minuti ne restituisce 60 casi di test. Il QA lead li verifica insieme al product owner.
- 6 casi sono duplicati, quindi il team li elimina.
- 5 casi testano un comportamento che il prodotto non ha, quindi il team li elimina a sua volta. Ne restano 49.
- 7 dei 49 casi rimanenti hanno passi o risultati vaghi, quindi il team li riscrive.
- Mancano 9 casi limite e percorsi negativi, quindi il team li aggiunge a mano.
La suite finale conta 58 casi di test. La revisione ha richiesto circa tre ore, mentre scrivere tutti i 58 casi da zero avrebbe potuto richiedere una giornata intera. Il team conserva le note di revisione, registra quali tipi di casi sono stati scartati e li usa per migliorare il prompt per lo sprint successivo. Il guadagno è reale, ma deriva dalla revisione e non dal solo modello.
Errori comuni
- Accettare il lotto senza leggerlo. I duplicati e i casi inventati entrano nella suite e ne erodono la affidabilità.
- Misurare il successo dal numero di casi. Più casi non significano più copertura.
- Dare al modello story vaghe. Input scadente, output scadente.
- Dimenticare i casi limite e i controlli non funzionali. Gli studi mostrano che i modelli tendono a non considerarli.
- Inserire dati privati nei prompt. Usa valori inventati e segui la tua policy sui dati.
- Saltare il collegamento ai criteri di accettazione. Senza di esso non puoi dimostrare cosa è coperto.
Come può aiutare il software
Un foglio di calcolo o il tuo strumento di gestione dei test può contenere affiancati i criteri, i casi generati e lo stato di revisione. Contrassegna ogni caso come accettato, riscritto o scartato, e conserva i conteggi, così dopo alcuni sprint conoscerai il tuo tasso di scarto. Uno strumento di code review o un documento condiviso aiuta tester e product owner a rivedere insieme. Se usi un assistente AI, scegline uno che ti permetta di controllare il prompt e di vedere l'output completo. Per i casi a livello di browser, uno strumento di test end-to-end in linguaggio semplice può poi eseguire i passi approvati. Prova prima con un solo team, prima di estendere l'adozione.
Prossimo passo
Prendi una user story completa, chiedi a uno strumento AI di generare i casi di test e verifica la bozza con la checklist sopra. Conta ciò che elimini, riscrivi e aggiungi, e usa questi numeri per decidere fino a che punto far generare all'AI i casi di test dalle user story nel tuo team.