Come scrivere un test case in linguaggio naturale che un agente AI può eseguire
By Mirko Peters · · Updated
Scrivi test case in linguaggio naturale che un agente AI può eseguire: un comportamento per test, un'azione per passaggio, elementi indicati con il nome e un risultato atteso chiaro e verificabile.
Automatically translated with AI from the original post. Read the English original
Per scrivere test case in linguaggio naturale che un agente AI può eseguire, mantieni ogni test su un solo comportamento, ogni passaggio su una sola azione e ogni verifica su un unico risultato visibile sullo schermo. Questa guida è pensata per QA lead e tester che vogliono passare dagli script alle istruzioni scritte senza rinunciare a risultati affidabili. Scoprirai le cinque parti di un test case, le regole che rendono un passaggio eseguibile, un metodo per trasformare i criteri di accettazione in test e un esempio pratico che puoi copiare.
Punti chiave
- Un test case in linguaggio naturale ha cinque parti: titolo, precondizioni, passaggi, risultato atteso e dati di test. Un agente AI ha bisogno che tutte e cinque siano descritte in modo esplicito.
- Scrivi un solo comportamento per test e un'azione per passaggio, perché i produttori di strumenti segnalano che le istruzioni su un singolo passaggio sono le più accurate.
- Indica ogni elemento come lo vede un utente, ad esempio il pulsante Accedi, invece di scrivere semplicemente il pulsante o il campo.
- Dai a ogni test un risultato atteso verificabile sullo schermo, come un titolo o un importo, e mai una frase del tipo "verifica che funzioni".
- Leggi ciò che l'agente ha generato prima di considerare superato un test, e riscrivi qualsiasi passaggio che abbia interpretato in modo diverso da quello che intendevi.
Le cinque parti di un test case in linguaggio naturale
Un buon test case si legge come una breve storia che chiunque nel team può seguire. Nel testing del software, scrivere test case efficaci è una competenza fondamentale del QA, e i tester manuali li hanno sempre scritti in linguaggio semplice. La novità è che un agente AI può ora eseguire i passaggi del test. Questo conta soprattutto per il test end-to-end, in cui un test segue un utente lungo un intero flusso di lavoro nel browser. Per un agente AI, ogni parte deve essere esplicita, perché l'agente non può chiederti che cosa intendevi.
- Titolo. Una riga che descrive il comportamento, ad esempio "Un cliente può reimpostare una password dimenticata". Il titolo è la prima cosa che un lettore vede in un report.
- Precondizioni. Lo stato in cui deve trovarsi il prodotto prima che il test inizi, ad esempio "Esiste un account cliente e il cliente è disconnesso".
- Passaggi. Che cosa fa un utente, una azione per riga.
- Risultato atteso. Che cosa dovrebbe vedere l'utente al termine, in termini che si possono verificare sullo schermo.
- Dati di test. I valori esatti utilizzati, come un indirizzo email o un numero d'ordine.
Un modello condiviso mantiene i test case di ogni tester nella stessa forma e una suite di test con un unico modello è molto più facile da revisionare. Un test case ha anche bisogno di un modo per verificare il risultato, ed è per questo che il risultato atteso è importante.
Questa è la stessa struttura usata dal behavior-driven development. Nel linguaggio Gherkin, come spiegato su Automation Panda, Given imposta lo stato iniziale, When esegue l'azione sotto test e Then descrive il risultato atteso. Non è necessario usare quelle parole chiave. I tre ruoli restano comunque utili.
Regole che rendono un passaggio eseguibile da un agente AI
I produttori di strumenti pubblicano consigli per scrivere istruzioni che un agente IA può seguire. La documentazione di BrowserStack per il suo agente di test in linguaggio naturale contiene regole valide per la maggior parte degli strumenti:
- Inizia con un verbo d'azione. "Fai clic sul pulsante Invia" è chiaro. "Il pulsante di invio" non è un'istruzione.
- Usa un solo obiettivo per comando. Suddividi le attività su più passaggi in passaggi separati.
- Indica l'elemento specifico. Scrivi "il pulsante Accedi", non "il pulsante".
- Scorri prima se un elemento è fuori schermo. Aggiungi un passaggio prima dell'azione.
La stessa pagina indica che l'affidabilità diminuisce all'aumentare della complessità dei comandi e che le istruzioni a passaggio singolo sono le più precise. Ecco tre regole tratte dall'esperienza:
- Usa le parole che vedi sullo schermo. Se il pulsante riporta "Accedi", non scrivere "Login".
- Inserisci i valori nel passaggio. Scrivi "Digita ana@example.com nel campo Email", non "inserisci un indirizzo email valido".
- Evita pronomi e termini vaghi. "Esso", "lì", "correttamente" e "adeguatamente" nascondono una decisione che l'agente dovrà indovinare.
Come scrivere casi di test in linguaggio semplice, passo dopo passo
Segui questo metodo per trasformare un requisito in un caso di test.
- Parti da un solo criterio di accettazione. Prendi una singola frase dalla user story, ad esempio "Un cliente che dimentica la password può impostarne una nuova tramite email".
- Scegli un solo comportamento. Ogni caso di test verifica un comportamento. La guida di Automation Panda su come scrivere buoni Gherkin lo esprime come "Uno scenario, un comportamento" e afferma che uno scenario con più coppie When-Then va suddiviso.
- Descrivi lo stato iniziale. Descrivilo come stato, non come azioni di preparazione. "Esiste un account cliente" è meglio di dieci passaggi che ne creano uno.
- Scrivi le azioni dell'utente. Ogni azione occupa una riga breve, con un verbo e un elemento indicato con il suo nome.
- Scrivi il risultato atteso. Indica cosa compare: un titolo, un messaggio, un valore. Usa il testo esatto.
- Aggiungi i dati. Inserisci i valori nei passaggi o in una piccola tabella sotto il test.
- Leggilo ad alta voce. Se un nuovo collega non riuscirebbe a eseguirlo a mano, anche l'agente avrà difficoltà.
La stessa guida consiglia di mantenere gli scenari brevi, con meno di dieci passaggi. Un caso di test lungo è spesso più casi di test uniti insieme. Le varianti di uno stesso comportamento, come tre password non valide, vanno in una tabella dei dati e non in tre copie degli stessi passaggi.
Esempio: un test di reimpostazione della password, prima e dopo
I dettagli sono inventati.
Prima (troppo vago). "Verifica che la reimpostazione della password funzioni." Un agente non ha uno stato iniziale, azioni o un risultato da controllare. Potrebbe superare il test per il motivo sbagliato.
Dopo (eseguibile).
- Titolo: Un cliente può richiedere un link per reimpostare la password.
- Precondizione: Esiste un account cliente per ana@example.com e il cliente è disconnesso.
- Passaggio 1: Apri la pagina Accedi.
- Passaggio 2: Fai clic sul link "Password dimenticata".
- Passaggio 3: Digita ana@example.com nel campo Email.
- Passaggio 4: Fai clic sul pulsante "Invia link di reimpostazione".
- Risultato atteso: La pagina mostra il messaggio "Controlla la tua email".
La versione "dopo" ha un solo comportamento, cinque azioni brevi e un unico risultato visibile. Se il prodotto richiede anche che il link nell'email funzioni, scrivi un secondo caso di test per quel comportamento. Non estendere il primo.
Ora eseguilo e leggi il log. Supponiamo che l'agente abbia fatto clic correttamente su "Password dimenticata", ma abbia digitato l'indirizzo in una casella di ricerca. Il log mostra l'errore e riscrivi il passaggio 3 così: "Digita ana@example.com nel campo Email del modulo di reimpostazione". Il team di Cypress raccomanda la stessa abitudine per il proprio strumento in linguaggio semplice: ispeziona ogni passaggio generato e passa al codice fisso quando ti serve un test stabile.
Varianti: usa una tabella dei dati, non copie
Molti casi di test verificano lo stesso comportamento con valori diversi. Un modulo di registrazione dovrebbe rifiutare un indirizzo email senza il simbolo @, uno senza dominio e uno con spazi. Non scrivere tre casi di test con passaggi identici.
La guida di Automation Panda osserva che Gherkin non ha uno step "Or". Per le variazioni di uno stesso comportamento consiglia uno Scenario Outline con una tabella Examples, e suggerisce di includere solo le variazioni necessarie, perché ogni riga in più aumenta il tempo di esecuzione. Puoi applicare la stessa idea in inglese semplice. Scrivi gli step una sola volta con un segnaposto, per esempio "Type {email} into the Email field", e aggiungi sotto una piccola tabella.
Tabella di esempio, inventata: {email} è "ana.example.com" e il messaggio atteso è "Enter a valid email address"; {email} è "ana@" e il messaggio è lo stesso; {email} è vuoto e il messaggio è "Email is required". Tre righe, un solo set di step, tre risultati chiari. Se una riga fallisce, il report mostra quale valore ha violato la regola.
Checklist di revisione prima dell'esecuzione
Usa questo elenco per ogni nuovo test case:
- Il titolo descrive un solo comportamento.
- Lo stato iniziale è uno stato, non un elenco di clic di preparazione.
- Ogni step inizia con un verbo e indica un elemento come appare sullo schermo.
- Tutti i valori sono scritti per esteso.
- Il risultato atteso è verificabile e riporta un testo o un numero esatto.
- Ci sono meno di dieci step.
- Un'altra persona ha letto il test.
Errori comuni
- Combinare più comportamenti in un unico test case. Quando fallisce, non sai quale parte si è rotta.
- Descrivere il come invece del cosa. Dieci step di battiture nascondono l'intento. Indica l'azione al livello di un utente.
- Omettere il risultato atteso. Un test case senza verifica può superare la prova senza dimostrare nulla.
- Usare nomi interni. ID dei test e classi CSS cambiano. Usa le etichette che vedono gli utenti.
- Lasciare che l'IA generativa scriva i test e accettarli senza leggerli. Un modello può inventare step che il tuo prodotto non ha.
- Lasciare i dati al caso. Se un valore non è indicato, l'agente ne sceglierà uno, e il test potrebbe non essere ripetibile.
Come può aiutare il software
Per iniziare basta un foglio di calcolo condiviso o una pagina wiki. Scrivi ogni test nella forma in cinque parti e rivedilo come si fa con il codice. Se usi uno strumento di gestione dei test, mantieni un test per record e collegalo al requisito. Uno strumento di test in linguaggio naturale potrà poi leggere lo stesso testo. Molti team tengono anche una breve guida di stile con le regole sopra, così ogni nuovo tester scrive gli step allo stesso modo.
Prossimo passo
Prendi tre criteri di accettazione dello sprint in corso e scrivi per ciascuno un test case, usando le cinque parti. Eseguili con lo strumento che preferisci per scrivere test case in linguaggio naturale che un agente possa eseguire, poi correggi ogni step che il log mostra come frainteso.