M365Con 2027 – conferenza online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Cos'è l'automazione dei test in linguaggio naturale? Una spiegazione semplice

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

L'automazione dei test in linguaggio naturale permette ai tester di scrivere i passaggi in inglese semplice mentre un'IA li esegue in un browser. Scopri come funziona, quali sono i suoi limiti e come valutarla.

Automatically translated with AI from the original post. Read the English original

L'automazione dei test in linguaggio naturale significa scrivere un test in inglese di tutti i giorni, e un modello di IA lo esegue in un browser reale. Invece di uno script pieno di selettori, scrivi "Clicca il pulsante Accedi" oppure "Verifica che il totale dell'ordine mostri 49,00". Questa spiegazione è pensata per i QA lead e per i tester che sentono il termine e vogliono capire cos'è, come funziona e dove si ferma. Vedrai l'idea passo dopo passo, i limiti dichiarati dagli stessi produttori degli strumenti e un modo semplice per valutare se si adatta al tuo team.

Punti chiave

  • L'automazione dei test in linguaggio naturale consiste nel descrivere un passaggio di test in inglese semplice, e un modello di IA lo trasforma in azioni nel browser quando il test viene eseguito.
  • Sostituisce selettori e attese scritti a mano con istruzioni come "Clicca il pulsante Accedi", così anche i tester che non programmano possono scrivere e leggere i test.
  • I fornitori documentano dei limiti: le istruzioni ampie o complesse falliscono più spesso, mentre quelle su un singolo passaggio sono le più affidabili.
  • Gli strumenti di IA pensati per attività web generiche possono inventare risultati senza ispezionare l'app reale, quindi ogni passaggio generato va verificato e deve avere una regola chiara di superamento o fallimento.
  • Consideralo un modo per scrivere test end-to-end più rapidamente, non un sostituto della progettazione dei test, dei dati di test o di ambienti corretti.

Cosa significa automazione dei test in linguaggio naturale

Un test automatizzato classico dell'interfaccia utente è scritto come codice. Uno sviluppatore o un automation engineer scrive i passaggi e indica allo strumento come trovare ogni elemento della pagina, ad esempio tramite ID o selettore CSS. Il test esegue sempre gli stessi passaggi. Quando la pagina cambia, il selettore può smettere di corrispondere e il test fallisce.

Con questo approccio è il tester a scrivere l'intenzione. Il team di Cypress descrive il suo comando cy.prompt come un modo per descrivere i test in linguaggio quotidiano, scritti come stringhe di testo all'interno del file di test. Un articolo sul blog di Cypress afferma che i passaggi generati possono essere ispezionati e sottoposti a debug, e poi trasformati in codice di test statico che puoi salvare.

La tecnologia di base è l'IA generativa: un modello legge il testo e la pagina e decide cosa fare. Nella maggior parte degli strumenti si tratta di un large language model, un modello di IA addestrato su grandi quantità di testo. Alcuni fornitori definiscono agente IA il software che fa questo lavoro, perché compie azioni invece di limitarsi a rispondere a domande. L'obiettivo è lo stesso in ogni caso: chi conosce il prodotto può scrivere e leggere i test senza imparare un linguaggio di programmazione, per questo l'approccio viene talvolta venduto come testing senza codice.

Per i team di test del software, questo cambia la creazione dei test, non il processo di test. La progettazione dei test, i dati di test e l'esecuzione restano gli stessi, e resta una persona a decidere quale caso di test coprire.

Nei test automatici tradizionali, gli ingegneri scrivono e mantengono uno script di test per ogni flusso. Gli strumenti basati sull'IA usano l'elaborazione del linguaggio naturale per leggere invece ogni frase. Alcuni fornitori vanno oltre e definiscono i loro strumenti "agentici". Una guida di un fornitore, Autosana, che ha natura promozionale, chiarisce la differenza: uno strumento agentico interpreta un obiettivo espresso in un inglese semplice, esplora la pagina in tempo reale, agisce e si adatta durante l'esecuzione; inoltre, "senza codice" non significa "agentico". La stessa guida avverte che molti prodotti si dichiarano basati sull'IA solo perché hanno aggiunto il completamento automatico a un editor di script. Valuta queste etichette con attenzione e mantieni un criterio di superamento o fallimento che controlli tu.

Come funziona un test basato su istruzioni scritte

I dettagli cambiano da uno strumento all'altro, ma il flusso è simile. BrowserStack documenta la sua versione beta "NL Test Automation Agent" per Selenium, e la sua pagina offre un quadro chiaro:

  1. Scrivi un'istruzione breve. Ogni comando è una frase in inglese, non un selettore o del codice. La pagina consiglia di iniziare con un verbo d'azione, come "Click the Submit button".
  2. L'IA la interpreta al momento dell'esecuzione. I passaggi di automazione vengono generati durante l'esecuzione del test, quindi non serve scrivere a mano selettori o attese.
  3. Lo strumento esegue l'azione nel browser. La pagina elenca tipi di comando come click, digitazione, ricerca, hover e scorrimento.
  4. Lo strumento riporta il risultato. Le esecuzioni riuscite mostrano log di successo, mentre quelle fallite mostrano log di errore con il motivo.

Confronta con l'approccio che Playwright raccomanda nelle sue best practice: testa ciò che gli utenti vedono e fanno, e preferisci localizzatori basati su ruolo, testo o ID di test, piuttosto che selettori XPath o CSS che si rompono quando la pagina cambia. Questo approccio spinge l'idea ancora oltre. Il tester descrive ciò che un utente vedrebbe, come "il pulsante Accedi", e lo strumento lo trova.

Dove il test in linguaggio naturale è utile

L'approccio si adatta meglio ad alcuni compiti che ad altri.

  • Verifiche rapide e percorsi utente comuni. Accesso, ricerca, aggiunta al carrello, checkout. Sono i flussi di test end-to-end più importanti, e sono facili da descrivere in una frase.
  • Team in cui i tester non scrivono codice. Un tester che conosce il processo di business può scrivere e leggere il test.
  • Generazione dei test. Alcuni strumenti possono generare un test a partire da una breve descrizione. Una persona deve comunque rivedere la progettazione del test e la copertura.

È meno utile dove la verifica dipende da numeri esatti, da una configurazione complessa dei dati o da tempistiche che richiedono un controllo fine, come nei test di prestazioni. Un unit test di un calcolo non richiede un browser né un modello di IA, e il test esplorativo richiede comunque una persona curiosa.

I limiti ammessi dai fornitori

I produttori onesti dichiarano i propri limiti. Usali come checklist quando valuti un qualsiasi prodotto.

  • Le istruzioni complesse falliscono più spesso. La pagina di BrowserStack indica che obiettivi complessi o troppo generici possono fallire con un errore UNSUPPORTED_OBJECTIVE, che l'affidabilità diminuisce al crescere della complessità dei comandi e che le istruzioni a singolo passaggio sono le più accurate. Suddividi un'attività lunga in passaggi brevi.
  • I risultati possono variare. Un modello di IA interpreta ogni istruzione al momento dell'esecuzione, quindi una frase vaga può portare ad azioni diverse in esecuzioni diverse. Mantieni ogni passaggio breve e specifico.
  • La funzionalità potrebbe essere in beta. La stessa pagina indica che la funzionalità è in beta e che gli ambienti supportati potrebbero cambiare.
  • I risultati inventati sono un rischio. L'articolo di Cypress avverte che molti strumenti IA per il browser sono progettati per attività web generiche, non per il test. Possono produrre output allucinati senza ispezionare l'app reale e spesso non supportano il debug, le asserzioni e il ciclo di vita del test.

Mantieni i test brevi, rivedi ciò che l'IA ha generato e pretendi un criterio di superamento o fallimento chiaro per ogni passaggio.

Errori, manutenzione e CI

La manutenzione è il punto in cui i test in linguaggio naturale devono ripagare, quindi chiediti come ogni strumento gestisce le modifiche. La guida di Cypress sulla generazione di test con l'AI mostra un modello. Mette in cache il codice generato, e la cache è condivisa tra macchine e ambienti, inclusa la CI, quindi rieseguire un test non richiama l'AI a meno che il prompt o la pagina non invalidino la cache. Quando un selettore o il suo testo cambia tra un'esecuzione e l'altra, rigenera il codice per quel passaggio e lo contrassegna come auto-riparato nei log. Avverte che riparare il test a ogni esecuzione aggiunge chiamate all'AI e rallenta l'esecuzione, e consiglia di puntare agli elementi tramite testo visibile e stabile. Permette inoltre di visualizzare il codice generato, con commenti che collegano ogni comando al rispettivo passaggio del prompt, e di salvarlo al posto del prompt.

La guida di Autosana suggerisce una proof of concept di due settimane su flussi utente reali, compresi quelli che si sono già rotti in passato, con una revisione di screenshot e registrazioni delle sessioni per verificare cosa ha fatto l'agente. Non riporta tassi di errore misurati, quindi avvia un pilota tuo.

Può sostituire gli ingegneri QA? Non sulla base di questi elementi: le persone continuano a pianificare cosa testare, preparare i dati e decidere se un risultato è corretto.

Domande da porre prima di scegliere uno strumento

Usa queste domande in una call con il fornitore o in un pilota. Funzionano per qualsiasi prodotto.

  1. Cosa vede esattamente il modello? Ispeziona la pagina reale oppure indovina dal testo della tua istruzione?
  2. Posso leggere ed esportare ciò che ha fatto? Ti serve un log di ogni passaggio generato e, idealmente, uno script fisso che puoi conservare nel controllo di versione.
  3. Come decide se il test è superato o fallito? Cerca verifiche esplicite che scrivi tu, non solo il giudizio del modello.
  4. Dove viene eseguito il test e chi può vedere i dati? Gli account di test e gli screenshot possono contenere informazioni reali.
  5. Cosa contiene un report di errore? Screenshot, log e il passaggio che ha fallito fanno risparmiare ore di debug.
  6. Si integra con la nostra suite di test attuale? Verifica il tuo framework di automazione, la tua pipeline e il tuo processo di test manuale.

Esempio: un test di login, in tre modi

I numeri sono inventati.

Un team confronta tre modi per scrivere un test di login.

  1. Codice con selettori. Un ingegnere scrive circa 12 righe. Ci vogliono 30 minuti. Quando uno sviluppatore rinomina l'ID del pulsante, il test fallisce e va corretto.
  2. Linguaggio naturale. Un tester scrive quattro righe: apri la pagina di login, digita il nome utente, digita la password, clicca su «Log In» e verifica che compaia il titolo della dashboard. Ci vogliono 5 minuti. Il tester legge i passaggi generati e conferma che corrispondono, e usa l'AI solo per eseguirli.
  3. Linguaggio naturale, poi esportazione. Il team conserva la versione in inglese semplice per l'esplorazione ed esporta uno script fisso per la regressione notturna, come descrive l'articolo di Cypress per il proprio strumento.

In un mese, due fallimenti dipendono da bug reali e uno da un passaggio vago: «clicca il pulsante» ha selezionato il pulsante sbagliato. Lo riscrivono come «clicca il pulsante Log In». La precisione della frase conta quanto quella di un selettore.

Errori comuni

  • Scrivere istruzioni lunghe e vaghe. Usa un solo obiettivo per passaggio e indica con il nome l'elemento.
  • Fidarsi dei passaggi generati dall'AI senza leggerli. Leggi ogni passaggio almeno una volta e conserva il log.
  • Saltare il risultato atteso. Un test ha bisogno di una verifica chiara, come un titolo o un totale. «Assicurati che funzioni» non è una verifica.
  • Usarlo per tutto. I controlli unitari e di integrazione appartengono al codice, vicino agli sviluppatori.
  • Adottare uno strumento senza un pilota. Esegui prima dieci test reali e confronta le cause dei fallimenti.

Come può aiutare il software

Esistono diversi tipi di strumenti di test con AI. Alcuni aggiungono comandi in inglese semplice a un framework basato su codice, come le funzionalità di Cypress e BrowserStack citate sopra. Altri sono piattaforme separate per l'intero team QA. I framework open source come Playwright restano validi per i team che preferiscono il codice.

Genta by Cognillo è un esempio di piattaforma separata. Secondo il fornitore, i tester descrivono in linguaggio naturale ciò che un'applicazione deve fare; Genta esegue il test in un browser su una macchina virtuale nel cloud e segnala superato o fallito, con screenshot e log. Il fornitore afferma che è pensata per QA lead, SDET e automation engineer. Si tratta di dichiarazioni del fornitore. Prima di decidere, confrontala con altre opzioni in un pilota.

Disclosure: Cognillo sponsors M365.FM.

Prossimo passo

Scegli un percorso utente stabile, come l'accesso e la ricerca, e descrivilo in cinque passaggi semplici in inglese. Eseguilo in uno strumento di test automatizzato in linguaggio naturale e nel tuo framework di test attuale, poi confronta impegno richiesto, errori e qualità dei log.

Entities in this article

End-to-end testing Generative AI AI agent Genta Automation

Related articles

RSS