Come testare in modo ripetibile agenti AI ed estensioni di Copilot
By Mirko Peters · · Updated
Come testare in modo ripetibile gli agenti AI: costruisci un set di test, scegli i grader, valuta le chiamate agli strumenti e tieni traccia delle regressioni, con un esempio di Copilot Studio per i responsabili QA.
Automatically translated with AI from the original post. Read the English original
Come testare gli agenti AI è una domanda pratica per ogni responsabile QA a cui viene chiesto di approvarne uno: lo stesso input può produrre risposte diverse, quindi la vecchia abitudine di confrontare l'output con un unico valore atteso non funziona più. Questa guida è pensata per i responsabili QA che hanno bisogno di un metodo ripetibile per gli agenti creati con Copilot Studio o con altri strumenti. Vedrai che cosa rende difficili da testare gli agenti, un approccio a livelli, come costruire un set di test, quali grader usare e come mantenere i risultati confrontabili nel tempo. Un esempio svolto con numeri di fantasia mostra un piccolo team che mette tutto insieme.
Punti chiave
- Un agente AI fornisce risposte diverse allo stesso input, quindi il test ripetibile significa valutare rispetto a criteri concordati e soglie, invece di cercare una corrispondenza con una singola stringa esatta.
- Suddividi i test degli agenti in livelli: test unitari ordinari per routing e parsing, valutazione della qualità dell'output del modello linguistico e scenari end-to-end per i flussi a più passaggi.
- Un buon set di test parte da poche voci, copre attività reali degli utenti, errori noti, casi limite e comportamenti ad alto rischio, e viene conservato sotto controllo di versione accanto ai prompt.
- Verifica il percorso oltre alla risposta: una risposta dal tono corretto che ha saltato una chiamata a uno strumento richiesto è comunque un errore.
- Esegui ogni caso più volte, confronta i tassi di errore con una baseline e mantieni i casi che devono assolutamente passare e le azioni vietate come gate bloccanti.
Che cosa rende difficili da testare gli agenti AI
Un'applicazione classica si comporta in modo prevedibile: lo stesso input porta sempre allo stesso risultato. Un agente AI funziona sopra un grande modello linguistico, quindi le sue risposte variano, e inoltre decide quali strumenti chiamare e in quale ordine. Questo significa che devi verificare due cose: la risposta finale e il percorso che l'agente ha seguito per arrivarci.
I modelli linguistici possono avere allucinazioni, cioè affermare con sicurezza fatti errati, quindi ogni sistema AI che rilasci deve avere controlli per questo. Il rischio cresce con i flussi di lavoro agentici, in cui un agente AI chiama un'API, legge un file o modifica un record per conto dell'utente. Testare un agente del genere significa controllare molto più delle parole che scrive.
L'articolo di SitePoint sul test degli agenti AI in un mondo non deterministico respinge il confronto con stringa esatta per l'output del modello, perché risposte corrette possono essere formulate in molti modi. Sostituisce la domanda «è identico?» con «è abbastanza buono?». Questo cambiamento è il cuore del test degli agenti AI e incide su come scrivi i risultati attesi, fissi le soglie di superamento e riporti il rischio.
La variabilità non rende il test impossibile. Significa che il test degli agenti usa intervalli, soglie ed esecuzioni ripetute, mentre il codice tradizionale resta sotto test tradizionali.
Come testare gli agenti AI in quattro livelli
Lo stesso articolo di SitePoint suddivide il test degli agenti in tre livelli, e la guida di LangChain sul test di LLM e agenti AI aggiunge una quarta idea, i gate di rilascio. Insieme compongono un piano praticabile:
- Logica semplice. Il routing degli strumenti, il parsing, la formattazione e le modifiche di stato sono codice ordinario. Unit test classici con asserzioni esatte funzionano bene in questo caso, e SitePoint suggerisce di eseguirli a ogni commit.
- Qualità dell'output. Valuta le risposte del modello linguistico in termini di fedeltà, pertinenza e allucinazioni. Questi controlli sono più lenti e costano denaro quando è coinvolto un modello giudice, quindi SitePoint suggerisce di eseguirli sui merge o secondo una pianificazione.
- Scenari end-to-end. Esegui conversazioni multi-turno e uso di strumenti in più passaggi, dal primo messaggio dell'utente fino al risultato finale. È la versione per agenti AI dei test end-to-end, ed è il livello che individua i problemi tra le diverse parti.
- Gate di rilascio. LangChain consiglia di eseguire i controlli nella pipeline di rilascio su ogni modifica candidata, con soglie concordate per qualità, comportamento e prestazioni, come latenza e costi.
Non saltare il primo livello solo perché l'agente AI sembra magia. Molti guasti degli agenti AI sono semplici bug nel modo in cui viene analizzato l'input o nella scelta dello strumento, e sono economici da individuare.
Crea un set di test che resti utile
Il set di test, spesso chiamato eval set, è il cuore del lavoro di valutazione dell'AI. Il consiglio di LangChain è partire in piccolo con casi di alta qualità che coprano attività reali degli utenti, guasti noti e comportamenti ad alto rischio, per poi ampliarlo man mano che le conversazioni reali rivelano nuovi problemi. Includi richieste comuni, input avversari, casi limite ed esempi corretti da esperti di dominio. Ogni caso può contenere un input, un output di riferimento, criteri di valutazione, passaggi richiesti o vietati e metadati per il filtraggio.
SitePoint aggiunge un'abitudine che rende i risultati tracciabili: conserva il dataset nel controllo di versione e versionalo insieme ai template dei prompt, in modo che una variazione dei punteggi possa essere collegata a una specifica modifica dell'agente.
Un set iniziale per un QA lead potrebbe presentarsi così:
- Domande comuni formulate con le parole che le persone usano davvero.
- Guasti noti emersi da incidenti o segnalazioni precedenti, conservati come casi di regressione permanenti.
- Casi limite, come domande vaghe, lingue miste, informazioni mancanti e richieste che l'agente AI dovrebbe rifiutare.
- Richieste rischiose, inclusi tentativi di prompt injection, domande su dati che l'utente non dovrebbe vedere e richieste di azioni al di fuori dell'ambito dell'agente.
- Casi obbligatori, in cui un singolo errore blocca il rilascio.
Descrivi il risultato atteso nel modo più preciso possibile. Aspettative vaghe producono punteggi rumorosi, qualunque sia lo strumento di valutazione.
Scegli i valutatori: codice, modello giudice o persona
LangChain descrive tre tipi di valutatori, e ognuno ha il suo posto:
- Controlli con codice si adattano a regole deterministiche: JSON valido, un ID account obbligatorio, una specifica chiamata a uno strumento. Sono economici e ripetibili.
- Un modello giudice valuta qualità basate sul giudizio, come l'aderenza al contesto, il rispetto delle istruzioni e il completamento dell'attività. LangChain consiglia di validare i punteggi del giudice con esempi verificati da revisori umani prima di affidarsi ad essi.
- La revisione umana si occupa dei casi ambigui o ad alto rischio. I revisori etichettano i guasti, e questi casi possono entrare nel set di test come futuri test di regressione.
Verifica il percorso, non solo la risposta. LangChain chiama questo approccio valutazione della traiettoria: ordine degli strumenti, argomenti, passaggi di approvazione e cicli. Il suo esempio è un agente per i rimborsi che dovrebbe chiamare una ricerca nelle policy prima di rispondere. Una risposta dal suono corretto che ha saltato la ricerca resta comunque un errore. Per questo ogni caso di test dovrebbe registrare la chiamata allo strumento attesa, non solo il testo atteso.
I punteggi richiedono soglie. SitePoint suggerisce un minimo per ogni metrica invece di un unico valore esatto da raggiungere, e nei suoi esempi compaiono 0,85 per la fedeltà e 0,7 per la pertinenza della risposta. Considera questi numeri come esempi e definisci i tuoi in base al rischio.
Test di un agente di Copilot Studio
Copilot Studio include una valutazione integrata, e la pagina di Microsoft sulla creazione di un set di test elenca i dettagli di cui un QA lead ha bisogno.
- Set di test: un set di test a risposta singola contiene fino a 100 casi di test. Puoi generare rapidamente un set di dieci domande dalla descrizione dell'agente, generarne altre da un'origine di conoscenza o da argomenti, riutilizzare le domande di una chat di test, importare un file CSV o TXT oppure scrivere i casi a mano.
- Metodi di test: qualità generale, sicurezza dei contenuti, confronto del significato, uso degli strumenti, corrispondenza di parole chiave, somiglianza del testo, corrispondenza esatta e criteri personalizzati. Tutti i metodi tranne la qualità generale richiedono, per ogni caso, una risposta attesa, parole chiave o funzionalità.
- Identità: il test automatizzato usa l'autenticazione dell'utente che ha effettuato l'accesso per raggiungere origini di conoscenza e strumenti. Esegui i test sempre con lo stesso utente, così i risultati restano confrontabili, e assicurati che quell'utente possa raggiungere ogni origine di cui l'agente ha bisogno.
- Limiti: i set generati non possono individuare lacune nelle informazioni, perché attingono solo da ciò che l'agente già conosce. I risultati vengono conservati per 89 giorni, quindi esportali in CSV per conservare una baseline.
Dalla pagina derivano due avvertenze. I casi di test generati possono contenere dati sensibili a cui l'account collegato può accedere, e gli altri creatori con accesso all'agente possono visualizzare i set di test collegati, quindi verificali prima di condividerli. Inoltre, un set generato è un punto di partenza, non un set completo. Aggiungi a mano i tuoi errori noti e le richieste rischiose.
Rendi i risultati ripetibili
La ripetibilità deriva dalle abitudini nel flusso di test, non da una funzionalità:
- Esegui ogni caso più di una volta. SitePoint suggerisce almeno tre esecuzioni e una media. LangChain suggerisce di confrontare i tassi di errore per output variabili.
- Confronta con una baseline. Esegui la versione candidata e quella attuale sullo stesso set di test. LangChain avverte che una media migliore può nascondere una regressione su un caso critico, quindi tieni d'occhio gli esempi che devono assolutamente passare.
- Usa controlli bloccanti per le azioni vietate. LangChain suggerisce controlli deterministici con una soglia di zero errori per le azioni che l'agente non deve mai compiere.
- Riesegui dopo ogni modifica e automatizza. L'automazione nella pipeline mantiene viva l'abitudine. Una modifica al prompt conta come una modifica al codice, così come una modifica a modelli, recupero dei dati, definizioni degli strumenti, memoria o instradamento.
- Conserva le prove. Esporta i risultati e conservali insieme alla versione del set di test e alla versione dell'agente.
Esempio: un agente per le politiche sui congedi
I numeri sono inventati.
Un team crea un agente Copilot Studio che risponde alle domande sulla politica dei congedi. Il responsabile QA crea 40 casi di test. Ventidue sono domande comuni, otto sono errori noti emersi dal pilota, sei usano formulazioni insolite come date poco chiare, e quattro sono richieste rischiose, tra cui una domanda sul congedo di un altro dipendente. Sei sono contrassegnati come casi che devono assolutamente passare.
Il responsabile usa la corrispondenza di parole chiave per i fatti fissi, come il numero di giorni di congedo, il confronto del significato per le spiegazioni e un controllo sull'uso degli strumenti che verifica che l'agente richiami la ricerca nella policy prima di rispondere. Ogni caso viene eseguito tre volte.
Alla prima esecuzione completa, 34 casi su 40 superano tutte e tre le esecuzioni. Dei sei errori, due riguardano un caso che deve assolutamente passare, e in uno di questi l'agente ha risposto senza richiamare la ricerca nella policy. Il team corregge le istruzioni, riesegue i test e arriva a 38 casi su 40, con tutti i casi che devono passare superati. Il responsabile esporta i risultati come baseline e stabilisce una regola: ogni modifica al prompt o al modello riesegue tutti i 40 casi, e un calo in un caso che deve passare blocca il rilascio nel flusso di distribuzione.
Errori comuni
- Corrispondenza esatta del testo. Le risposte corrette variano, quindi la corrispondenza esatta produce falsi errori.
- Valutare solo la risposta. L'agente può arrivare a una risposta dall'aspetto corretto saltando un passaggio obbligatorio.
- Eseguire ogni caso una sola volta. Una singola esecuzione fortunata dimostra poco.
- Affidarsi solo a un set di test generato. Non può individuare lacune in ciò che all'agente non è mai stato comunicato.
- Fidarsi ciecamente del modello giudice. Convalida i suoi punteggi con esempi verificati da persone.
- Testare solo il percorso ideale. Includi formulazioni insolite, richieste rischiose ed errori noti.
Come può aiutare il software
Parti da ciò che offre la tua piattaforma per agenti. Copilot Studio include una valutazione integrata, e per gli agenti AI personalizzati esistono framework di valutazione open source e commerciali. Scegli uno strumento di test che ti permetta di versionare i set di test, eseguire ogni caso più volte, verificare le chiamate agli strumenti ed esportare i risultati. Aggiungi la tua pipeline di distribuzione come gate e usa un foglio di calcolo o uno strumento di gestione dei test per tenere traccia dei casi e dei rispettivi responsabili. Fai un pilota su un solo agente AI prima di standardizzare.
Prossimo passo
Scrivi dieci casi di prova per un agente AI che già utilizzi, includendo tre errori noti e due richieste rischiose, e assegna a ciascun caso un punteggio per tre volte. Poi salva i risultati come baseline, così che il test degli agenti AI diventi un passaggio di routine nel tuo team e non più un argomento di discussione.