M365Con 2027 – gratis online conferentie · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Hoe je AI-agents en Copilot-extensies op een herhaalbare manier test

By · · Updated

Hoe je AI-agents op een herhaalbare manier test: een testset opbouwen, graders kiezen, toolaanroepen scoren en regressies bijhouden, met een Copilot Studio-voorbeeld voor QA-leads.

Automatically translated with AI from the original post. Read the English original

Hoe je AI-agents test, is een praktische vraag voor elke QA-lead die gevraagd wordt er een goed te keuren. Dezelfde invoer kan verschillende antwoorden opleveren, dus de oude gewoonte om de uitvoer met één verwachte waarde te vergelijken werkt niet meer. Deze gids is bedoeld voor QA-leads die een herhaalbare methode nodig hebben voor agents die met Copilot Studio of andere tools zijn gebouwd. Je ziet wat agents lastig te testen maakt, een gelaagde aanpak, hoe je een testset opbouwt, welke graders je gebruikt en hoe je resultaten in de tijd vergelijkbaar houdt. Een uitgewerkt voorbeeld met verzonnen cijfers laat zien hoe een klein team dit in elkaar zet.

Belangrijkste punten

  • Een AI-agent geeft verschillende antwoorden op dezelfde invoer. Herhaalbaar testen betekent daarom scoren op afgesproken criteria en drempelwaarden, in plaats van één exacte tekst te zoeken.
  • Splits agenttests in lagen: gewone unit tests voor routering en parsing, kwaliteitsscoring van de uitvoer van het taalmodel en end-to-end scenario's voor flows met meerdere stappen.
  • Een goede testset begint klein en dekt echte gebruikerstaken, bekende fouten, randgevallen en gedrag met een hoog risico. Houd hem onder versiebeheer, naast de prompts.
  • Controleer het pad naast het antwoord: een correct klinkend antwoord waarbij een verplichte toolaanroep is overgeslagen, blijft een fout.
  • Voer elke case meerdere keren uit, vergelijk de foutpercentages met een nulmeting en houd cases die altijd moeten slagen en verboden acties vast als harde poorten.

Wat AI-agents lastig te testen maakt

Een klassieke applicatie gedraagt zich voorspelbaar: dezelfde invoer levert hetzelfde resultaat op. Een AI-agent werkt bovenop een groot taalmodel, dus de antwoorden variëren, en hij bepaalt ook zelf welke tools hij aanroept en in welke volgorde. Dat geeft twee dingen om te controleren: het uiteindelijke antwoord en het pad dat de agent heeft gevolgd om er te komen.

Taalmodellen kunnen hallucineren, wat betekent dat ze met overtuiging verkeerde feiten vertellen. Daarom heeft elk AI-systeem dat je uitrolt controles hiervoor nodig. Het risico groeit bij agentic workflows, waarin een AI-agent namens de gebruiker een API aanroept, een bestand leest of een record wijzigt. Het testen van zo'n AI-agent omvat dus meer dan de woorden die hij schrijft.

Het SitePoint-artikel over het testen van AI-agents in een niet-deterministische wereld wijst exacte tekstvergelijking voor modeluitvoer af, omdat juiste antwoorden op veel manieren kunnen worden geformuleerd. Het vervangt de vraag "is het identiek?" door "is het goed genoeg?". Die verschuiving is de kern van het testen van AI-agents, en ze beïnvloedt hoe je verwachte resultaten schrijft, slaagnormen vaststelt en risico rapporteert.

Variatie maakt testen niet onmogelijk. Het betekent dat agenttests werken met bandbreedtes, drempelwaarden en herhaalde runs, terwijl de gewone code gewoon onder gewone tests blijft vallen.

Hoe je AI-agents test in vier lagen

Het SitePoint-artikel verdeelt het testen van agents in drie lagen, en de LangChain-gids over het testen van LLM's en AI-agents voegt een vierde idee toe: releasepoorten. Samen vormen ze een werkbaar plan:

  1. Gewone logica. Toolrouting, parsing, opmaak en statuswijzigingen zijn gewone code. Gewone unit tests met exacte verwachtingen werken hier goed, en SitePoint raadt aan ze bij elke commit uit te voeren.
  2. Kwaliteit van de output. Beoordeel de antwoorden van het taalmodel op getrouwheid, relevantie en hallucinaties. Deze controles zijn trager en kosten geld wanneer er een beoordelingsmodel bij betrokken is, dus SitePoint raadt aan ze uit te voeren bij merges of volgens een schema.
  3. End-to-end scenario's. Voer meerdaagse gesprekken en stappen met meerdere tools uit, van het eerste bericht van de gebruiker tot het eindresultaat. Dit is de AI-agentversie van end-to-end testen, en dit is de laag die problemen tussen de onderdelen vindt.
  4. Releasepoorten. LangChain raadt aan de controles in je deliverypipeline uit te voeren bij elke kandidaat-wijziging, met afgesproken drempelwaarden voor kwaliteit, gedrag en prestaties, zoals latentie en kosten.

Sla de eerste laag niet over omdat de AI-agent aanvoelt als magie. Veel fouten van AI-agents zijn gewone bugs in hoe invoer wordt geparseerd of welke tool wordt gekozen, en die zijn goedkoop te vinden.

Bouw een testset die bruikbaar blijft

De testset, vaak een eval-set genoemd, is het hart van het werk aan AI-evaluatie. LangChain adviseert klein te beginnen met hoogwaardige cases die echte gebruikerstaken, bekende fouten en risicovol gedrag dekken, en die vervolgens uit te breiden zodra echte gesprekken nieuwe problemen blootleggen. Neem veelvoorkomende verzoeken, adversarial invoer, randgevallen en voorbeelden op die door domeinexperts zijn gecorrigeerd. Elke case kan een invoer, een referentie-output, beoordelingscriteria, verplichte of verboden stappen en metadata voor filtering bevatten.

SitePoint voegt een gewoonte toe die resultaten traceerbaar maakt: bewaar de dataset in source control en versioneer hem naast de prompttemplates, zodat een verandering in scores gekoppeld kan worden aan een specifieke wijziging in de agent.

Een startset voor een QA-lead kan er zo uitzien:

  • Veelgestelde vragen in de woorden die mensen daadwerkelijk gebruiken.
  • Bekende fouten uit eerdere incidenten of klachten, bewaard als blijvende regressiecases.
  • Randgevallen, zoals vage vragen, gemengde talen, ontbrekende informatie en verzoeken die de AI-agent moet weigeren.
  • Risicovolle verzoeken, waaronder pogingen tot prompt injection, vragen over gegevens die de gebruiker niet mag zien en verzoeken om acties buiten het bereik van de agent.
  • Must-pass cases, waarbij één fout de release blokkeert.

Beschrijf het verwachte resultaat zo precies mogelijk. Vage verwachtingen leveren ruisige scores op, ongeacht welke tool de beoordeling doet.

Kies beoordelaars: code, beoordelingsmodel of mens

LangChain onderscheidt drie soorten beoordelaars, en elk heeft zijn plaats:

  • Codecontroles passen bij deterministische regels: geldige JSON, een verplicht account-ID, een specifieke toolaanroep. Ze zijn goedkoop en herhaalbaar.
  • Een beoordelingsmodel scoort oordeelsgebaseerde kwaliteiten zoals grondedheid, het opvolgen van instructies en taakvoltooiing. LangChain adviseert beoordelingsscores eerst te valideren aan de hand van door mensen beoordeelde voorbeelden voordat je erop vertrouwt.
  • Menselijke beoordeling is voor dubbelzinnige of risicovolle cases. Beoordelaars labelen fouten, en die cases kunnen als toekomstige regressietests aan de testset worden toegevoegd.

Controleer het pad, niet alleen het antwoord. LangChain noemt dit trajectevaluatie: de volgorde van tools, argumenten, goedkeuringsstappen en lussen. Het voorbeeld is een terugbetalingsagent die eerst een beleidsopzoeking moet doen voordat hij antwoordt. Een correct klinkend antwoord dat de opzoeking heeft overgeslagen, is toch een fout. Daarom moet elke testcase de verwachte toolaanroep vastleggen, en niet alleen de verwachte tekst.

Scores hebben drempelwaarden nodig. SitePoint adviseert een minimum per metriek in plaats van één exact doel, en de voorbeelden die het noemt zijn 0,85 voor getrouwheid en 0,7 voor antwoordrelevantie. Zie deze getallen als voorbeelden en stel je eigen waarden in op basis van je risico.

Een Copilot Studio-agent testen

Copilot Studio heeft ingebouwde evaluatie, en de pagina van Microsoft over het maken van een testset beschrijft de details die een QA-lead nodig heeft.

  • Testsets: een testset met één antwoord bevat maximaal 100 testcases. Je kunt snel een set van tien vragen genereren op basis van de beschrijving van de agent, meer vragen genereren op basis van een kennisbron of onderwerpen, vragen hergebruiken uit een testchat, een CSV- of TXT-bestand importeren, of cases handmatig schrijven.
  • Testmethoden: algemene kwaliteit, veiligheid van inhoud, vergelijken van betekenis, gebruik van tools, zoeken op trefwoord, tekstovereenkomst, exacte overeenkomst en aangepaste criteria. Alle methoden behalve algemene kwaliteit vereisen per case een verwacht antwoord, trefwoorden of mogelijkheden.
  • Identiteit: geautomatiseerd testen gebruikt de authenticatie van de aangemelde gebruiker om kennisbronnen en tools te bereiken. Laat de test altijd met dezelfde gebruiker draaien, zodat de resultaten vergelijkbaar blijven, en zorg dat die gebruiker alle bronnen kan bereiken die de agent nodig heeft.
  • Beperkingen: gegenereerde sets kunnen geen informatiehiaten vinden, omdat ze alleen putten uit wat de agent al weet. Resultaten worden 89 dagen bewaard, dus exporteer ze naar CSV om een referentiepunt te bewaren.

Uit de pagina volgen twee waarschuwingen. Gegenereerde testcases kunnen gevoelige gegevens bevatten die het gekoppelde account kan bereiken, en andere makers met toegang tot de agent kunnen de gekoppelde testsets zien. Controleer ze dus voordat je ze deelt. Daarnaast is een gegenereerde set een startpunt en geen afgeronde set. Voeg zelf bekende fouten en riskante verzoeken handmatig toe.

Zorg dat resultaten reproduceerbaar zijn

Reproduceerbaarheid komt voort uit gewoontes in je testproces, niet uit een functie:

  1. Draai elke case meerdere keren. SitePoint adviseert minimaal drie runs en een gemiddelde. LangChain adviseert om faalpercentages te vergelijken bij variabele uitvoer.
  2. Vergelijk met een referentiepunt. Draai de kandidaat en de huidige versie op dezelfde testset. LangChain waarschuwt dat een beter gemiddelde een regressie op één kritieke case kan verbergen, dus houd de must-pass-voorbeelden goed in de gaten.
  3. Gebruik harde blokkades voor verboden acties. LangChain adviseert deterministische controles met een drempel van nul fouten voor acties die de agent nooit mag uitvoeren.
  4. Draai opnieuw na elke wijziging en automatiseer het. Automatisering in je pipeline houdt de gewoonte vol. Een wijziging in de prompt telt als een codewijziging, net als een wijziging in modellen, retrieval, tooldefinities, geheugen of routering.
  5. Bewaar het bewijs. Exporteer de resultaten en sla ze op samen met de versie van de testset en de versie van de agent.

Voorbeeld: een agent voor verlofbeleid

De cijfers zijn verzonnen.

Een team bouwt een Copilot Studio-agent die vragen beantwoordt over het verlofbeleid. De QA-lead maakt 40 testcases. Tweeëntwintig zijn veelvoorkomende vragen, acht zijn bekende fouten uit de pilot, zes gebruiken ongebruikelijke formuleringen, zoals onduidelijke datums, en vier zijn riskante verzoeken, waaronder een vraag over het verlof van een andere medewerker. Zes zijn gemarkeerd als must-pass.

De lead gebruikt zoeken op trefwoord voor vaste feiten, zoals het aantal verlofdagen, vergelijken van betekenis voor uitleg, en een controle op gebruik van tools die bevestigt dat de agent de beleidsopzoeking aanroept voordat hij antwoordt. Elke case draait drie keer.

Bij de eerste volledige run slagen 34 van de 40 cases in alle drie de runs. Van de zes mislukkingen betreffen er twee een must-pass-case, en in één daarvan antwoordde de agent zonder de beleidsopzoeking aan te roepen. Het team past de instructie aan, draait opnieuw en komt uit op 38 van 40, met alle must-pass-cases groen. De lead exporteert de resultaten als referentiepunt en stelt een regel op: elke wijziging in de prompt of het model draait alle 40 cases opnieuw, en een daling bij een must-pass-case blokkeert de release in de deliverypipeline.

Veelgemaakte fouten

  • Exacte tekst matchen. Juiste antwoorden verschillen, dus exacte overeenkomst levert valse fouten op.
  • Alleen het antwoord beoordelen. De agent kan een mooi ogend antwoord bereiken door een verplichte stap over te slaan.
  • Elke case één keer draaien. Eén geslaagde run zegt weinig.
  • Alleen vertrouwen op een gegenereerde testset. Die kan geen hiaten vinden in wat de agent nooit is verteld.
  • Blind vertrouwen op het beoordelingsmodel. Valideer de scores tegen door mensen beoordeelde voorbeelden.
  • Alleen het ideale scenario testen. Neem ongebruikelijke formuleringen, riskante verzoeken en bekende fouten mee.

Hoe software kan helpen

Begin met wat je agentplatform biedt. Copilot Studio heeft ingebouwde evaluatie, en er bestaan open-source en commerciële evaluatieframeworks voor aangepaste AI-agents. Kies een testtool waarmee je testsets kunt versioneren, elke case meerdere keren kunt draaien, tooloproepen kunt controleren en resultaten kunt exporteren. Gebruik je deliverypipeline als poortwachter, en houd de cases en hun eigenaren bij in een spreadsheet of testmanagementtool. Pilot met één AI-agent voordat je standaardiseert.

Volgende stap

Schrijf tien testcases voor één AI-agent die je al in gebruik hebt, inclusief drie bekende fouten en twee riskante verzoeken, en beoordeel elke case drie keer. Sla de resultaten vervolgens op als baseline, zodat testen van AI-agents binnen je team een vaste routine wordt in plaats van een discussiepunt.

Entities in this article

AI agent AI evaluation Copilot Studio End-to-end testing

Related articles

RSS