M365Con 2027 – gratis online conferentie · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Kunnen AI-tools testcases uit user stories schrijven? Waar je eerst op moet letten

By · · Updated

Kunnen AI-tools testcases genereren uit user stories? Onderzoeken laten snelle concepten zien met hiaten. Lees wat je eerst moet controleren: dekking, ambiguïteit, edge cases en verzonnen tests.

Automatically translated with AI from the original post. Read the English original

Kunnen AI-tools testcases genereren uit user stories? Ja, en het gaat in seconden, maar het concept moet zorgvuldig worden nagelopen voordat het in je testsuite terechtkomt. Deze gids is bedoeld voor QA-leads die het willen proberen zonder kwaliteit op te offeren. Je leest wat twee gepubliceerde onderzoeken hebben gevonden, welke problemen steeds terugkomen en een checklist om een concept te controleren. Een uitgewerkt voorbeeld met verzonnen cijfers laat zien hoe een review een reeks gegenereerde testcases verandert.

Belangrijkste punten

  • AI kan in seconden tot minuten een concept van testcases maken op basis van user stories. Een experiment van Thoughtworks vond een hoge dekking van de opgegeven acceptatiecriteria, maar de kwaliteit hing af van hoe duidelijk de story was.
  • Hetzelfde experiment mat ambiguïteit in ongeveer 27 procent van de gegenereerde cases en ongeveer 6 procent onjuiste cases. Een review is dus geen optie maar een must.
  • Onderzoeken beschrijven vier terugkerende problemen: irrelevante of verzonnen cases, dubbele cases, ontbrekende edge cases en inputs die niet volledig gespecificeerd zijn.
  • Toets elk concept aan de acceptatiecriteria, verwijder duplicaten, voeg edge cases en negatieve paden toe en herschrijf elke vage stap.
  • Behandel het model als assistent dat concepten maakt, en houd een persoon verantwoordelijk voor wat in de regressiesuite terechtkomt.

Kunnen AI-tools testcases uit user stories genereren? Wat onderzoeken hebben gevonden

Een artikel van Thoughtworks, AI generated test cases from user stories: an experimental research study, beschrijft een klein experiment. Drie QA-engineers met drie tot vijf jaar ervaring schreven handmatig testcases voor negen user stories. Vervolgens produceerden generatieve AI-tools, vooral GitHub Copilot met ChatGPT als vergelijking, testcases voor dezelfde stories op basis van verfijnde prompts.

Gemiddeld dekten de gegenereerde cases 98,67 procent van de acceptatiecriteria en waren ze consistent qua structuur. Het artikel meldt ongeveer 4 procent duplicatie, ongeveer 6 procent onjuiste testcases en een ambiguïteitsscore van ongeveer 27 procent. Volgens het artikel duurde het genereren seconden tot minuten in plaats van uren.

De zwakke punten waren even duidelijk. De kwaliteit hing sterk af van de kwaliteit en specificiteit van de input. De tools hadden moeite met complexe bedrijfslogica, vonden weinig edge cases zonder expliciete begeleiding en deden weinig niet-functioneel testen tenzij daar om gevraagd werd. De auteurs noemen hun hypothese deels gevalideerd, stellen dat menselijk toezicht essentieel blijft, en wijzen erop dat de steekproef van negen user stories klein is.

Een tweede paper, een arXiv-studie getiteld Automatic High-Level Test Case Generation using Large Language Models, keek naar use cases in plaats van user stories, dus beschouw die als een verwant resultaat. De auteurs bouwden een dataset op met 1.067 use cases en 3.606 testcases uit 168 projecten. In een menselijke evaluatie scoorde GPT-4o 3,91 voor volledigheid en 3,98 voor relevantie, tegenover 4,04 en 4,30 voor door mensen geschreven testcases. De auteurs vonden de output bevredigend, maar ze stellen dat een volledige menselijke evaluatie van de geautomatiseerde testcases nodig is.

Wat de cijfers wel en niet vertellen

Wees voorzichtig met de percentages. Beide studies benoemen hun beperkingen. Het Thoughtworks-experiment gebruikte negen user stories, specifieke tools en versies, en een deels subjectieve beoordeling, en het mat de productiviteit op de lange termijn niet. Het meldt ook dat ChatGPT beter presteerde dan GitHub Copilot waar gedetailleerde interpretatie van prompts nodig was, dus de resultaten hangen af van de tool en de prompt.

In de arXiv-paper kwamen de 26 menselijke evaluatoren onderling maar matig overeen, met een Cohen's Kappa van 0,42, en de deelnemers waren een gemakssteekproef. De auteurs zeggen ook dat een automatische gelijkenisscore fouten zoals ontbrekende edge cases of negatieve cases niet betrouwbaar kan opsporen. Daarom pleiten ze voor een menselijke evaluatie.

Ook de hoge dekkingscijfers verdienen een tweede blik. Ze meten de criteria die zijn opgeschreven. Ze kunnen de impliciete regels die niemand in de story heeft gezet niet laten zien, en juist daar zitten vaak de defecten.

Vier problemen die steeds terugkomen

De arXiv-paper noemt vier terugkerende problemen, en de Thoughtworks-resultaten wijzen in dezelfde richting:

  1. Irrelevante cases. De auteurs koppelen deze aan AI-hallucinatie: het model levert informatie die plausibel klinkt maar onjuist is. Een voorbeeld was een test voor een functie die de applicatie niet ondersteunde.
  2. Redundante cases. Sommige cases herhalen een andere met een kleine wijziging.
  3. Ontbrekende edge cases. Modellen misten cases die menselijke testers wel opnamen, zoals het weigeren van een niet-ondersteund buidtype.
  4. Zwakke invoerspecificatie. Sommige gegenereerde cases lieten invulvelden weg die de test nodig heeft.

Geen van deze problemen maakt een concept meteen onbruikbaar. Ze vertellen je waar je op moet letten.

Wat je eerst controleert: een reviewchecklist

Thoughtworks adviseert de output te reviewen voordat die in productie gaat, door hem te toetsen aan de acceptatiecriteria, onduidelijke logica te markeren en de dekking van edge cases te verifiëren. Zet dat om in een checklist voor elke batch:

  • Dekking. Heeft elk acceptatiecriterium minstens één testcase? Zet de criteria op een rij en vink ze af.
  • Verzonnen tests. Komt elke case overeen met iets in de story? Verwijder cases voor functies die niet bestaan.
  • Duplicaten. Voeg cases samen die hetzelfde gedrag met dezelfde data controleren.
  • Specifieke stappen. Noemt elke stap het element en de data? Herschrijf vage formuleringen zoals "voer geldige gegevens in".
  • Verwachte resultaten. Is elk verwacht resultaat zichtbaar op het scherm of in een record?
  • Edge cases en negatieve paden. Voeg lege invoer, verkeerd formaat, grenswaarden en machtigingsfouten toe.
  • Niet-functionele eisen. Voeg controles voor prestaties, toegankelijkheid en beveiliging toe die de story impliceert, omdat het model ze kan overslaan.

Bekijk bij een grote batch eerst een steekproef. Lees de eerste tien cases volledig. Falen er veel aan de checklist, repareer dan eerst de story of de prompt voordat je verder leest, want dezelfde fout komt in de rest terug. Dit is een werkregel, geen resultaat uit de studies.

AI-generatie van testcases past in softwaretesting als conceptstap vóór testautomatisering. Een QA-team kan AI gebruiken om testcases te maken voor elk testscenario in een story, de testdekking af te zetten tegen de acceptatiecriteria, en daarna te bepalen welke cases automatische tests worden. De AI-tool doet het uittypen, en het QA-team houdt het testontwerp in eigen hand. Zo gebruikt, kun je sneller tests genereren zonder de kwaliteit van de suite te verlagen.

Deze controle is human-in-the-loop-werk. De tester typt het concept niet opnieuw over. De tester beoordeelt het, en dat oordeel is het deel dat het model niet kan leveren.

Maak de invoer makkelijker voor de AI

Thoughtworks meldt dat de prompt zich ontwikkelde van een eenvoudig verzoek naar een prompt die het model een rol gaf en het vroeg om waar passend Given, When, Then te gebruiken. Ook meldt het dat dekking voor complexe scenario's veel werk aan de prompt vroeg. Drie gewoonten helpen:

  1. Schrijf expliciete acceptatiecriteria. Als de user story vaag is, worden de testgevallen ook vaag. Repareer eerst de story.
  2. Voeg context toe. Noem de gebruikersrol, het productgebied en de regels die het model niet kan raden.
  3. Vraag om een structuur. Werk met AI met een duidelijk format: vraag per testgeval om een titel, voorwaarden, stappen, data en verwacht resultaat, en vraag de AI om zijn aannames op te sommen.

Houd de prompt vrij van geheimen en klantgegevens. Gebruik verzonnen voorbeeldwaarden.

Voorbeeld: één batch beoordelen

De cijfers zijn verzonnen.

Een team geeft tien user stories aan een AI-assistent. Die levert in een paar minuten 60 testgevallen op. De QA-lead bekijkt ze samen met de product owner.

  • 6 gevallen zijn dubbel, dus het team verwijdert ze.
  • 5 gevallen testen gedrag dat het product niet heeft, dus het team verwijdert ze ook. Dat laat 49 over.
  • 7 van de overgebleven 49 gevallen hebben vage stappen of resultaten, dus het team herschrijft ze.
  • 9 randgevallen en negatieve paden ontbreken, dus het team voegt ze handmatig toe.

De uiteindelijke suite telt 58 testgevallen. De review kostte ongeveer drie uur, terwijl het schrijven van alle 58 vanaf nul misschien een volle dag had gekost. Het team bewaart de reviewnotities, noteert welke soorten gevallen zijn afgewezen, en gebruikt die informatie om de prompt te verbeteren voor de volgende sprint. De winst is echt, maar ze komt voort uit de review en niet alleen uit het model.

Veelgemaakte fouten

  • Het batch ongelezen accepteren. Dubbele en verzonnen gevallen komen in de suite terecht en ondermijnen het vertrouwen erin.
  • Succes meten aan het aantal gevallen. Meer gevallen betekent niet meer dekking.
  • Vage stories aan het model voeren. Slechte input levert slechte output op.
  • Randgevallen en niet-functionele controles vergeten. Uit onderzoek blijkt dat modellen die vaak missen.
  • Privégegevens in prompts zetten. Gebruik verzonnen waarden en volg je dataбeleid.
  • De koppeling met de acceptatiecriteria overslaan. Zonder die koppeling kun je niet aantonen wat gedekt is.

Hoe software kan helpen

Een spreadsheet of je testmanagementtool kan de criteria, de gegenereerde gevallen en de reviewstatus naast elkaar bewaren. Markeer elk geval als geaccepteerd, herschreven of afgewezen, en houd de aantallen bij, zodat je na een paar sprints je eigen afwijzingspercentage kent. Een codereviewtool of een gedeeld document helpt testers en product owners samen te beoordelen. Als je een AI-assistent gebruikt, kies er dan een waarmee je de prompt kunt beheersen en de volledige output kunt zien. Voor testgevallen op browserniveau kan een eenvoudig te gebruiken end-to-end testing-tool daarna de goedgekeurde stappen uitvoeren. Test eerst met één team voordat je het breed uitrolt.

Volgende stap

Neem één afgeronde user story, vraag een AI-tool om testgevallen te genereren en controleer het concept aan de hand van de checklist hierboven. Tel wat je verwijdert, herschrijft en toevoegt, en gebruik die aantallen om te bepalen hoeveel je AI testgevallen uit user stories in je team laat genereren.

Entities in this article

Generative AI AI hallucination Human in the loop End-to-end testing

Related articles

RSS