Wat is natuurlijketaaltestautomatisering? Een heldere uitleg
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Met natuurlijketaaltestautomatisering schrijven testers stappen in gewoon Engels, terwijl AI ze in een browser uitvoert. Lees hoe het werkt, wat de beperkingen zijn en hoe je het beoordeelt.
Automatically translated with AI from the original post. Read the English original
Natuurlijketaaltestautomatisering betekent dat je een test schrijft in gewoon Engels, en dat een AI-model die uitvoert in een echte browser. In plaats van een script vol selectors schrijf je "Klik op de knop Log in" of "Controleer of het ordertotaal 49,00 toont". Deze uitleg is bedoeld voor QA-leads en testers die de term horen en willen weten wat het is, hoe het werkt en waar het ophoudt. Je ziet het idee stap voor stap, de beperkingen die toolmakers zelf noemen, en een eenvoudige manier om te bepalen of het bij je team past.
Belangrijkste punten
- Natuurlijketaaltestautomatisering betekent dat je een teststap beschrijft in gewoon Engels, en dat een AI-model die omzet in browseracties wanneer de test draait.
- Het vervangt handgeschreven selectors en wachtacties door instructies zoals Klik op de knop Log in, zodat testers die niet programmeren tests kunnen schrijven en lezen.
- Leveranciers documenteren beperkingen: brede of complexe instructies falen vaker, en instructies met één stap zijn het betrouwbaarst.
- AI-tools die voor algemene webtaken zijn gebouwd, kunnen resultaten verzinnen zonder de echte app te inspecteren. Daarom moet elke gegenereerde stap worden beoordeeld en moet er een duidelijke regel voor geslaagd of mislukt zijn.
- Zie het als een manier om end-to-endtests sneller te schrijven, niet als vervanging van testontwerp, testdata of goed ingerichte omgevingen.
Wat natuurlijketaaltestautomatisering betekent
Een klassieke geautomatiseerde test van de gebruikersinterface is code. Een ontwikkelaar of automatiseringsengineer schrijft de stappen en vertelt de tool hoe elk element op de pagina gevonden moet worden, bijvoorbeeld via het ID of een CSS-selector. De test voert elke keer dezelfde stappen uit. Wanneer de pagina verandert, kan de selector ophouden te werken en mislukt de test.
Bij deze aanpak schrijft de tester juist de bedoeling. Het Cypress-team beschrijft de opdracht cy.prompt als een manier om tests in alledaagse taal te beschrijven, geschreven als tekststrings in het testbestand. Een artikel op de blog van Cypress stelt dat de gegenereerde stappen kunnen worden geïnspecteerd en gedebugd, en daarna kunnen worden omgezet in statische testcode die je kunt opslaan.
De onderliggende technologie is generatieve AI: een model leest de tekst en de pagina en beslist wat er moet gebeuren. In de meeste tools is dat een groot taalmodel, een AI-model dat is getraind op grote hoeveelheden tekst. Sommige leveranciers noemen de software die dit doet een AI-agent, omdat die acties uitvoert in plaats van alleen vragen beantwoordt. Het doel is in elk geval hetzelfde. Mensen die de applicatie kennen, kunnen tests schrijven en lezen zonder een programmeertaal te leren, daarom wordt de aanpak soms verkocht als codeloos testen.
Voor softwaretestteams verandert dit het maken van tests, niet het testproces. Testontwerp, testdata en het uitvoeren van tests blijven hetzelfde, en nog steeds beslist iemand welke testcase wordt gedekt.
Bij traditionele testautomatisering schrijven en onderhouden testers voor elke flow een testscript. AI-tools gebruiken in plaats daarvan natuurlijketaalverwerking om elke zin te lezen. Sommige leveranciers gaan verder en noemen hun tools agentisch. Een leveranciersgids van Autosana, die promotioneel is, beschrijft het verschil: een agentische tool interpreteert een doel in gewone taal, verkent de live pagina, handelt en past zich tijdens de run aan, en codeloos is niet hetzelfde als agentisch. Dezelfde gids waarschuwt dat veel producten zich AI-gestuurd noemen omdat ze autocomplete hebben toegevoegd aan een scripteditor. Ga zorgvuldig om met deze labels, en houd een slaag- of faalregel aan die jij beheert.
Hoe een test met schriftelijke instructies verloopt
De details verschillen per tool, maar de flow is vergelijkbaar. BrowserStack documenteert zijn bèta "NL Test Automation Agent" voor Selenium, en de pagina geeft een duidelijk beeld:
- Je schrijft een korte instructie. Elk commando is één Engelse zin, geen selector en geen code. De pagina adviseert te beginnen met een actiewoord, zoals "Click the Submit button".
- De AI interpreteert de instructie tijdens de run. Automatiseringsstappen worden gegenereerd terwijl de test loopt, dus er worden geen selectors of waits met de hand geschreven.
- De tool voert de actie uit in de browser. De pagina somt commandotypen op, zoals klikken, typen, zoeken, aanwijzen en scrollen.
- De tool meldt het resultaat. Geslaagde runs geven successuccesmeldingen in het log, en mislukte runs geven foutmeldingen met een reden.
Vergelijk dit met de aanpak die Playwright aanbeveelt in zijn best practices: test wat gebruikers zien en doen, en geef de voorkeur aan locators op basis van rol, tekst en test-ID boven XPath- of CSS-selectors die breken zodra de pagina verandert. Deze aanpak gaat nog een stap verder. De tester benoemt wat een gebruiker zou zien, zoals "de knop Log In", en de tool vindt die.
Waar testen in natuurlijke taal helpt
De aanpak past beter bij sommige taken dan bij andere.
- Smoketests en veelgebruikte gebruikerspaden. Inloggen, zoeken, toevoegen aan winkelwagen, afrekenen. Dit zijn de end-to-end-tests die het meest tellen, en ze zijn makkelijk in één zin te beschrijven.
- Teams waarin testers niet coderen. Een tester die het zakelijke proces kent, kan de test schrijven en lezen.
- Testgeneratie. Sommige tools kunnen een test genereren op basis van een korte beschrijving. Een persoon controleert nog steeds het testontwerp en de dekking.
Het helpt minder waar de controle afhangt van exacte getallen, complexe gegevensopzet of timing die fijne controle vraagt, zoals bij performancetests. Een unittest van een berekening heeft geen browser of AI-model nodig, en exploratief testen vraagt nog steeds een nieuwsgierig mens.
De beperkingen die leveranciers erkennen
Eerlijke toolmakers benoemen de beperkingen. Gebruik ze als checklist wanneer je een product beoordeelt.
- Complexe instructies falen vaker. De pagina van BrowserStack zegt dat complexe of te brede doelen kunnen mislukken met een
UNSUPPORTED_OBJECTIVE-fout, dat de betrouwbaarheid afneemt naarmate commando's complexer worden, en dat instructies met één stap het nauwkeurigst zijn. Splits een lange taak op in korte stappen. - Resultaten kunnen verschillen. Een AI-model interpreteert elke instructie tijdens de run, dus een vage zin kan bij verschillende runs tot andere acties leiden. Houd elke stap kort en specifiek.
- De functie kan in bèta zijn. Dezelfde pagina labelt de functie als bèta en zegt dat ondersteunde omgevingen kunnen veranderen.
- Verzonnen resultaten vormen een risico. Het Cypress-artikel waarschuwt dat veel AI-browsertools zijn gebouwd voor algemene webtaken, niet voor testen. Ze kunnen gehallucineerde output geven zonder de werkelijke app te inspecteren, en ze ondersteunen vaak onvoldoende debuggen, assertions en de testlevenscyclus.
Houd tests kort, controleer wat de AI heeft gegenereerd, en eis een duidelijke slaag- of faalregel voor elke stap.
Fouten, onderhoud en CI
Onderhoud is waar tests in gewone taal hun waarde moeten bewijzen, dus vraag je bij elk hulpmiddel af hoe het met wijzigingen omgaat. De Cypress-gids over AI-testgeneratie laat één ontwerp zien. Het slaat de gegenereerde code in de cache op, en die cache wordt gedeeld over machines en omgevingen, inclusief CI. Als je een test opnieuw uitvoert, roept het dus niet opnieuw de AI aan, tenzij de prompt of de pagina de cache ongeldig maakt. Verandert een selector of de tekst ervan tussen twee runs, dan genereert het opnieuw code voor die stap en markeert de stap in de logs als zelfgeheld. Het waarschuwt dat elke keer healen extra AI-aanroepen kost en de uitvoering vertraagt, en adviseert om elementen te benaderen via stabiele, zichtbare tekst. Je kunt de gegenereerde code ook bekijken, met opmerkingen die elk commando koppelen aan de bijbehorende promptstap, en die code opslaan in plaats van de prompt.
De Autosana-gids raadt een proof of concept van twee weken aan op echte gebruikersflows, ook flows die eerder al zijn gebroken. Daarbij beoordeel je screenshots en sessie-replays om te controleren wat de agent heeft gedaan. Er worden geen gemeten foutpercentages gegeven, dus voer zelf een pilot uit.
Kan het QA-engineers vervangen? Op basis van dit bewijs niet: mensen bepalen nog steeds wat er getest moet worden, bereiden de data voor en beslissen of een resultaat klopt.
Vragen om te stellen voordat je een tool kiest
Gebruik deze vragen in een gesprek met de leverancier of in een pilot. Ze werken voor elk product.
- Wat ziet het model precies? Inspecteert het de echte pagina, of gokt het op basis van de tekst van je instructie?
- Kan ik lezen en exporteren wat het heeft gedaan? Je wilt een log van elke gegenereerde stap en idealiter een vast script dat je in versiebeheer kunt bewaren.
- Hoe bepaalt het of een test slaagt of faalt? Zoek naar expliciete controles die jijzelf schrijft, en niet alleen naar het eigen oordeel van het model.
- Waar draait de test, en wie kan de data zien? Testaccounts en screenshots kunnen echte informatie bevatten.
- Wat bevat een foutrapport? Screenshots, logs en de falende stap besparen uren debuggen.
- Past het bij onze huidige testsuite? Controleer je automatiseringsframework, je pipeline en je handmatige testproces.
Voorbeeld: één inlogtest, drie manieren
De cijfers zijn verzonnen.
Een team vergelijkt drie manieren om een inlogtest te schrijven.
- Code met selectors. Een engineer schrijft ongeveer 12 regels. Het kost 30 minuten. Wanneer een developer de ID van de knop hernoemt, faalt de test en moet hij worden gerepareerd.
- Natuurlijke taal. Een tester schrijft vier regels: open de inlogpagina, typ de gebruikersnaam, typ het wachtwoord, klik op "Log In" en controleer of de titel van het dashboard verschijnt. Het kost 5 minuten. De tester leest de gegenereerde stappen na en bevestigt dat ze kloppen, en gebruikt AI alleen om ze uit te voeren.
- Natuurlijke taal, daarna exporteren. Het team bewaart de versie in gewone Engelse taal voor verkenning, en exporteert een vast script voor de nachtelijke regressierun, zoals het Cypress-artikel beschrijft voor de eigen tool.
In een maand komen twee fouten voort uit echte bugs en één uit een vage stap: "click the button" koppelde aan de verkeerde knop. Ze herschrijven het naar "click the Log In button". Precisie in de zin is net zo belangrijk als precisie in een selector.
Veelgemaakte fouten
- Lange, vage instructies schrijven. Gebruik één intentie per stap en benoem het element.
- AI-gegenereerde stappen vertrouwen zonder ze te lezen. Lees elke stap minstens één keer en bewaar het log.
- Het verwachte resultaat overslaan. Een test heeft een duidelijke controle nodig, zoals een titel of een totaalbedrag. "Zorg dat het werkt" is geen controle.
- Het voor alles gebruiken. Unit- en integratiecontroles horen in code, dicht bij de developers.
- Een tool adopteren zonder pilot. Draai eerst tien echte tests en vergelijk de oorzaken van fouten.
Hoe software kan helpen
Er bestaan verschillende soorten AI-testtools. Sommige voegen commando's in gewone taal toe aan een op code gebaseerd framework, zoals de Cypress- en BrowserStack-functies hierboven. Andere zijn aparte platforms voor het hele QA-team. Open-sourceframeworks zoals Playwright werken nog steeds goed voor teams die code verkiezen.
Genta by Cognillo is een voorbeeld van een afzonderlijk platform. Volgens de leverancier beschrijven testers in gewone taal wat een applicatie moet doen, waarna Genta de test in een browser op een cloudvirtuele machine uitvoert en rapporteert of hij geslaagd of mislukt is, met screenshots en logs. De leverancier zegt dat het bedoeld is voor QA-leads, SDET's en automatiseringsengineers. Dit zijn de uitspraken van de leverancier. Vergelijk het met andere opties in een pilot voordat je een keuze maakt.
Openbaarmaking: Cognillo sponsort M365.FM.
Volgende stap
Kies één stabiel gebruikerspad, zoals inloggen en zoeken, en schrijf dat uit in vijf stappen in gewone taal. Voer het uit in een tool voor testautomatisering met natuurlijke taal en in je huidige testframework, en vergelijk daarna de inspanning, de fouten en de kwaliteit van de logs.