Welke regressietests automatiseer je eerst? Een beslisgids
By Mirko Peters · · Updated
Welke tests automatiseer je eerst? Begin met regressietests die bedrijfskritieke processen dekken, vaak worden uitgevoerd en stabiel zijn. Gebruik vijf criteria en een eenvoudige scoringsmatrix om te beslissen.
Automatically translated with AI from the original post. Read the English original
Welke tests moet je als eerste automatiseren? Begin met regressietests die bedrijfskritieke processen dekken, bij elke build draaien, zelden wijzigen en het langst duren om handmatig te herhalen. Deze gids is bedoeld voor QA-leads met een klein team en een lange lijst handmatige controles die een verantwoorde volgorde nodig hebben. Je ziet vijf selectiecriteria, een overzicht van wat je voorlopig handmatig laat, en een eenvoudige scoringsmatrix. Een uitgewerkt voorbeeld met fictieve cijfers rangschikt vijf kandidaat-tests, zodat je de methode direct kunt overnemen.
Belangrijkste punten
- Automatiseer eerst de regressietests die bedrijfskritieke processen dekken, vaak worden uitgevoerd, zelden wijzigen en de meeste tijd kosten om handmatig te herhalen.
- Rangschik functies op de kosten van een fout: de kans en de ernst van een defect bepalen welke test eerder in aanmerking komt voor automatisering.
- Laat eenmalige, instabiele, exploratieve en gebruiksvriendelijkheidscontroles voorlopig handmatig, omdat automatisering ervan meer kan kosten dan het handmatig uitvoeren.
- Een gewogen score van 1 tot 5 op basis van bedrijfskriticiteit, frequentie, stabiliteit, handmatige inspanning en instabiliteit van tests maakt van een discussie een gerangschikte lijst.
- Kies bij voorkeur de laagst mogelijke testlaag die werkt, en houd browsergebaseerde end-to-endtests voor de processen waarvoor volledige validatie essentieel is.
Waarom de volgorde van automatisering ertoe doet
Automatisering kost inspanning, en die inspanning verdient zich alleen terug als een test vaak wordt uitgevoerd. Een test die bij elke build draait, verdient zich snel terug. Een test die maar één keer draait, doet dat nooit.
In agile teams met korte sprints heeft het team zelden tijd om alles te automatiseren. Testautomatisering is een investering, dus denk in termen van return on investment (ROI): de handmatige uren die elke geautomatiseerde testcase bespaart, min de uren om de testscripts te schrijven en te onderhouden. De volgorde waarin je automatiseert bepaalt daarom hoe snel je investering rendeert. Een team dat tien testen met lage waarde automatiseert en de afrekenfunctie handmatig laat, heeft zijn inspanning op de verkeerde plek gestoken.
In de Ranorex-gids over weten wat je moet automatiseren staat regressietesten bovenaan de prioriteitenlijst, omdat frequente herhalingen de besparing vermenigvuldigen. Ook adviseert de gids teams om functies te rangschikken op de kosten van een fout en de tests voor de riskantste functies eerst aan de regressiesuite toe te voegen.
Het artikel van TestDevLab over het prioriteren van testcases voor regressietesten beschrijft hetzelfde idee als risicogebaseerde prioritering: testcases rangschikken op factoren zoals de kans op een fout en de ernst van de impact. Het advies is om te beginnen met functies met een hoog risico en een grote kritieke waarde, en daarna over te gaan op functies met een lager risico. Ook stelt het dat functies die vaak worden bijgewerkt en complexe functies met meerdere componenten eerder getest moeten worden.
De praktische boodschap: automatiseer op basis van risico en hoe vaak de test wordt uitgevoerd, niet op basis van een functielijst of gemak.
Een korte automatiseringsstrategie benoemt de kandidaten, de tools, de eigenaar en de datum van evaluatie. De meeste best practices voor testautomatisering beginnen op dezelfde manier: bepaal wat je automatiseert en kies pas daarna de tool.
Welke tests automatiseer je eerst: vijf criteria
Katalons gids over het selecteren van regressietestcases stelt dat sterke automatiseringskandidaten aan de meeste voorwaarden uit een reeks voldoen. Dit zijn de vijf die voor een klein team het belangrijkst zijn.
- Bedrijfskritisch. De test dekt een omzetkritische, beveiligingsgevoelige of kernstroom, zoals inloggen, afrekenen of betalingen. Als dit misgaat, merken klanten het als eerste.
- Wordt vaak uitgevoerd. De test draait bij elke pull request, elke nachtelijke build of elke release.
- Stabiel. De functionaliteit verandert zelden, dus de test hoeft niet voortdurend te worden gerepareerd.
- Duur om handmatig uit te voeren. De test is repetitief, traag en gevoelig voor menselijke fouten. Herhaalde en datagestuurde controles passen goed, omdat dezelfde stappen met veel verschillende invoer worden uitgevoerd, en daar levert automatisering de meeste tijdwinst op.
- Duidelijk resultaat. De test heeft een objectief resultaat van geslaagd of mislukt dat eenvoudig te controleren is, bijvoorbeeld via het scherm, een API-respons of de systeemstatus. Dek in de testdata de randgevallen af die ertoe doen, niet elke denkbare invoer.
Een test die aan vier of vijf van deze criteria voldoet, komt bovenaan de wachtrij. Een test die aan één of twee voldoet, wacht.
Katalon voegt een punt toe over lagen: kies de laagste laag die werkt, en automatiseer instabiele UI-stromen alleen wanneer end-to-end validatie essentieel is. Als een regel kan worden gecontroleerd met een unit-test of een API-aanroep, is die controle meestal sneller en stabieler dan een browsertest. Trage UI-tests horen bij de weinige stromen die ze echt nodig hebben. Bewaar browsergerichte end-to-end testen voor de trajecten waarbij het hele pad door de schermen bewezen moet worden.
Stem de volgorde af op de testpiramide en je pipeline
Selectie bepaalt wat je automatiseert. Lagen bepalen waar. Martin Fowlers Practical Test Pyramid adviseert veel kleine, snelle unit-tests, enkele grovere tests en zeer weinig tests op het hoogste niveau. Zijn regel voor het kiezen van het niveau is nuttig voor een gerangschikte lijst: als een test op een hoger niveau een fout vindt en geen enkele test op een lager niveau faalt, schrijf dan een test op een lager niveau. Duw tests zo ver mogelijk omlaag, en verwijder tests op hoog niveau die dupliceren wat lagere niveaus al dekken.
Stel dus voordat je een browsertest schrijft voor een gerangschikt item twee vragen. Zou een unit-test of een integratietest dezelfde regel sneller kunnen bewijzen? Zijn er automatische testcases die nu overbodig zijn? Dit zijn onze vragen, gebaseerd op Fowlers regel, en geen checklist uit de bronnen.
Plaats daarna elke test in de pipeline. Ranorex beschrijft smoketests als een kleine subset van regressietests die bij elke nieuwe build draaien, en Katalon noemt elke pull request, nachtelijke build en release als de momenten waarop sterke kandidaten draaien. Een praktische verdeling, die een eigen suggestie van ons is, is een kleine smoke-set bij elke build en de volledige automatiseringssuite elke nacht of bij elke release. Laat exploratief testen bij het QA-team en evalueer het plan elk kwartaal.
Wat je voorlopig handmatig laat
Nee zeggen hoort bij het plan. Ranorex noemt gevallen waarin automatisering niet loont:
- Eenmalige tests. Het kan langer duren een test te automatiseren dan hem één keer met de hand uit te voeren. Tests die deel gaan uitmaken van de regressiesuite of datagestuurd zijn, tellen niet als eenmalig.
- Instabiele functionaliteit. Zolang een eis nog experimenteel is of in ontwikkeling, test je die handmatig.
- Tests zonder duidelijk resultaat van geslaagd of mislukt. Automatiseer alleen wanneer het resultaat objectief is.
- Exploratief en gebruiksvriendelijkheidstesten. Ranorex stelt dat deze tests niet geautomatiseerd kunnen en niet geautomatiseerd moeten worden, omdat ze afhankelijk zijn van menselijk oordeel.
Functionaliteit die zich verzet tegen automatisering, zoals een CAPTCHA, vraagt om een eigen aanpak. Ranorex stelt voor die in de testomgeving uit te schakelen, een developer-bypass toe te voegen, of te pauzeren zodat een tester ze kan afronden.
Handmatig betekent niet vergeten. Zet deze tests op een lijst met een herzieningsdatum, zodat functionaliteit die stabiel is geworden naar boven kan schuiven.
Score de kandidaten met een eenvoudige matrix
Wanneer twee tests er allebei belangrijk uitzien, maakt een score de keuze zichtbaar. Katalon raadt aan elke test op gewogen factoren te scoren van 1 tot 5, elke score te vermenigvuldigen met het gewicht en de resultaten op te tellen. De voorbeeldgewichten van Katalon zijn zakelijke kriticiteit 0,3, uitvoeringsfrequentie 0,2, stabiliteit 0,2, bespaarde handmatige inspanning 0,15 en een flakiness-score 0,15, waarbij een hogere score een lager risico op flakiness betekent. De voorgestelde drempels zijn 4,0 of hoger om te automatiseren, 3,0 tot 3,9 om later opnieuw te bekijken, en onder 3,0 handmatig of exploratief houden.
Je kunt deze gewichten zo overnemen of aanpassen. Het gaat niet om het exacte getal. Het gaat erom dat het team het eens wordt over de factoren voordat het over afzonderlijke tests gaat discussiëren.
Waar komen de scores vandaan? Katalon merkt op dat productiedata en eerdere incidenten laten zien welke paden het meest tellen. TestDevLab beschrijft op geschiedenis gebaseerde prioritering, waarbij tests worden gerangschikt op hun eerdere resultaten bij het vinden van fouten. Gebruik je incidentlijst en supporttickets om de kolom kriticiteit in te vullen, en je buildgeschiedenis om de kolommen frequentie en flakiness te vullen. Een score op basis van data is makkelijker te verdedigen dan een score op basis van een mening. Bespreek de rangschikking met het hele team, en houd de testdekking van je kritieke flows bij als een eenvoudige telling: hoeveel van je tien belangrijkste flows hebben een geautomatiseerde testcase?
Voorbeeld: vijf kandidaat-tests rangschikken
De scores zijn verzonnen, de gewichten zijn die hierboven.
Een QA-lead heeft vijf handmatige controles te rangschikken. Elke factor is gescoord van 1 tot 5.
- Factuurexport. Kriticiteit 5, frequentie 5, stabiliteit 4, inspanning 4, flakiness-score 3. Score: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Eerst automatiseren.
- Wachtwoord resetten. Kriticiteit 5, frequentie 3, stabiliteit 5, inspanning 3, flakiness-score 4. Score: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Daarna automatiseren.
- Rapportfilter. Kriticiteit 3, frequentie 4, stabiliteit 4, inspanning 4, flakiness-score 4. Score: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Volgend kwartaal opnieuw bekijken.
- Nieuwe indeling dashboard. Kriticiteit 3, frequentie 3, stabiliteit 1, inspanning 3, flakiness-score 2. Score: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Handmatig houden totdat het ontwerp vaststaat.
- Upload profielfoto. Kriticiteit 2, frequentie 2, stabiliteit 3, inspanning 2, flakiness-score 2. Score: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Handmatig houden.
Het resultaat is een gerangschikte lijst: factuurexport, dan wachtwoord resetten, met het rapportfilter in reserve. De lead begint met een klein automatiseringsframework, gedeelde testdata en deze eerste testcases, en breidt daarna de geautomatiseerde suite uit. De product owner ziet de redenen, en zodra het dashboard niet meer verandert, stijgt de stabiliteitsscore en kan het omhoog schuiven.
Veelgemaakte fouten
- Eerst de makkelijkste tests automatiseren. Makkelijke tests hebben vaak weinig impact, dus de suite groeit zonder dat je beschermt wat ertoe doet.
- Een instabiele functie automatiseren. De tests breken bij elke wijziging en het team stopt met ze te vertrouwen.
- Tellen in plaats van impact meten. Een grote suite met weinig waardevolle controles kost meer onderhoud dan hij oplevert.
- Elke controle op browserniveau beginnen. Als een unittest of een API-controle de regel kan dekken, is die meestal goedkoper om aan te houden.
- Handmatig testen negeren dat nog steeds ertoe doet. Exploratieve controles en usability-reviews blijven bij testers, en softwaretesten heeft beide soorten inspanning nodig.
- De rangschikking nooit opnieuw bekijken. Gebruik, impact en stabiliteit veranderen, dus bekijk de lijst elk kwartaal opnieuw.
Hoe software kan helpen
Een spreadsheet met je vijf criteria en de gewichten is genoeg om te beginnen. Voeg een kolom toe voor de datum van de laatste review. Je testmanagementtool, als je die hebt, kan ook laten zien hoe vaak elke test draait en hoe vaak hij faalt, wat de frequentie- en flakiness-scores voedt. Historische defectdata uit je ticketsysteem laat zien welke gebieden het vaakst breken. Tools voor browsertesten, of ze nu scriptgebaseerd of in gewone taal werken, zijn pas relevant zodra de rangschikking aangeeft welke flows een test verdienen. Kies de tool nadat je de lijst hebt, niet ervoor.
Volgende stap
Zet je twintig traagste handmatige regressiecontroles op een rij, score elk op de vijf factoren en sorteer het resultaat. Automatiseer daarna de top drie, en gebruik die gerangschikte lijst om in je volgende planningsvergadering te beantwoorden welke tests je als eerste automatiseert.