Testdekking voor zakelijke apps: zo houd je bij wat er echt getest wordt
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Het bijhouden van de featuredekking van tests laat zien welke functies van een zakelijke app getest worden en welke niet. Bouw een dekkingsmatrix, lees de hiaten af en houd die up-to-date.
Automatically translated with AI from the original post. Read the English original
Het bijhouden van featuredekking van tests beantwoordt één eenvoudige vraag voor een zakelijke applicatie: welke functies hebben een test, en wat gebeurde er toen de test voor het laatst liep? Deze gids is bedoeld voor QA-leads die tests onderhouden voor line-of-business-apps en een helder beeld nodig hebben voor releasevergaderingen. Je ziet hoe testdekking bij softwaretesten verschilt van codedekking, hoe je testdekking meet met een dekkingsmatrix en hoe je die actueel houdt. Een uitgewerkt voorbeeld met verzonnen cijfers laat zien waarom een hoog percentage gekoppelde functies toch hiaten kan verbergen.
Belangrijkste punten
- Testdekking vraagt welke functies, eisen en gebruiksscenario's tests hebben, terwijl codedekking alleen meet hoeveel broncode tijdens het testen is uitgevoerd.
- Een dekkingsmatrix koppelt elke eis of functie aan de testcases die haar controleren, samen met prioriteit, resultaten, status en een eigenaar.
- Een gekoppelde test toont gedocumenteerde dekking, niet geslaagde validatie. Houd daarom de resultaten per build bij naast de koppelingen.
- Begin met de volledige lijst van functies, inclusief functies zonder tests, want een matrix die alleen uit bestaande tests is opgebouwd, laat niet zien wat nooit getest is.
- Bekijk de matrix tijdens de planning, na wijzigingen en vóór releasebeslissingen, en bewaar gedateerde momentopnames als bewijs.
Wat testdekking betekent, en wat niet
Het Perforce-artikel over testdekking versus codedekking onderscheidt twee begrippen die teams vaak door elkaar halen.
- Testdekking gaat over functies en gebruiksscenario's. Het helpt je zien of alle noodzakelijke scenario's zijn overwogen, en volgens het artikel is het een goede indicator van risico. Het wordt beoordeeld aan de hand van maatstaven zoals specificaties, risico, functionaliteit en product.
- Codedekking is een meting van hoeveel van de broncode van een applicatie tijdens het testen is uitgevoerd, vaak uitgedrukt als percentage van de regels. Het laat zien welke code wel en niet getest is.
Voor een zakelijke applicatie, zoals een ordersysteem of een HR-portaal, is het eerste begrip meestal belangrijker voor de mensen die op de software vertrouwen. Een manager vraagt of de goedkeuring van facturen getest is, niet of regel 4.200 is uitgevoerd.
Hetzelfde artikel waarschuwt ervoor een van beide getallen te royaal te lezen. Codedekking is niet per se gelijk aan codekwaliteit, en testdekking garandeert niet dat een applicatie vrij is van bugs. Als de tests zwak zijn, is de dekking dat ook. Zie dekking als een kaart van waar je hebt gekeken, niet als een cijfer.
Featuredekking van tests bijhouden in vier stappen
De TestRail-gids over de requirements traceability matrix beschrijft een methode die je voor featuredekking van tests kunt terugbrengen tot vier stappen.
- Bepaal de scope. Bepaal welke release of welke set functies de matrix dekt, en op welke builds en omgevingen die van toepassing is.
- Lijst elke functie op. Verzamel de volledige lijst van in-scope items uit betrouwbare bronnen en geef elk item een uniek, vast ID. De gids benadrukt dat je de volledige lijst behoudt, inclusief items zonder tests. Een lijst die alleen uit bestaande tests is opgebouwd, kan niet onthullen wat nooit gekoppeld is.
- Koppel elk item aan de bijbehorende tests. Koppel elk item aan de testcases, reviews of analyses die het beoordelen, en controleer of die controles de belangrijkste acceptatiecriteria afdekken.
- Leg resultaten vast en evalueer. Noteer het resultaat voor de relevante build, koppel defecten aan de getroffen resultaten, spreek af wanneer iets als geverifieerd geldt, en controleer de matrix op ontbrekende koppelingen en verouderde cases.
Begin hiermee bij de flows die het meest tellen, en bij elke nieuwe functie zodra die binnenkomt. Elk QA-team heeft een eigen werkwijze, dus houd de stappen licht. Een kleine matrix die actueel is, is meer waard dan een volledige die niemand vertrouwt.
Wanneer een team ervoor kiest een controle te automatiseren, verandert het beeld maar een beetje. Een geautomatiseerde test blijft één testcase, en automatiseringsdekking betekent het aandeel gekoppelde functies waarvan de tests zonder tester draaien. Neem dit op als aparte kolom naast handmatige cases, zodat het team ziet hoeveel er geautomatiseerd is en hoeveel nog afhankelijk is van mensen. Dekkingsmetrics als deze helpen bij de planning, maar de achterstand van onggeteste functies met een hoog risico is het getal dat tot actie aanzet.
Wat hoort in de dekkingsmatrix
TestRail somt de kolommen op die een volledige matrix kan bevatten. Voor een klein QA-team zijn deze voldoende:
- Requirement- of functie-ID en een korte beschrijving.
- Prioriteit of risico, zodat je de gaten in de juiste volgorde leest.
- Gekoppelde testcase-ID's, die zowel handmatige cases als geautomatiseerde uit je end-to-end-testsuite kunnen bevatten.
- Laatste resultaat en build, zodat de matrix laat zien wat er gebeurde en wanneer.
- Status, zoals niet gedekt, gedekt, geslaagd, mislukt of geblokkeerd.
- Eigenaar, de persoon die voor de rij verantwoordelijk is.
PractiTest beschrijft in zijn artikel over de requirement traceability matrix traceerbaarheid in twee richtingen: van een functie naar de tests, en van een test terug naar de functie die hij ondersteunt. De twee richtingen helpen op verschillende manieren. De eerste laat zien wat een functie heeft. De tweede laat zien waarom een test bestaat, en welke tests je moet bekijken wanneer een requirement verandert.
De matrix lezen: gaten, diepte en leeftijd
Een matrix is pas bruikbaar als je de juiste vragen stelt.
- Koppelingsgaten. Welke functies hebben geen gekoppelde test? TestRail definieert koppelingsdekking als het aandeel testbare requirements binnen scope met minstens één gekoppelde test.
- Validatiegaten. TestRail is duidelijk dat een gekoppelde test gedocumenteerde dekking laat zien, geen geslaagde validatie. Kijk naar het laatste resultaat: is de test uitgevoerd, en is die geslaagd?
- Diepte. PractiTest waarschuwt dat je iets procentueel volledig kunt testen zonder dat het goed getest is. Eén test per functie kan dun zijn, en combinaties van requirements kunnen er toe doen.
- Leeftijd. Een test die al maanden niet is uitgevoerd, zegt weinig over de build van vandaag. Toon de datum van de laatste run.
- Wezen. Tests die aan niets gekoppeld zijn, beschermen mogelijk een risico dat je functielijst niet vastlegt. TestRail adviseert om ongekoppelde tests te bekijken voordat je ze verwijdert.
Een korte lijst met de vijf riskantste gaten is in een releasevergadering nuttiger dan een tabel van tweehonderd rijen.
Waar codedekkingstools nog steeds helpen
Martin Fowler's notitie over testdekking noemt een dekkingstool "een nuttig hulpmiddel om onggeteste delen van een codebase te vinden" en stelt voor om dekkingstools af en toe te draaien om de ongeteste code te bekijken. Hij schrijft ook dat dekking weinig zegt als numerieke maatstaf voor hoe goed je tests zijn, omdat hoge dekkingscijfers te makkelijk te halen zijn met tests van lage kwaliteit. Hij zou wantrouwig worden van alles wat op 100 procent lijkt, en hij ziet dekking onder ongeveer de helft als een teken van problemen. Hij voegt eraan toe dat dekking het meest nuttig is voor de mensen die tests schrijven, omdat het lezen ervan technisch oordeelsvermogen vraagt.
Voor een QA-lead betekent dat een verdeling van het werk. Volgens ons lezen ontwikkelaars het coverage-rapport voor hun unit- en integratietests, terwijl het QA-team de featurematrix gebruikt om de testdekking te verbeteren waar het zakelijke risico het grootst is, zowel bij handmatig testen als bij testautomatisering. Geen van beide cijfers geeft op zich vertrouwen in een release. Beide zijn een kaart van de testinspanningen, geen bewijs van de productkwaliteit.
Houd hem actueel
Een verouderde matrix is erger dan geen matrix, omdat mensen erop vertrouwen. TestRail adviseert om de matrix te controleren tijdens de planning, na wijzigingen en voordat er releasebeslissingen worden genomen, en om een gedateerde momentopname te bewaren wanneer je het bewijs achter een beslissing nodig hebt. Ook raden ze aan een coördinator aan te wijzen, plus eigenaren voor wijzigingsverzoeken, testupdates en verificatiebeslissingen. PractiTest voegt toe dat de matrix zichtbaar moet blijven voor iedereen die hem nodig heeft, en waarschuwt dat gemailde spreadsheetkopieën tot verwarring leiden over welke versie actueel is.
Houd één gedeelde versie aan. Als je een testmanagementtool gebruikt, laat die dan de koppelingen en resultaten bijwerken terwijl de tests lopen, zodat de matrix niet afhangt van iemands geheugen. Het ondersteunt ook je regressietesten, omdat de koppelingen laten zien welke regressietests opnieuw moeten worden uitgevoerd na een wijziging.
Voorbeeld: 40 features, drie verschillende getallen
De getallen zijn verzonnen.
Een QA-lead volgt 40 features van een orderbeheerapp. De matrix toont drie verschillende beelden.
- Gekoppeld: 31 van de 40 features hebben minstens één gekoppelde test. Dat is 77,5 procent koppelingsdekking.
- Geverifieerd: van die 31 zijn er 22 geslaagd op de laatste build. Vijf zijn mislukt of geblokkeerd, en vier hebben al 90 dagen niet gedraaid. De geverifieerde dekking is 22 van de 40, oftewel 55 procent.
- Hiaten: 9 features hebben helemaal geen test. Drie daarvan zijn risicovol: terugbetalingen, prijsoverrides en wijzigingen van gebruikersrollen.
De lead presenteert het tweede getal, niet het eerste, aan de product owner. De volgende sprint van het team voegt tests toe voor de drie risicovolle hiaten, repareert de vijf mislukte of geblokkeerde tests en draait de vier verouderde opnieuw. Het dashboardpercentage stijgt, en het vertrouwen erachter ook. Een matrix die alleen de 77,5 procent toonde, had het probleem verborgen.
Veelgemaakte fouten
- Codedekking zien als featuredekking. Uitgevoerde regels zeggen niets over onggeteste zakelijke functies.
- De matrix alleen bouwen uit bestaande tests. Wat geen test heeft, zie je dan nooit.
- Een koppeling zien als bewijs. Toon het laatste resultaat per build.
- Achter een percentage aanjagen. Een doel van 100 procent nodigt uit tot dunne tests die elke feature alleen even aanraken.
- De matrix laten verouderen. Controleer hem bij de planning, na wijzigingen en voor de release.
- Kopieën bewaren in e-mail. Meerdere versies leiden tot discussie over welke de juiste is.
Hoe software kan helpen
Een spreadsheet is een goed begin. Een testmanagementtool kan tests aan features koppelen en resultaten automatisch bijwerken, wat het handmatig onderhoud bespaart. Genta by Cognillo is één voorbeeld. Volgens de leverancier omvat het testcase- en suitebeheer met tracking van featuredekking, geplande runs en dashboards die exporteren naar Excel, CSV of PDF. Dit zijn de verklaringen van de leverancier en ze zijn niet door M365.FM getest. Vergelijk het met andere opties en controleer hoe elke tool resultaten aan requirements koppelt voordat je je vastlegt.
Openbaarmaking: Cognillo sponsort M365.FM.
Volgende stap
Neem je belangrijkste zakelijke flow, zet de tien features ervan op een rij en koppel elke feature in een eenvoudige matrix aan de bijbehorende tests, met het laatste resultaat en de datum. Breng daarna de drie grootste hiaten mee naar je volgende releasevergadering, en spreek af wie vanaf dan de featuredekking bewaakt.