M365Con 2027 – gratis online conferentie · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Testbewijs voor audits: screenshots, logs en resultaatregistraties

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Geautomatiseerd testbewijs voor audits: wat een QA-lead moet vastleggen, hoe screenshots, logs en pass/fail-registraties controleerbaar blijven en hoe je een auditor antwoordt.

Automatically translated with AI from the original post. Read the English original

Geautomatiseerd testbewijs voor audits is de verzameling registraties die aantoont dat een test is uitgevoerd, laat zien wat er gecontroleerd is en vastlegt wat er gebeurd is, in een vorm die een onbekende er maanden later nog kan beoordelen. Deze gids is bedoeld voor QA-leads wiens teams bij een compliancecontrole of validatie om bewijs worden gevraagd. Je ziet wat een auditor zoekt, welke onderdelen van een testuitvoering het bewaren waard zijn, hoeveel detail je moet vastleggen en hoe je alles organiseert. Een uitgewerkt voorbeeld met fictieve cijfers laat zien hoe een team van paniekerig zoeken naar een antwoord van vijf minuten gaat.

Belangrijkste punten

  • Een auditor moet aan de registraties alleen al kunnen zien wat er getest is, wat er verwacht werd, wat er gebeurd is en wie of wat de test heeft uitgevoerd. Een kale pass of fail is daarom zelden genoeg.
  • Bruikbaar bewijs bestaat uit vijf onderdelen: screenshots of opnames, uitvoeringslogs, bijlagen zoals testdata, uitvoeringsmetadata en koppelingen van fouten naar defecten.
  • Screenshots zijn wettelijk niet verplicht, en systeemlogs kunnen als bewijs dienen als de logs betrouwbaar zijn en het testautomatiseringstool zelf gevalideerd is.
  • Stem de diepgang van het bewijs af op het risico: bewaar volledige registraties voor functies met een hoog risico en lichtere registraties voor functies met een laag risico.
  • Koppel elke test aan een eis en meet hoe snel je volledig bewijs voor één eis boven tafel krijgt.

Wat auditors echt vragen

Een auditor wil niet je testtool zien. De auditor wil beoordelen of je product doet wat het moet doen en of je eigen registraties dat aantonen. Het artikel van het Johner Institute over objectief bewijs, geschreven voor kwaliteitsmanagement van medische hulpmiddelen, zegt het zo: documentatie moet gedetailleerd genoeg zijn dat een onbetrokken persoon begrijpt wat er gedaan is en waarom aan de eisen wordt voldaan.

Hetzelfde artikel beschrijft vier niveaus van detail in testregistraties, van een kale "geslaagd" of "niet geslaagd" tot een volledige video. Het beoordeelt het eerste niveau als onvoldoende, stelt dat het tweede beperkte traceerbaarheid biedt en zegt dat reviewers vanaf het derde niveau, screenshots, genoeg hebben om mee te werken. Ook stelt het dat een kale pass of fail niet routinematig wordt geaccepteerd.

Jouw vakgebied heeft zijn eigen regels, maar onder vrijwel elk raamwerk of elke norm komen steeds dezelfde vragen terug:

  • Wat is er getest, en tegen welke eis?
  • Wat verwachtte je dat er zou gebeuren?
  • Wat is er gebeurd, en wie of wat heeft de test uitgevoerd?
  • Wanneer en in welke omgeving is dat gebeurd?
  • Als de test is mislukt, wat heb je daaraan gedaan?

Auditbewijs dat deze vijf vragen beantwoordt zonder dat er een gesprek nodig is, is wat een goed dossier kenmerkt. Behandel dit als onderdeel van auditgereedheid voor je testteam, zodat je het hele jaar auditklaar bent en niet alleen in de weken voor een review.

Geautomatiseerd testbewijs voor audits: wat je moet vastleggen

De TestCollab-gids over een teststrategie voor bewijs noemt vijf soorten bewijs. Ze vormen een goede checklist voor elke documentatie:

  1. Screenshots en opnames. Visueel bewijs van schermstatussen, foutmeldingen en storingen, wat vooral helpt bij browsergebaseerde end-to-end testing.
  2. Uitvoeringslogboeken. Stap-voor-stap registraties van wat geslaagd is, wat is mislukt en waarom.
  3. Bijlagen. Testdata, configuratiemomentopnames, API-antwoorden of geëxporteerde rapporten.
  4. Uitvoeringsmetadata. Wie de run heeft gestart, wanneer, in welke omgeving en met welke configuratie.
  5. Koppelingen naar defecten. Een verbinding tussen elke mislukte test en het bijbehorende bugticket.

Het automatiseren van het verzamelen van bewijs is de logische volgende stap, en teams die dat automatiseren, hoeven niet meer op hun geheugen te vertrouwen. Een tool kan bij een fout automatisch een screenshot toevoegen en resultaten met bijlagen naar een testbeheersysteem sturen. Geautomatiseerd bewijs van dit soort heeft niemand nodig die er iets aan hoeft te onthouden. De gids voegt een nuttig punt toe: bewijs dat tijdens de test wordt vastgelegd, is nauwkeuriger dan bewijs dat achteraf wordt gereconstrueerd. Goede bewijsvastlegging, met registraties naast de resultaten, is beter dan een spreadsheet die iemand vlak voor de audit invult.

Niet elke test heeft elk artefact nodig. De gids suggereert dat een smoke test misschien alleen een status nodig heeft, terwijl een acceptatietest een screenshot van elk kritiek scherm nodig kan hebben en een regressietest mogelijk uitvoeringslogs en omgevingsgegevens. Leg deze regels één keer vast, per testtype, zodat het auditproces niet van giswerk afhangt.

Screenshots, logs of video: hoeveel is genoeg

Johner maakt drie punten die tijd besparen.

  • Screenshots zijn geen wettelijke verplichting. Ze zijn één manier om te laten zien wat er gebeurd is, bijvoorbeeld dat een specifieke waarschuwing verscheen.
  • Logs kunnen als bewijs dienen. Voorwaarden zijn dat de schermuitvoer en de registraties overeenkomen, de resultaten worden beoordeeld aan de hand van de eisen, het testautomatiseringsprogramma is gevalideerd en de registraties voldoen aan de regels die van toepassing zijn, zoals 21 CFR Part 11 voor elektronische registraties in de Verenigde Staten.
  • Video kost wat. Het laat de uitvoering zien maar beoordeelt het resultaat niet, het kost tijd om te bekijken, het gebruikt veel opslagruimte en het is lastig te gebruiken voor regressietests.

De conceptrichtlijn van de FDA over computer software assurance, zoals uitgelegd in een artikel van Jama Software, gaat dezelfde kant op. Volgens dat artikel zijn screenshots niet verplicht, en kunnen systeemlogs, audittrails en andere elektronische gegevens als registratie dienen. De registratie moet het beoogde gebruik tonen, de risicobepaling, de uitgevoerde assurance-activiteiten, eventuele gevonden problemen en een conclusie over de vraag of de resultaten acceptabel zijn. Het artikel beschrijft ook een risicogebaseerde aanpak: gescripte tests voor functies met een hoog risico en ongescripte tests voor functies met een lager risico. Controleer welke versie van de richtlijn voor jou geldt, want het artikel beschrijft het conceptdocument.

De praktische regel is om de diepgang van de registratie af te stemmen op het risico. Houd volledige registraties bij, met stappen, verwachte resultaten, screenshots en logs, waar een fout mensen, geld of compliance kan schaden.

Johner noemt ook testrobots die gebruikersacties simuleren en de reacties vastleggen, waarbij AI mogelijk helpt bij de beoordeling. Als je AI gebruikt om resultaten te beoordelen, behandel de AI-uitvoer dan als concept, houd een persoon verantwoordelijk voor het oordeel en valideer de AI-functies net als elk ander onderdeel van de tool. Een AI-oordeel zonder registratie van de redenering is zwak bewijs, en AI-gestuurde controles hebben dezelfde registratie nodig als elke andere controle. Je kunt ook het vastleggen van die registratie automatiseren.

Maak de registratie betrouwbaar en makkelijk vindbaar

Handmatig bewijs verzamelen betekent handmatig werk, en handmatig werk vergroot de kans op menselijke fouten, vooral in auditperiodes wanneer teams bewijs met de hand toevoegen. Bewijs dat niet te vinden is, of dat iemand had kunnen aanpassen, is zwak bewijs. Vier gewoontes helpen.

  1. Koppel elke test aan een eis. TestCollab raadt aan elke test te koppelen aan de eis die hij valideert, zodat het bewijs laat zien welke test welke eis heeft gedekt en met welk resultaat. Een traceerbaarheidsmatrix kan die koppelingen automatisch aanmaken.
  2. Bewaar de auditlog van de testuitvoeringen. Sla de geschiedenis op, zodat een reviewer elke uitvoering van een test kan zien en niet alleen de laatste geslaagde. Mislukte uitvoeringen die later zijn opgelost en opnieuw gedraaid, horen in de geschiedenis thuis.
  3. Beheer wie wat mag wijzigen. Beperk de bewerkrechten tot resultaten en bijlagen, en leg vast wie een test of het verwachte resultaat heeft gewijzigd. Vraag je kwaliteitsteam of je formele handtekeningen nodig hebt.
  4. Voeg een reviewpoort toe. TestCollab stelt een eigen status voor, zoals "Needs Evidence Review", die voorkomt dat een test als voltooid wordt gemarkeerd zolang de vereiste artefacten niet zijn toegevoegd.

In dezelfde gids vind je drie maatstaven die je kunt bijhouden:

  • Dekking van bewijsmateriaal: het aandeel testuitvoeringen dat de vereiste artefacten heeft. Het voorbeeld in de gids: 60 procent terwijl een beleid schermafbeeldingen vereist, wijst op een procesprobleem.
  • Tijd tot bewijsmateriaal: hoe snel na een uitvoering de artefacten worden toegevoegd.
  • Snelheid van ophalen: of je voor elke eis volledig bewijsmateriaal binnen vijf minuten kunt ophalen. De gids noemt dat als norm.

Houd er rekening mee dat de gids niet ingaat op hoe lang je gegevens moet bewaren of hoe je manipulatie voorkomt. Die antwoorden komen van je toezichthouder, je contracten en je eigen beleid. Werkt je bedrijf ook onder een compliancekader zoals SOC 2? Vraag dan je compliancelead of dezelfde gegevens voor beide kunnen dienen. Koppel de testworkflow via een integratie aan je pipeline, zodat de gegevens binnenkomen zonder handmatig kopiëren.

Welke bewijstaken je kunt automatiseren, en welke een mens nodig hebben

Automatisering van bewijsmateriaal werkt het best bij repetitieve stappen: gegevens verzamelen uit testruns, testlogs en schermafbeeldingen toevoegen, en elk resultaat koppelen aan de eis waarvoor het geldt. Naar onze mening bespaart dat je het saaie werk van handmatig bewijsmateriaal verzamelen voorafgaand aan elke auditvoorbereiding. Toch moet een persoon het ondersteunende bewijsmateriaal nog beoordelen, omdat alleen een mens kan bepalen of het een specifieke controle of auditeis onderbouwt. Bewaar testscripts, testlogs en resultaten van testruns in één opslag die als bron van waarheid dient, en gebruik hetzelfde compliancebewijs voor elk kader dat erom vraagt, als je kwaliteitsteam dat goedkeurt.

Voorbeeld: van paniek naar vijf minuten

De cijfers zijn verzonnen.

Een QA-lead ondersteunt een factureringsapplicatie die onder een interne controlebeoordeling valt. Het team voert vóór elke release 60 geautomatiseerde tests uit. Voor de beoordeling kiest de reviewer vijf eisen en vraagt om bewijs van testen.

De eerste poging is pijnlijk. De testresultaten staan in een pipeline-uitvoer die na 30 dagen verloopt. Er zijn schermafbeeldingen voor slechts 27 van de 60 uitvoeringen, wat neerkomt op 45 procent dekking van bewijsmateriaal. Niemand kan zeggen welke test de creditnota's dekt. Het team doet er twee dagen over om te antwoorden, en het antwoord heeft gaten.

Na de beoordeling doet de lead vier wijzigingen. Elke test krijgt een eis-ID. De pipeline voegt bij elke mislukte stap een schermafbeelding en het uitvoeringsrecord toe, en bij elke kritieke test een eindschermafbeelding. Resultaten, met geschiedenis, verhuizen naar een opslag die gedurende de hele beoordelingsperiode wordt bewaard, en een reviewstatus voorkomt dat een test wordt afgerond zolang de artefacten ontbreken. De lead schrijft ook een regel van één pagina per testtype.

Bij de volgende beoordeling vraagt de reviewer opnieuw naar vijf eisen. Het team exporteert de geschiedenis voor elk daarvan in ongeveer vijf minuten per eis. De dekking van bewijsmateriaal is nu 58 van de 60 uitvoeringen, en de twee uitzonderingen zijn gedocumenteerde smoketests met alleen een status, zoals de regel toestaat.

Veelgemaakte fouten

  • Alleen geslaagd of mislukt bewaren. Een reviewer kan dan niet zien wat er precies is gecontroleerd.
  • Bewijs achteraf vastleggen. Achteraf opgebouwde gegevens zijn minder nauwkeurig en komen zwakker over.
  • Alles altijd registreren. Volledige video bij elke test kost opslagruimte en beoordelingstijd, terwijl er weinig van wordt bekeken.
  • Geen koppeling met eisen. Zonder traceerbaarheid kun je niet aantonen wat een test bewijst.
  • Geschiedenis weggooien. Reviewers kunnen vragen stellen over mislukte uitvoeringen, niet alleen over het eindresultaat.
  • Het testhulpmiddel blind vertrouwen. Als de records van het hulpmiddel je bewijs zijn, moet het hulpmiddel dat ze heeft geproduceerd misschien zelf worden gevalideerd.

Hoe software kan helpen

Begin met je testmanagementtool en je CI-systeem. Daarin kun je resultaten opslaan, bijlagen koppelen en de historie bewaren. Sommige testtools en testplatforms hebben ook functies voor bewijsvoering. Genta by Cognillo is daar een voorbeeld van. Volgens de leverancier toont het geslaagde en mislukte tests met screenshots, logbestanden en foutbijlagen, en biedt het op rollen gebaseerd toegangsbeheer, een auditlogboek en dashboardexports naar Excel, CSV of PDF. Dit zijn de uitspraken van de leverancier; M365.FM heeft ze niet getest. Vergelijk tools in een pilot en controleer of de registraties voldoen aan je eigen compliance-regels.

Openbaarmaking: Cognillo sponsort M365.FM.

Volgende stap

Kies één gereguleerde functie en noteer welke vijf feiten een auditor moet zien voor de tests daarvan. Controleer daarna een recente testuitvoering aan de hand van die lijst, en gebruik de hiaten om je regel voor geautomatiseerd testbewijs voor audits vast te stellen.

Volg de podcastSpotify

Entities in this article

End-to-end testing Audit readiness Compliance Genta Automation

Related articles

RSS