M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Testnachweise für Audits: Screenshots, Logs und Pass/Fail-Protokolle

Transparenzhinweis: Cognillo sponsert M365.FM. Diese Seite beschreibt das Unternehmen sachlich; bezahlte Partnerschaften und Links sind als Anzeige gekennzeichnet.

Von · · Aktualisiert

Automatisierte Testnachweise für Audits: was ein QA-Lead erfassen sollte, wie Screenshots, Logs und Pass/Fail-Protokolle nachvollziehbar bleiben und wie Sie einem Auditor antworten.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Automatisierte Testnachweise für Audits sind die Gesamtheit der Datensätze, die belegen, dass ein Test ausgeführt wurde, zeigen, was er geprüft hat, und festhalten, was passiert ist, und das in einer Form, die eine fremde Person auch Monate später prüfen kann. Dieser Leitfaden richtet sich an QA-Leads, deren Teams im Rahmen einer Compliance-Prüfung oder einer Validierung Nachweise vorlegen müssen. Sie erfahren, worauf ein Auditor achtet, welche Teile einer Testausführung sich aufzubewahren lohnen, wie detailliert Sie dokumentieren sollten und wie Sie alles organisieren. Ein durchgerechnetes Beispiel mit fiktiven Zahlen zeigt, wie ein Team von hektischer Suche zu einer Antwort in fünf Minuten kommt.

Das Wichtigste in Kürze

  • Ein Auditor muss allein anhand der Datensätze erkennen können, was getestet wurde, was erwartet wurde, was passiert ist und wer oder was den Test ausgeführt hat. Ein reines Bestanden oder Nicht bestanden reicht deshalb selten aus.
  • Brauchbare Nachweise bestehen aus fünf Teilen: Screenshots oder Aufzeichnungen, Ausführungsprotokollen, Anhängen wie Testdaten, Metadaten zur Ausführung und Verknüpfungen von Fehlern mit den zugehörigen Defekten.
  • Screenshots sind rechtlich nicht vorgeschrieben. Systemprotokolle können als Nachweis dienen, wenn die Protokolle vertrauenswürdig sind und das Testautomatisierungswerkzeug selbst validiert ist.
  • Passen Sie die Tiefe der Nachweise dem Risiko an: Bewahren Sie vollständige Datensätze für Funktionen mit hohem Risiko auf und schlankere für Funktionen mit geringem Risiko.
  • Verknüpfen Sie jeden Test mit einer Anforderung, und messen Sie, wie schnell Sie vollständige Nachweise für eine einzelne Anforderung zusammenstellen können.

Was Auditoren tatsächlich verlangen

Ein Auditor will nicht Ihr Testwerkzeug sehen. Er möchte beurteilen, ob Ihr Produkt das leistet, was es soll, und ob Ihre eigenen Aufzeichnungen das belegen. Der Artikel des Johner Institute zu objektiven Nachweisen, der sich an die Qualitätssicherung in der Medizintechnik richtet, formuliert es so: Die Dokumentation muss so detailliert sein, dass eine unbeteiligte Person nachvollziehen kann, was getan wurde und warum die Anforderungen erfüllt sind.

Im selben Artikel werden vier Detailstufen für Testaufzeichnungen beschrieben, von einem einfachen „bestanden“ oder „nicht bestanden“ bis hin zu einem vollständigen Video. Die erste Stufe gilt als unzureichend, die zweite bietet nur eingeschränkte Rückverfolgbarkeit, und ab der dritten Stufe, den Screenshots, sollten Prüfer genug Material für eine Bewertung haben. Außerdem heißt es, dass ein reines Bestanden oder Nicht bestanden in der Regel nicht akzeptiert wird.

Ihr Fachbereich hat eigene Regeln, doch unter nahezu jedem Rahmenwerk und Standard tauchen dieselben Fragen auf:

  • Was wurde getestet, und gegen welche Anforderung?
  • Was sollte passieren?
  • Was ist tatsächlich passiert, und wer oder was hat den Test ausgeführt?
  • Wann und in welcher Umgebung ist es passiert?
  • Falls der Test fehlgeschlagen ist: Was haben Sie dagegen unternommen?

Ein Auditnachweis, der diese fünf Fragen ohne Rückfrage beantwortet, zeichnet eine gute Dokumentation aus. Betrachten Sie dies als Teil der Audit-Bereitschaft Ihres Testteams, damit Sie das ganze Jahr über auditbereit sind und nicht nur in den Wochen vor einer Prüfung.

Automatisierte Testnachweise für Audits: was erfasst werden sollte

Der Leitfaden von TestCollab zu einer Teststrategie für Nachweise nennt fünf Arten von Nachweisen. Sie eignen sich als gute Checkliste für jede Dokumentation:

  1. Screenshots und Aufzeichnungen. Sie belegen optisch den Zustand von Oberflächen, Fehlermeldungen und Ausfälle und helfen besonders bei browserbasiertem End-to-End-Testing.
  2. Ausführungsprotokolle. Schritt-für-Schritt-Nachweise darüber, was bestanden hat, was fehlgeschlagen ist und warum.
  3. Anhänge. Testdaten, Konfigurationsstände, API-Antworten oder exportierte Berichte.
  4. Ausführungsmetadaten. Wer den Lauf gestartet hat, wann, in welcher Umgebung und mit welcher Konfiguration.
  5. Verknüpfungen zu Defekten. Eine Verbindung zwischen jedem fehlgeschlagenen Test und seinem Fehlerticket.

Die Erfassung von Nachweisen zu automatisieren ist der naheliegende nächste Schritt. Teams, die das tun, sind nicht mehr auf ihr Gedächtnis angewiesen. Ein Tool kann bei einem Fehlschlag automatisch einen Screenshot anhängen und Ergebnisse samt Anhängen an ein Testmanagementsystem übermitteln. Solche automatisierten Nachweise erfordern, dass niemand etwas im Kopf behalten muss. Der Leitfaden ergänzt einen wichtigen Punkt: Nachweise, die während des Tests erfasst werden, sind genauer als nachträglich rekonstruierte. Eine gute Nachweiserfassung, bei der die Protokolle neben den Ergebnissen gespeichert werden, ist besser als eine Tabelle, die jemand vor dem Audit ausfüllt.

Nicht jeder Test braucht jedes Artefakt. Der Leitfaden schlägt vor, dass ein Smoke-Test unter Umständen nur einen Status benötigt, während ein Abnahmetest einen Screenshot jedes kritischen Bildschirms und ein Regressionstest eventuell Ausführungsprotokolle und Angaben zur Umgebung braucht. Legen Sie diese Regeln einmal je Testtyp fest, damit der Auditprozess nicht auf Vermutungen beruht.

Screenshots, Protokolle oder Video: Wie viel ist genug

Johner nennt drei Punkte, die Zeit sparen.

  • Screenshots sind keine gesetzliche Pflicht. Sie sind eine Möglichkeit zu zeigen, was passiert ist, etwa dass eine bestimmte Warnung erschienen ist.
  • Protokolle können als Nachweis dienen. Voraussetzung ist, dass die Bildschirmausgabe und die Einträge übereinstimmen, die Ergebnisse gegen die Anforderungen bewertet werden, das Testautomatisierungstool validiert ist und die Aufzeichnungen die geltenden Regeln erfüllen, etwa 21 CFR Part 11 für elektronische Aufzeichnungen in den Vereinigten Staaten.
  • Video hat seinen Preis. Es zeigt die Ausführung, bewertet aber nicht das Ergebnis, kostet Zeit bei der Durchsicht, belegt viel Speicherplatz und ist für Regressionstests nur schwer nutzbar.

Der Entwurf der FDA-Leitlinie zur Computer Software Assurance geht in dieselbe Richtung, wie ein Artikel von Jama Software erläutert. Laut diesem Artikel sind Screenshots nicht vorgeschrieben, und Systemprotokolle, Audit-Trails und andere elektronische Daten können als Nachweis dienen. Der Nachweis sollte die vorgesehene Verwendung, die Risikobewertung, die durchgeführten Assurance-Aktivitäten, gefundene Probleme und eine Schlussfolgerung dazu enthalten, ob die Ergebnisse akzeptabel sind. Der Artikel beschreibt außerdem einen risikobasierten Ansatz: skriptbasiertes Testen für Funktionen mit hohem Risiko und ungeskriptetes Testen für solche mit geringerem Risiko. Prüfen Sie, welche Fassung der Leitlinie für Sie gilt, denn der Artikel beschreibt den Entwurf.

Die praktische Regel lautet, die Tiefe der Dokumentation am Risiko auszurichten. Führen Sie vollständige Nachweise mit Schritten, erwarteten Ergebnissen, Screenshots und Protokollen überall dort, wo ein Fehler Menschen, Geld oder die Compliance schaden könnte.

Johner erwähnt außerdem Testroboter, die Benutzeraktionen simulieren und die Reaktionen aufzeichnen, wobei KI die Bewertung unterstützen könnte. Wenn Sie KI zur Beurteilung von Ergebnissen einsetzen, behandeln Sie die KI-Ausgabe als Entwurf, halten Sie eine Person für das Urteil verantwortlich und validieren Sie die KI-Funktionen wie jeden anderen Bestandteil des Tools. Ein KI-Urteil ohne Aufzeichnung der Begründung ist ein schwacher Nachweis, und KI-gestützte Prüfungen benötigen denselben Nachweis wie alle anderen Prüfungen. Auch die Erfassung dieses Nachweises können Sie automatisieren.

Den Nachweis vertrauenswürdig und leicht auffindbar machen

Manuelle Nachweiserfassung bedeutet manuellen Aufwand, und manuelle Arbeit birgt das Risiko menschlicher Fehler, besonders in der Auditphase, wenn Teams Nachweise von Hand anhängen. Nachweise, die sich nicht finden lassen oder die jemand hätte verändern können, sind schwache Nachweise. Vier Gewohnheiten helfen.

  1. Jeden Test einer Anforderung zuordnen. TestCollab empfiehlt, jeden Test mit der Anforderung zu verknüpfen, die er prüft, damit der Nachweis zeigt, welcher Test welche Anforderung mit welchem Ergebnis abgedeckt hat. Eine Rückverfolgbarkeitsmatrix kann diese Verknüpfungen automatisch erstellen.
  2. Bewahren Sie den Prüfverlauf der Testausführungen auf. Speichern Sie die Historie, damit ein Prüfer jede Ausführung eines Tests nachvollziehen kann und nicht nur die letzte erfolgreiche. Fehlgeschlagene Ausführungen, die behoben und erneut durchgeführt wurden, gehören in die Historie.
  3. Legen Sie fest, wer was ändern darf. Beschränken Sie die Bearbeitungsrechte für Ergebnisse und Anhänge und protokollieren Sie, wer einen Test oder dessen erwartetes Ergebnis geändert hat. Klären Sie mit Ihrem Qualitätsteam, ob Sie formale Unterschriften benötigen.
  4. Richten Sie ein Prüftor ein. TestCollab schlägt einen benutzerdefinierten Status wie „Needs Evidence Review“ vor. Dieser verhindert, dass ein Test als abgeschlossen markiert wird, solange die erforderlichen Artefakte nicht angehängt sind.

Der gleiche Leitfaden nennt drei Kennzahlen, die Sie verfolgen können:

  • Nachweisabdeckung: der Anteil der Testausführungen, für die die erforderlichen Artefakte vorliegen. Das Beispiel des Leitfadens: 60 Prozent bei einer Richtlinie, die Screenshots verlangt, deuten auf ein Prozessproblem hin.
  • Zeit bis zum Nachweis: wie schnell nach einer Ausführung die Artefakte angehängt werden.
  • Abrufgeschwindigkeit: ob Sie vollständige Nachweise für jede Anforderung in unter fünf Minuten abrufen können. Diesen Richtwert empfiehlt der Leitfaden.

Beachten Sie, dass der Leitfaden nicht regelt, wie lange Datensätze aufzubewahren sind oder wie Manipulationen verhindert werden. Diese Antworten liefern Ihre Aufsichtsbehörde, Ihre Verträge und Ihre eigene Richtlinie. Falls Ihr Unternehmen zusätzlich einem Compliance-Framework wie SOC 2 unterliegt, fragen Sie Ihren Compliance-Verantwortlichen, ob dieselben Datensätze beide Anforderungen erfüllen können. Verbinden Sie außerdem den Testworkflow über eine Integration mit Ihrer Pipeline, damit die Datensätze ohne manuelles Kopieren dort ankommen.

Welche Nachweisaufgaben Sie automatisieren sollten und welche eine Person erfordern

Die Automatisierung von Nachweisen funktioniert am besten bei sich wiederholenden Schritten: Datenerfassung aus Testläufen, Anhängen von Testprotokollen und Screenshots sowie Verknüpfen jedes Ergebnisses mit der zugehörigen Anforderung. Unserer Meinung nach ersparen Sie sich damit die Routinearbeit, Nachweise vor jeder Auditvorbereitung manuell zusammenzutragen. Eine Person sollte die unterstützenden Nachweise dennoch prüfen, denn nur ein Mensch kann beurteilen, ob sie eine bestimmte Kontrolle oder Auditanforderung tatsächlich belegen. Bewahren Sie Testskripte, Testprotokolle und Ergebnisse aus Testläufen in einem gemeinsamen Speicher auf, der als maßgebliche Quelle dient. Wenn Ihr Qualitätsteam zustimmt, verwenden Sie dieselben Compliance-Nachweise für jedes Framework, das sie verlangt.

Beispiel: Vom Chaos zu fünf Minuten

Die Zahlen sind frei erfunden.

Ein QA-Leiter betreut eine Rechnungsanwendung, die einer internen Kontrollprüfung unterliegt. Das Team führt vor jedem Release 60 automatisierte Tests durch. Vor der Prüfung wählt der Prüfer fünf Anforderungen aus und verlangt Nachweise für die Testdurchführung.

Der erste Versuch ist mühsam. Die Testergebnisse liegen in einer Pipeline-Ausgabe, die nach 30 Tagen abläuft. Screenshots existieren nur für 27 der 60 Ausführungen, das entspricht einer Nachweisabdeckung von 45 Prozent. Niemand kann sagen, welcher Test die Gutschriften abdeckt. Das Team braucht zwei Tage für die Antwort, und die Antwort weist Lücken auf.

Nach der Prüfung nimmt der Leiter vier Änderungen vor. Jeder Test erhält eine Anforderungs-ID. Die Pipeline hängt an jeden fehlgeschlagenen Schritt einen Screenshot und den Ausführungsdatensatz an und an jeden kritischen Test einen abschließenden Screenshot. Ergebnisse mit Historie wandern in einen Speicher, der für den gesamten Prüfzeitraum aufbewahrt wird, und ein Prüfstatus verhindert den Abschluss, solange Artefakte fehlen. Außerdem schreibt der Leiter für jeden Testtyp eine Regel auf einer Seite.

Bei der nächsten Prüfung fragt der Prüfer wieder nach fünf Anforderungen. Das Team exportiert die Historie für jede davon in etwa fünf Minuten pro Anforderung. Die Nachweisabdeckung liegt nun bei 58 von 60 Ausführungen. Die beiden Ausnahmen sind dokumentierte Smoke-Tests, die laut Regel nur einen Status erhalten.

Häufige Fehler

  • Nur Bestanden oder Fehlgeschlagen erfassen. Ein Prüfer kann so nicht erkennen, was tatsächlich geprüft wurde.
  • Nachweise erst im Nachhinein erfassen. Nachträglich rekonstruierte Datensätze sind weniger genau und wirken schwächer.
  • Immer alles aufzeichnen. Vollständige Videos für jeden Test kosten Speicherplatz und Prüfzeit, und davon wird nur wenig angesehen.
  • Keine Verbindung zu Anforderungen. Ohne Nachvollziehbarkeit können Sie nicht zeigen, was ein Test belegt.
  • Den Verlauf wegwerfen. Prüfer können nach fehlgeschlagenen Ausführungen fragen, nicht nur nach dem Endergebnis.
  • Dem Testwerkzeug blind vertrauen. Wenn seine Datensätze Ihre Nachweise sind, muss möglicherweise auch das Werkzeug, das sie erzeugt hat, validiert werden.

Wie Software helfen kann

Beginnen Sie mit Ihrem Testmanagement-Tool und Ihrem CI-System. Dort lassen sich Ergebnisse speichern, Artefakte anhängen und der Verlauf nachvollziehen. Manche Testwerkzeuge und Testplattformen bieten zusätzlich Funktionen für Nachweise. Genta by Cognillo ist ein Beispiel dafür. Laut Anbieter zeigt das Tool Bestanden- oder Fehlschlagen-Ergebnisse mit Screenshots, Protokollen und Fehlerartefakten an. Außerdem bietet es rollenbasierte Zugriffssteuerung, ein Auditprotokoll und Dashboard-Exporte nach Excel, CSV oder PDF. Dabei handelt es sich um Angaben des Anbieters, die M365.FM nicht getestet hat. Vergleichen Sie Werkzeuge in einem Pilotprojekt und prüfen Sie, ob die Nachweise Ihren eigenen Compliance-Vorgaben entsprechen.

Offenlegung: Cognillo sponsert M365.FM.

Nächster Schritt

Wählen Sie ein reguliertes Feature aus und halten Sie fest, welche fünf Fakten ein Prüfer für dessen Tests sehen müsste. Gleichen Sie dann eine aktuelle Testausführung mit dieser Liste ab. Die festgestellten Lücken nutzen Sie, um Ihre Regel für automatisierte Testnachweise für Audits festzulegen.

Show folgenSpotify

Entitäten in diesem Artikel

End-to-end testing Audit readiness Compliance Genta Automation

Verwandte Artikel

RSS