Testabdeckung für Business-Apps: So verfolgen Sie, was wirklich getestet wird
Transparenzhinweis: Cognillo sponsert M365.FM. Diese Seite beschreibt das Unternehmen sachlich; bezahlte Partnerschaften und Links sind als Anzeige gekennzeichnet.
Von Mirko Peters · · Aktualisiert
Das Tracking der Feature-Testabdeckung zeigt, welche Funktionen einer Business-App Tests haben und welche nicht. Erstellen Sie eine Coverage-Matrix, werten Sie deren Lücken aus und halten Sie sie aktuell.
Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen
Das Tracking der Feature-Testabdeckung beantwortet für eine Business-App eine einfache Frage: Welche Funktionen haben einen Test, und was passierte, als der Test zuletzt lief? Dieser Leitfaden richtet sich an QA-Leads, die Tests für Line-of-Business-Apps pflegen und für Release-Besprechungen ein klares Bild brauchen. Sie erfahren, wie sich die Testabdeckung beim Softwaretest von der Code-Coverage unterscheidet, wie Sie die Testabdeckung mit einer Coverage-Matrix messen und wie Sie diese aktuell halten. Ein Beispiel mit erfundenen Zahlen zeigt, warum ein hoher Prozentsatz zugeordneter Funktionen trotzdem Lücken verbergen kann.
Das Wichtigste in Kürze
- Die Testabdeckung fragt, welche Funktionen, Anforderungen und Anwendungsfälle Tests haben, während die Code-Coverage nur misst, wie viel Quellcode während des Testens ausgeführt wurde.
- Eine Coverage-Matrix ordnet jede Anforderung oder Funktion den Testfällen zu, die sie prüfen, zusammen mit Priorität, Ergebnissen, Status und einem Verantwortlichen.
- Ein verknüpfter Test zeigt dokumentierte Abdeckung, aber keine erfolgreiche Validierung. Erfassen Sie deshalb die Ergebnisse pro Build neben den Verknüpfungen.
- Beginnen Sie mit der vollständigen Liste aller Funktionen, auch derer ohne Tests. Eine Matrix, die nur aus bestehenden Tests aufgebaut wird, kann nicht zeigen, was nie getestet wurde.
- Prüfen Sie die Matrix bei der Planung, nach Änderungen und vor Release-Entscheidungen, und bewahren Sie datierte Snapshots als Nachweis auf.
Was Testabdeckung bedeutet und was nicht
Der Perforce-Artikel zu Testabdeckung im Vergleich zur Code-Coverage trennt zwei Begriffe, die Teams oft verwechseln.
- Testabdeckung bezieht sich auf Funktionen und Anwendungsfälle. Sie hilft zu erkennen, ob alle notwendigen Szenarien berücksichtigt wurden, und der Artikel bezeichnet sie als guten Risikoindikator. Bewertet wird sie anhand von Maßstäben wie Spezifikationen, Risiko, Funktionalität und Produkt.
- Code-Coverage misst, wie viel des Quellcodes einer Anwendung während des Testens ausgeführt wurde, häufig angegeben als Prozentsatz der Zeilen. Sie zeigt, welcher Code getestet wurde und welcher nicht.
Bei einer Business-App, etwa einem Bestellsystem oder einem HR-Portal, ist die erste Perspektive für die Menschen, die sich auf die Software verlassen, meist wichtiger. Eine Führungskraft fragt, ob die Rechnungsfreigabe getestet ist, nicht, ob Zeile 4.200 ausgeführt wurde.
Der gleiche Artikel warnt davor, eine der beiden Zahlen zu großzügig zu lesen. Code-Coverage ist nicht zwingend gleich Codequalität, und Testabdeckung garantiert nicht, dass eine Anwendung frei von Fehlern ist. Sind die Tests schwach, ist auch die Abdeckung schwach. Betrachten Sie Abdeckung als Karte dessen, wo Sie geschaut haben, nicht als Note.
Tracking der Feature-Testabdeckung in vier Schritten
Der TestRail-Leitfaden zur Requirements-Traceability-Matrix beschreibt eine Methode, die sich für das Tracking der Feature-Testabdeckung auf vier Schritte reduzieren lässt.
- Definieren Sie den Umfang. Legen Sie fest, welches Release oder welche Funktionsgruppe die Matrix abdeckt und für welche Builds und Umgebungen sie gilt.
- Listen Sie jede Funktion auf. Sammeln Sie die vollständige Liste der betroffenen Funktionen aus maßgeblichen Quellen und vergeben Sie jedem Eintrag eine eindeutige, stabile ID. Der Leitfaden betont, die vollständige Liste zu erhalten, einschließlich Einträge ohne Tests. Eine Liste, die nur aus bestehenden Tests stammt, kann nicht zeigen, was nie verknüpft wurde.
- Ordnen Sie jedes Element seinen Tests zu. Verknüpfen Sie jedes Element mit den Testfällen, Reviews oder Analysen, die es prüfen, und kontrollieren Sie, ob diese Prüfungen seine zentralen Abnahmekriterien abdecken.
- Ergebnisse erfassen und prüfen. Halten Sie das Ergebnis für den betreffenden Build fest, ordnen Sie Defekte den betroffenen Ergebnissen zu, legen Sie fest, was als verifiziert gilt, und prüfen Sie die Matrix auf fehlende Zuordnungen und veraltete Testfälle.
Beginnen Sie damit bei den Abläufen, die am meisten zählen, und bei jedem neuen Feature, sobald es hinzukommt. Jedes QA-Team hat seinen eigenen Arbeitsablauf, deshalb halten Sie die Schritte schlank. Eine kleine, aktuelle Matrix ist mehr wert als eine vollständige, der niemand vertraut.
Entscheidet sich ein Team dafür, eine Prüfung zu automatisieren, ändert sich das Bild nur wenig. Ein automatisierter Test ist weiterhin nur ein Testfall. Die Automatisierungsabdeckung gibt den Anteil der zugeordneten Features an, deren Tests ohne Tester laufen. Führen Sie sie als eigene Spalte neben den manuellen Fällen, damit das Team sieht, wie viel automatisiert ist und wie viel noch von Menschen abhängt. Kennzahlen zur Abdeckung wie diese helfen bei der Planung, doch die Zahl ungetesteter Features mit hohem Risiko ist diejenige, die zum Handeln führt.
Was in die Abdeckungsmatrix gehört
TestRail nennt die Spalten, die eine vollständige Matrix enthalten kann. Für ein kleines QA-Team reichen diese aus:
- Anforderungs- oder Feature-ID und eine kurze Beschreibung.
- Priorität oder Risiko, damit Sie die Lücken in der richtigen Reihenfolge lesen.
- Verknüpfte Testfall-IDs, die manuelle Fälle und automatisierte aus Ihrem End-to-End-Testing-Suite umfassen können.
- Letztes Ergebnis und Build, damit die Matrix zeigt, was passiert ist und wann.
- Status, etwa nicht abgedeckt, abgedeckt, bestanden, fehlgeschlagen oder blockiert.
- Verantwortliche Person, also die Person, die für die Zeile einsteht.
PractiTest beschreibt in seinem Artikel zur Requirements-Traceability-Matrix die Nachverfolgbarkeit in beide Richtungen: von einem Feature zu seinen Tests und von einem Test zurück zu dem Feature, das er unterstützt. Die beiden Richtungen helfen auf unterschiedliche Weise. Die erste zeigt, welche Tests ein Feature hat. Die zweite zeigt, warum ein Test existiert und welche Tests Sie sich ansehen sollten, wenn sich eine Anforderung ändert.
Die Matrix lesen: Lücken, Tiefe und Alter
Eine Matrix ist nur so nützlich wie die Fragen, die Sie ihr stellen.
- Zuordnungslücken. Welche Features haben keinen verknüpften Test? TestRail definiert die Zuordnungsabdeckung als den Anteil der prüfbaren Anforderungen im Umfang, die mindestens einen verknüpften Test haben.
- Validierungslücken. TestRail stellt klar, dass ein verknüpfter Test dokumentierte Abdeckung zeigt, nicht eine erfolgreiche Validierung. Prüfen Sie das letzte Ergebnis: Wurde der Test ausgeführt, und ist er bestanden?
- Tiefe. PractiTest warnt, dass etwas zu 100 % getestet sein kann, prozentual gesehen, aber nicht unbedingt gut in der Tiefe. Ein Test pro Feature kann dünn sein, und Kombinationen von Anforderungen können eine Rolle spielen.
- Alter. Ein Test, der seit Monaten nicht gelaufen ist, sagt wenig über den heutigen Build aus. Zeigen Sie das Datum des letzten Laufs an.
- Verwaiste Tests. Tests, die mit nichts verknüpft sind, sichern womöglich ein Risiko ab, das Ihre Feature-Liste nicht erfasst. TestRail empfiehlt, nicht verknüpfte Tests zu prüfen, bevor man sie entfernt.
Eine kurze Liste der fünf riskantesten Lücken ist in einer Release-Besprechung nützlicher als eine Tabelle mit zweihundert Zeilen.
Wo Werkzeuge zur Code-Abdeckung weiterhin helfen
Martin Fowler schreibt in seiner Notiz zur Testabdeckung, ein Abdeckungswerkzeug sei „ein nützliches Werkzeug, um ungetestete Teile einer Codebasis zu finden“, und empfiehlt, solche Werkzeuge von Zeit zu Zeit laufen zu lassen, um sich den ungetesteten Code anzusehen. Außerdem schreibt er, Abdeckung sei als numerische Aussage darüber, wie gut Ihre Tests sind, wenig wert, denn hohe Werte seien zu leicht mit minderwertigen Tests zu erreichen. Er würde allem misstrauen, was an 100 % heranreicht, und eine Abdeckung unter etwa der Hälfte sieht er als Warnsignal. Ergänzend merkt er an, dass Abdeckung für diejenigen am nützlichsten ist, die Tests schreiben, weil das Lesen dieser Werte technisches Urteilsvermögen erfordert.
Für eine QA-Leitung ergibt sich daraus eine Aufteilung der Arbeit. Unserer Ansicht nach lesen Entwickler den Coverage-Report für ihre Unit-Tests und Integrationstests. Das QA-Team liest dagegen die Feature-Matrix, um die Testabdeckung dort zu verbessern, wo das geschäftliche Risiko am höchsten ist, sowohl beim manuellen Testen als auch bei der Testautomatisierung. Keine der beiden Zahlen allein gibt Sicherheit für ein Release. Beide sind eine Landkarte Ihrer Testaktivitäten, aber kein Beweis für die Produktqualität.
Halten Sie sie aktuell
Eine veraltete Matrix ist schlimmer als gar keine, weil die Menschen ihr vertrauen. TestRail empfiehlt, sie während der Planung, nach Änderungen und vor Release-Entscheidungen zu prüfen. Wenn Sie den Nachweis für eine Entscheidung brauchen, sollten Sie außerdem einen datierten Snapshot aufbewahren. Das Tool schlägt zudem vor, eine Koordinatorin oder einen Koordinator sowie Verantwortliche für Änderungsanforderungen, Testaktualisierungen und Verifizierungsentscheidungen zu benennen. PractiTest ergänzt, dass die Matrix allen sichtbar bleiben sollte, die sie brauchen. Der Anbieter warnt außerdem, dass per E-Mail verschickte Tabellenkopien zu Verwirrung darüber führen, welche Version aktuell ist.
Pflegen Sie eine gemeinsame Version. Wenn Sie ein Testmanagement-Tool verwenden, lassen Sie es die Verknüpfungen und Ergebnisse während der Testläufe automatisch aktualisieren. So hängt die Matrix nicht vom Gedächtnis einzelner Personen ab. Sie unterstützt außerdem Ihr Regressionstesting, denn die Verknüpfungen zeigen, welche Regressionstests nach einer Änderung erneut ausgeführt werden müssen.
Beispiel: 40 Features, drei verschiedene Zahlen
Die Zahlen sind erfunden.
Eine QA-Leitung verfolgt 40 Features einer Auftragsverwaltungs-App. Die Matrix zeigt drei unterschiedliche Bilder.
- Zugeordnet: 31 von 40 Features haben mindestens einen verknüpften Test. Das ergibt eine Zuordnungsabdeckung von 77,5 %.
- Verifiziert: Von diesen 31 Features bestanden 22 den Test mit dem neuesten Build. Fünf sind fehlgeschlagen oder blockiert, und vier wurden seit 90 Tagen nicht ausgeführt. Die verifizierte Abdeckung liegt bei 22 von 40, also bei 55 %.
- Lücken: 9 Features haben überhaupt keinen Test. Drei davon sind hochriskant: Rückerstattungen, Preisüberschreibungen und Änderungen von Benutzerrollen.
Die Leitung legt der Produktverantwortlichen nicht die erste, sondern die zweite Zahl vor. Im nächsten Sprint ergänzt das Team Tests für die drei kritischen Lücken, behebt die fünf fehlgeschlagenen oder blockierten Tests und führt die vier veralteten Tests erneut aus. Der Prozentwert im Dashboard steigt, und mit ihm das Vertrauen in diese Zahl. Eine Matrix, die nur die 77,5 % gezeigt hätte, hätte das Problem verborgen.
Häufige Fehler
- Code-Coverage als Feature-Coverage werten. Ausgeführte Codezeilen sagen nichts über ungetestete Geschäftsfunktionen aus.
- Die Matrix nur aus vorhandenen Tests aufbauen. So sehen Sie nie, was keinen Test hat.
- Eine Verknüpfung als Nachweis behandeln. Zeigen Sie das letzte Ergebnis pro Build.
- Einer Prozentzahl hinterherjagen. Ein Ziel von 100 % verleitet zu oberflächlichen Tests, die jedes Feature nur streifen.
- Die Matrix veralten lassen. Prüfen Sie sie bei der Planung, nach Änderungen und vor dem Release.
- Kopien per E-Mail aufbewahren. Mehrere Versionen führen zu Diskussionen darüber, welche davon richtig ist.
Wie Software helfen kann
Eine Tabellenkalkulation ist ein brauchbarer Anfang. Ein Testmanagement-Tool kann Tests mit Features verknüpfen und Ergebnisse automatisch aktualisieren. Das spart die manuelle Pflege. Genta by Cognillo ist ein Beispiel dafür. Laut Anbieter umfasst es die Verwaltung von Testfällen und Testsuiten mit Nachverfolgung der Feature-Abdeckung, geplante Läufe sowie Dashboards, die nach Excel, CSV oder PDF exportiert werden können. Dabei handelt es sich um Aussagen des Anbieters, die M365.FM nicht geprüft hat. Vergleichen Sie das Tool mit anderen Optionen und prüfen Sie, wie jedes Tool Ergebnisse mit Anforderungen verknüpft, bevor Sie sich festlegen.
Offenlegung: Cognillo sponsert M365.FM.
Nächster Schritt
Nehmen Sie Ihren wichtigsten Geschäftsprozess, listen Sie seine zehn Features auf und ordnen Sie jedes seinen Tests in einer einfachen Matrix mit dem letzten Ergebnis und Datum zu. Bringen Sie dann die drei größten Lücken in Ihre nächste Release-Besprechung mit und vereinbaren Sie, wer ab dann die Nachverfolgung der Testabdeckung für Features verantwortet.