Welche Regressionstests sollten Sie zuerst automatisieren? Ein Entscheidungsleitfaden
Von Mirko Peters · · Aktualisiert
Welche Tests zuerst automatisieren? Beginnen Sie mit geschäftskritischen, häufig ausgeführten und stabilen Regressionstests. Fünf Kriterien und eine einfache Bewertungsmatrix helfen Ihnen bei der Entscheidung.
Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen
Welche Tests zuerst automatisieren? Beginnen Sie mit Regressionstests, die geschäftskritische Abläufe abdecken, bei jedem Build laufen, sich selten ändern und manuell am längsten zum Wiederholen brauchen. Dieser Leitfaden richtet sich an QA-Leads mit einem kleinen Team und einer langen Liste manueller Prüfungen, die eine nachvollziehbare Reihenfolge brauchen. Sie lernen fünf Auswahlkriterien kennen, eine Liste dessen, was vorerst manuell bleiben sollte, und eine einfache Bewertungsmatrix. Ein durchgerechnetes Beispiel mit erfundenen Zahlen bewertet fünf Testkandidaten, damit Sie die Methode direkt übernehmen können.
Das Wichtigste in Kürze
- Automatisieren Sie zuerst die Regressionstests für geschäftskritische Abläufe, die häufig laufen, sich selten ändern und manuell am meisten Zeit kosten.
- Priorisieren Sie Funktionen nach den Kosten eines Fehlers: Eintrittswahrscheinlichkeit und Schwere eines Defekts entscheiden, welcher Test vor den anderen automatisiert wird.
- Lassen Sie Einmal-Tests, instabile Prüfungen sowie explorative und Usability-Tests vorerst manuell, denn ihre Automatisierung kann mehr kosten, als sie manuell auszuführen.
- Eine gewichtete Bewertung von 1 bis 5 über Kritikalität, Häufigkeit, Stabilität, manuellen Aufwand und Flakiness macht aus einer Diskussion eine Rangliste.
- Wählen Sie die niedrigste Testebene, die funktioniert, und setzen Sie browserbasierte End-to-End-Tests nur für Abläufe ein, bei denen die vollständige Validierung unverzichtbar ist.
Warum die Reihenfolge der Automatisierung wichtig ist
Automatisierung kostet Aufwand, und dieser Aufwand lohnt sich nur, wenn ein Test oft ausgeführt wird. Ein Test, der bei jedem Build läuft, amortisiert sich schnell. Ein Test, der nur einmal läuft, amortisiert sich nie.
In agilen Teams mit kurzen Sprints bleibt selten Zeit, alles zu automatisieren. Testautomatisierung ist eine Investition, daher sollten Sie den Return on Investment (ROI) im Blick behalten: die manuellen Stunden, die jeder automatisierte Testfall spart, abzüglich der Stunden für das Schreiben und Pflegen seiner Testskripte. Die Reihenfolge der Automatisierung entscheidet also darüber, wie schnell sich Ihre Investition auszahlt. Ein Team, das zehn Prüfungen mit geringem Nutzen automatisiert und den Checkout manuell lässt, hat seinen Aufwand an der falschen Stelle eingesetzt.
Der Ranorex-Leitfaden zu der Frage, was sich automatisieren lässt, stellt Regressionstests an die Spitze der Prioritätenliste, weil häufige Wiederholungen die Einsparungen vervielfachen. Er empfiehlt außerdem, Funktionen nach den Kosten eines Fehlers zu ordnen und die Tests für die riskantesten Funktionen zuerst in die Regressionssuite aufzunehmen.
Der Artikel von TestDevLab zur Priorisierung von Testfällen für Regressionstests beschreibt dieselbe Idee als risikobasierte Priorisierung: Testfälle werden nach Faktoren wie der Ausfallwahrscheinlichkeit und der Schwere der Auswirkung geordnet. Er rät, mit hochriskanten, geschäftskritischen Funktionen zu beginnen und sich danach den Funktionen mit geringerem Risiko zu widmen. Außerdem sollten häufig aktualisierte Funktionen sowie komplexe, aus mehreren Komponenten bestehende Funktionen früher getestet werden.
Die praktische Botschaft lautet: Automatisieren Sie nach Risiko und danach, wie oft der Test laufen wird, nicht nach Funktionsliste oder Aufwand.
Eine kurze Automatisierungsstrategie nennt die Kandidaten, die Werkzeuge, den Verantwortlichen und das Überprüfungsdatum. Die meisten Best Practices der Testautomatisierung beginnen genauso: Zuerst entscheiden Sie, was automatisiert werden soll, und erst dann wählen Sie das Werkzeug.
Welche Tests zuerst automatisieren: fünf Kriterien
Katalons Leitfaden zur Auswahl von Regressionstestfällen besagt, dass starke Kandidaten für die Automatisierung die meisten Bedingungen aus einer Liste erfüllen. Diese fünf sind für ein kleines Team die wichtigsten.
- Geschäftskritisch. Der Test deckt einen umsatzkritischen, sicherheitssensiblen oder zentralen Ablauf ab, etwa Anmeldung, Kasse oder Zahlungen. Wenn dieser Ablauf ausfällt, bemerken Kunden das zuerst.
- Läuft häufig. Der Test läuft bei jedem Pull Request, jedem nächtlichen Build oder jedem Release.
- Stabil. Die Funktion ändert sich selten, daher muss der Test nicht ständig repariert werden.
- Manuell teuer. Der Test ist repetitiv, langsam und anfällig für menschliche Fehler. Wiederholte und datengesteuerte Prüfungen eignen sich gut, weil dieselben Schritte mit vielen Eingaben durchlaufen werden. Gerade hier spart die Testautomatisierung die meiste Zeit.
- Eindeutiges Ergebnis. Der Test liefert ein objektives Bestanden- oder Nicht-bestanden-Ergebnis, das sich leicht prüfen lässt, etwa über die Oberfläche, eine API-Antwort oder den Systemzustand. Decken Sie in den Testdaten die relevanten Grenzfälle ab, nicht jede denkbare Eingabe.
Ein Test, der vier oder fünf dieser Kriterien erfüllt, rückt an die Spitze der Warteschlange. Ein Test, der nur ein oder zwei erfüllt, wartet.
Katalon ergänzt einen Punkt zu den Testebenen: Bevorzugen Sie die unterste Ebene, die funktioniert, und automatisieren Sie instabile UI-Abläufe nur dann, wenn eine End-to-End-Validierung unverzichtbar ist. Lässt sich eine Regel mit einem Unit-Test oder einem API-Aufruf prüfen, ist diese Prüfung meist schneller und stabiler als ein Browsertest. Langsame UI-Tests gehören zu den wenigen Abläufen, die sie wirklich brauchen. Behalten Sie das browserbasierte End-to-End-Testing für die Abläufe, bei denen der gesamte Weg durch die Oberflächen nachgewiesen werden muss.
Die Reihenfolge an der Testpyramide und Ihrer Pipeline ausrichten
Die Auswahl legt fest, was automatisiert wird. Die Ebenen legen fest, wo. Martin Fowlers Practical Test Pyramid empfiehlt viele kleine, schnelle Unit-Tests, einige gröbere Tests und nur sehr wenige übergeordnete Tests. Seine Regel zur Wahl der Ebene ist für eine priorisierte Liste nützlich: Findet ein übergeordneter Test einen Fehler, schlägt aber kein untergeordneter Test fehl, schreiben Sie einen untergeordneten Test. Verlagern Sie Tests so weit nach unten wie möglich und entfernen Sie übergeordnete Tests, die bereits von niedrigeren Ebenen abgedeckt werden.
Stellen Sie deshalb vor dem Schreiben eines Browsertests für einen priorisierten Punkt zwei Fragen. Könnte ein Unit-Test oder ein Integrationstest dieselbe Regel schneller nachweisen? Sind bereits automatisierte Testfälle redundant? Diese Fragen stammen von uns und basieren auf Fowlers Regel. Sie sind keine Checkliste aus den Quellen.
Ordnen Sie anschließend jeden Test in der Pipeline ein. Ranorex beschreibt Smoke-Tests als kleine Teilmenge der Regressionstests, die mit jedem neuen Build laufen. Katalon nennt jeden Pull Request, nächtlichen Build und jedes Release als Zeitpunkte, zu denen starke Kandidaten laufen. Eine praxisnahe Aufteilung, die auf unserem eigenen Vorschlag beruht, sieht so aus: ein kleines Smoke-Set bei jedem Build und die vollständigere Automatisierungssuite jede Nacht oder bei jedem Release. Das explorative Testen bleibt in der Hand des QA-Teams. Überprüfen Sie den Plan jedes Quartal.
Was vorerst manuell bleibt
Auch ein Nein gehört zum Plan. Ranorex nennt Fälle, in denen sich Automatisierung nicht lohnt:
- Einmalige Tests. Es kann länger dauern, einen Test zu automatisieren, als ihn einmal manuell auszuführen. Tests, die Teil der Regressionssuite werden oder datengesteuert sind, zählen nicht als einmalig.
- Instabile Funktionen. Solange eine Anforderung noch experimentell ist oder sich in Entwicklung befindet, testen Sie sie manuell.
- Tests ohne eindeutiges Bestanden- oder Nicht-bestanden-Ergebnis. Automatisieren Sie nur dann, wenn das Ergebnis objektiv ist.
- Explorative und Usability-Tests. Ranorex sagt, diese Tests können und sollten nicht automatisiert werden, weil sie auf menschlichem Urteilsvermögen beruhen.
Funktionen, die sich der Automatisierung widersetzen, etwa ein CAPTCHA, brauchen einen eigenen Plan. Ranorex schlägt vor, sie in der Testumgebung abzuschalten, einen Entwickler-Bypass einzurichten oder den Test anzuhalten, bis ein Tester den Schritt selbst erledigt.
Manuell heißt nicht vergessen. Setzen Sie diese Tests auf eine Liste mit einem Überprüfungsdatum, damit eine Funktion, die sich eingespielt hat, nach oben rücken kann.
Bewerten Sie die Kandidaten mit einer einfachen Matrix
Wenn zwei Tests beide wichtig erscheinen, macht eine Bewertung die Entscheidung nachvollziehbar. Katalon empfiehlt, jeden Test auf einer Skala von 1 bis 5 anhand gewichteter Faktoren zu bewerten, jede Bewertung mit ihrem Gewicht zu multiplizieren und die Ergebnisse zu addieren. Die Beispielgewichte von Katalon lauten: geschäftliche Kritikalität 0,3, Ausführungshäufigkeit 0,2, Stabilität 0,2, eingesparter manueller Aufwand 0,15 und Flakiness-Wert 0,15. Ein höherer Wert bedeutet dabei ein geringeres Flakiness-Risiko. Die vorgeschlagenen Schwellenwerte sind: 4,0 oder mehr für die Automatisierung, 3,0 bis 3,9 für eine spätere Prüfung und unter 3,0 für manuelle oder explorative Tests.
Sie können diese Gewichte so übernehmen oder anpassen. Entscheidend ist nicht die exakte Zahl. Entscheidend ist, dass sich das Team auf die Faktoren einigt, bevor es über einzelne Tests diskutiert.
Woher kommen die Bewertungen? Katalon weist darauf hin, dass Produktionsdaten und frühere Vorfälle zeigen, welche Pfade am wichtigsten sind. TestDevLab beschreibt eine historienbasierte Priorisierung, die Tests nach ihrer bisherigen Trefferquote bei der Fehlerfindung einordnet. Nutzen Sie Ihre Vorfallliste und Support-Tickets, um die Spalte Kritikalität zu füllen, und Ihren Build-Verlauf, um die Spalten Häufigkeit und Flakiness zu füllen. Eine datenbasierte Bewertung lässt sich leichter verteidigen als eine auf Meinungen beruhende. Besprechen Sie die Rangliste mit dem gesamten Team. Außerdem sollten Sie die Testabdeckung Ihrer kritischen Abläufe als einfache Zahl erfassen: Wie viele Ihrer zehn wichtigsten Abläufe haben einen automatisierten Testfall?
Beispiel: Rangfolge von fünf Testkandidaten
Die Bewertungen sind frei erfunden, die Gewichte entsprechen den oben genannten.
Ein QA-Lead hat fünf manuelle Prüfungen zu reihen. Jeder Faktor wird von 1 bis 5 bewertet.
- Rechnungsexport. Kritikalität 5, Häufigkeit 5, Stabilität 4, Aufwand 4, Flakiness-Wert 3. Bewertung: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Zuerst automatisieren.
- Passwort-Zurücksetzung. Kritikalität 5, Häufigkeit 3, Stabilität 5, Aufwand 3, Flakiness-Wert 4. Bewertung: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Als Nächstes automatisieren.
- Berichtsfilter. Kritikalität 3, Häufigkeit 4, Stabilität 4, Aufwand 4, Flakiness-Wert 4. Bewertung: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Im nächsten Quartal erneut prüfen.
- Neues Dashboard-Layout. Kritikalität 3, Häufigkeit 3, Stabilität 1, Aufwand 3, Flakiness-Wert 2. Bewertung: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Bis sich das Design stabilisiert, manuell belassen.
- Upload des Profilfotos. Kritikalität 2, Häufigkeit 2, Stabilität 3, Aufwand 2, Flakiness-Wert 2. Bewertung: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Manuell belassen.
Das Ergebnis ist eine Rangliste: Rechnungsexport, dann Passwort-Zurücksetzung, der Berichtsfilter steht in Reserve. Der Lead startet mit einem kleinen Automatisierungsframework, gemeinsamen Testdaten und diesen ersten Testfällen und baut die automatisierte Suite danach aus. Der Product Owner kann die Gründe nachvollziehen. Und wenn sich das Dashboard nicht mehr ändert, steigt sein Stabilitätswert, und es kann in der Rangliste nach oben rücken.
Häufige Fehler
- Zuerst die einfachsten Tests automatisieren. Einfache Tests haben oft geringe Auswirkungen. So wächst die Suite, ohne das zu schützen, was wirklich zählt.
- Eine instabile Funktion automatisieren. Die Tests brechen bei jeder Änderung, und das Team verliert das Vertrauen in sie.
- Tests zählen statt Wirkung bewerten. Eine große Suite mit wenig wertvollen Prüfungen kostet in der Wartung mehr, als sie einspart.
- Jede Prüfung auf der Browser-Ebene beginnen. Kann ein Unit-Test oder eine API-Prüfung die Regel abdecken, ist es meist günstiger, sie dort zu belassen.
- Wichtiges manuelles Testen ignorieren. Explorative Prüfungen und Usability-Reviews bleiben bei den Testern, und Softwaretests brauchen beide Arten von Aufwand.
- Die Rangliste nie überprüfen. Nutzung, Wirkung und Stabilität ändern sich. Prüfen Sie die Liste daher jedes Quartal.
Wie Software helfen kann
Für den Einstieg reicht eine Tabelle mit Ihren fünf Kriterien und den Gewichten. Ergänzen Sie eine Spalte für das Datum der letzten Überprüfung. Ihr Testmanagement-Tool, sofern Sie eines verwenden, kann außerdem zeigen, wie oft jeder Test läuft und wie oft er fehlschlägt. Diese Werte fließen in die Bewertung von Häufigkeit und Flakiness ein. Historische Fehlerdaten aus Ihrem Ticketsystem zeigen, welche Bereiche am häufigsten brechen. Browser-Testwerkzeuge, ob skriptbasiert oder in einfacher Sprache formuliert, sind erst relevant, wenn die Rangliste festlegt, welche Abläufe einen Test verdienen. Wählen Sie das Werkzeug erst aus, wenn Sie die Liste haben, nicht vorher.
Nächster Schritt
Listen Sie Ihre zwanzig langsamsten manuellen Regressionsprüfungen auf, bewerten Sie jede anhand der fünf Faktoren und sortieren Sie das Ergebnis. Automatisieren Sie danach die ersten drei. Nutzen Sie diese Rangliste in Ihrer nächsten Planungsbesprechung, um zu beantworten, welche Tests Sie zuerst automatisieren.