M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Instabile End-to-End-Tests: Ursachen und wie Sie sie reduzieren

Von · · Aktualisiert

Instabile End-to-End-Tests schlagen ohne jede Codeänderung mal fehl und mal erfolgreich. Sie erfahren die fünf häufigsten Ursachen, wie Sie Wartezeiten und Testdaten korrigieren und was Sie mit Tests tun, die sich nicht reparieren lassen.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Instabile End-to-End-Tests sind automatisierte Browsertests, die bei einem Durchlauf erfolgreich sind und beim nächsten fehlschlagen, obwohl sich weder der Code noch der Test noch die Umgebung geändert hat. Dieser Leitfaden richtet sich an QA-Verantwortliche und Automatisierungsingenieure, die mehr Zeit damit verbringen, rote Builds erneut auszuführen, als Fehler zu beheben. Sie erfahren, warum diese Tests instabil werden, welche fünf Ursachen am häufigsten sind, wie Sie die schlimmste davon beheben (das Warten) und wie Sie Tests verwalten, die sich vorerst nicht reparieren lassen. Ein Beispiel mit fiktiven Zahlen zeigt, wie Sie die Grundursache in drei Schritten finden.

Das Wichtigste in Kürze

  • Ein instabiler Test schlägt manchmal fehl und manchmal nicht, ohne dass sich Code, Test oder Umgebung geändert hat. Ein Fehlschlag sagt Ihnen daher nichts, solange Sie den Lauf nicht wiederholen.
  • Google berichtete, dass etwa 1,5 Prozent seiner Testläufe instabil waren und fast 16 Prozent seiner Tests eine gewisse Instabilität zeigten. Instabilität ist also bei großem Umfang normal und braucht einen Plan.
  • Die fünf häufigsten Ursachen sind geteilter Zustand, Timing, Remote-Dienste, die Systemuhr und nicht freigegebene Ressourcen. Bei Browsertests sollten Sie zuerst das Timing prüfen.
  • Ersetzen Sie feste Pausen durch Wartebedingungen für ein sichtbares Element, und geben Sie jedem Test eigene Daten, damit sich Tests nicht gegenseitig stören.
  • Stellen Sie einen instabilen Test vorübergehend in Quarantäne. Begrenzen Sie aber, wie viele Tests dort liegen dürfen und wie lange. Sonst verliert die Regressionssuite nach und nach an Wert.

Warum instabile Tests so großen Schaden anrichten

Ein Test ist instabil, wenn sein Ergebnis nicht reproduzierbar ist. In Martin Fowlers Artikel über Nichtdeterminismus in Tests wird ein nichtdeterministischer Test definiert als einer, der „manchmal erfolgreich ist und manchmal fehlschlägt“, und zwar „ohne eine erkennbare Änderung am Code, an den Tests oder an der Umgebung“.

Der Schaden entsteht durch verlorenes Vertrauen. Wenn ein roter Build ein echter Fehler sein könnte oder nur Rauschen ist, gewöhnen sich Menschen daran, rote Builds zu ignorieren. Dann rutscht ein echter Defekt durch. Außerdem kostet es Zeit: Jeder Fehlschlag muss erst erneut ausgeführt werden, bevor jemand beurteilen kann, ob er relevant ist. Eine unzuverlässige Testsuite bremst auch die CI-Pipeline, denn jeder fehlgeschlagene Testlauf wartet auf eine Wiederholung und blockiert die Merge-Warteschlange dahinter.

Zahlen aus großen Systemen zeigen, dass dies normal und nicht selten ist. Ein Beitrag im Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, berichtet, dass etwa 1,5 Prozent aller Testläufe ein instabiles Ergebnis lieferten und fast 16 Prozent der Tests eine gewisse Instabilität aufwiesen. Außerdem heißt es dort, dass rund 84 Prozent der beobachteten Übergänge von bestanden zu fehlgeschlagen auf einen instabilen Test zurückgehen und dass ein durchschnittliches Projekt etwa 1.000 einzelne Tests enthält. Ihre Zahlen werden anders aussehen, die Lehre bleibt aber gleich: Bei großem Umfang ist Instabilität eine Gewissheit, deshalb brauchen Sie einen Prozess.

Browsergestütztes End-to-End-Testing ist besonders anfällig. Jeder Test hängt von einem Browser, einem Netzwerk, einer bereitgestellten Anwendung, Testkonten und oft von Drittanbieterdiensten ab. Mehr bewegliche Teile bedeuten mehr Möglichkeiten zur Abweichung. Deshalb sind E2E-Tests in der Regel weniger stabil als Unit-Tests, die deutlich weniger bewegliche Teile haben.

Die fünf häufigsten Ursachen für instabile End-to-End-Tests

Fowlers Artikel nennt fünf typische Ursachen. Jede davon trifft auch auf Browsertests zu.

  1. Fehlende Isolation. Tests teilen sich einen Zustand, etwa Datenbankeinträge oder eine angemeldete Sitzung, sodass ein Test verändert, was ein anderer sieht. Lösung: Den Ausgangszustand für jeden Test neu aufbauen oder danach aufräumen.
  2. Asynchrones Verhalten. Die Seite braucht Zeit für ihre Antwort, und der Test greift zu früh oder zu spät ein. Fowler rät, niemals feste Pausen (Sleeps) einzusetzen, um auf asynchrone Antworten zu warten, sondern stattdessen einen Callback oder Polling zu verwenden.
  3. Remote-Dienste. Eine Live-Sandbox für Zahlungen, ein E-Mail-Dienst oder ein Identity Provider ist langsam oder nicht erreichbar. Lösung: Das externe System durch einen Testersatz (Test Double) ersetzen, wenn der Test das echte System nicht benötigt.
  4. Zeit. Tests, die die Systemuhr auslesen, verhalten sich um Mitternacht, am Monatsende oder über Zeitzonen hinweg anders. Lösung: Die Uhr im Test steuern.
  5. Ressourcenlecks. Ein Test lässt eine Verbindung oder Sitzung offen, und ein späterer, unabhängiger Test schlägt fehl, wenn die Ressource erschöpft ist.

Der Google-Beitrag nennt zusätzlich Nebenläufigkeit, die Abhängigkeit von nicht deterministischem oder undefiniertem Verhalten, instabilen Code von Drittanbietern sowie Infrastrukturprobleme. Betrachten Sie beide Listen als Checkliste, wenn Sie die Ursache eines fehlschlagenden Tests untersuchen.

Zuerst die Wartezeiten beheben

Bei Browsertests ist das Timing meist der erste Verdacht. Ein Test, der auf eine Schaltfläche klickt, bevor sie bereit ist, oder eine Meldung prüft, bevor sie erscheint, besteht auf einem schnellen Rechner und schlägt auf einem ausgelasteten fehl.

Eine feste Pause wie „5 Sekunden warten“ ist die schlechteste Lösung. Sie kostet Zeit, wenn die Seite schnell reagiert, und scheitert trotzdem, wenn die Seite langsam ist. Fowler beschreibt Polling als regelmäßiges Prüfen statt eines einmaligen Blicks und betont, dass Zeitlimits im Test niemals fest codierte Werte sein sollten.

Moderne Werkzeuge bringen das bereits mit. Die Dokumentation von Playwright zur Actionability listet die Prüfungen auf, die vor einer Aktion erfolgen: Das Element muss sichtbar sein, stabil (seine Position ändert sich zwischen Animationsframes nicht), aktiviert und an der Klickposition empfangsbereit sein und bei der Texteingabe bearbeitbar sein. Playwright wartet, bis die Prüfungen bestanden sind, oder bricht mit einem Timeout-Fehler ab. Die Seite mit den Best Practices ergänzt, dass webbasierte Assertions so lange wiederholt werden, bis die Bedingung erfüllt ist.

Praktische Regeln:

  • Warten Sie auf eine Bedingung, die ein Benutzer sehen könnte, etwa eine Überschrift oder eine Zeile, nicht auf eine Anzahl von Sekunden.
  • Bevorzugen Sie einen Selektor, der auf Rolle, Text oder einer Test-ID basiert, statt langer CSS- oder XPath-Pfade, die bei jeder Layoutänderung brechen.
  • Setzen Sie ein großzügiges Timeout für den gesamten Schritt, statt viele kleine Sleeps einzubauen.
  • Prüfen Sie das Ergebnis mit einer Assertion, die sich wiederholt.

Testdaten und Testumgebung isolieren

Der zweite große Hebel sind die Daten. Geben Sie jedem Test ein eigenes Konto, eine eigene Bestellung oder einen eigenen Ordner. Lassen Sie nicht zu, dass zwei Tests denselben Datensatz bearbeiten. Wenn Tests parallel laufen müssen, führen gemeinsam genutzte Daten garantiert zu zufälligen Fehlern.

Prüfen Sie auch die Umgebung. Ein gemeinsam genutztes Staging-System, auf das andere Teams mitten in Ihrem Testlauf deployen, verursacht Fehler, die keine Korrektur am Test beheben kann. Vereinbaren Sie feste Deployment-Fenster oder führen Sie Ihre Suite gegen eine eigene Umgebung aus.

Wenn ein Schritt von einem externen Dienst abhängt, fragen Sie sich, ob der Test diesen Dienst überhaupt prüfen soll. Falls nicht, ersetzen Sie ihn durch einen Stub. Behalten Sie eine kleine Anzahl von Tests, die den echten Dienst verwenden, und behandeln Sie diese als eigene Gruppe.

Sorgen Sie schließlich dafür, dass sich jeder Fehler leicht analysieren lässt. Speichern Sie in Ihrer CI-Pipeline für jeden fehlgeschlagenen Testlauf das Log, einen Screenshot und einen Trace. Die Best-Practices-Seite von Playwright empfiehlt, beim ersten Wiederholungsversuch eines fehlschlagenden Tests einen Trace zu erfassen, damit Sie nachvollziehen können, was passiert ist, statt zu raten. Mit Log und Trace wird aus einem instabilen Test ein klar erkennbares Workflow-Problem, das Sie beheben können, etwa ein Timeout bei einem langsamen UI-Schritt.

Umgang mit Tests, die Sie noch nicht reparieren können

Manche instabilen Tests benötigen mehr Zeit, als Sie zur Verfügung haben, und manche hängen von Code ab, den Sie nicht besitzen. Verwalten Sie diese Tests dann offen und sorgen Sie dafür, dass die Ergebnisse stabiler Tests vertrauenswürdig bleiben.

  • Quarantäne. Fowler beschreibt, nicht deterministische Tests in eine separate Suite zu verschieben, damit gesunde Tests weiterhin verlässliches Feedback liefern. Quarantänierte Tests müssen aber trotzdem zügig behoben werden. Außerdem sollten Sie begrenzen, wie viele sich ansammeln dürfen und wie lange sie dort bleiben.
  • Wiederholung mit Protokoll. Google beschreibt, fehlschlagende Tests erneut auszuführen und einen Test als instabil (flaky) zu markieren, sodass er erst nach drei aufeinanderfolgenden Fehlschlägen als fehlerhaft gemeldet wird. Der Beitrag bezeichnet dies als alles andere als eine perfekte Lösung und warnt, dass dadurch leicht eine echte Race Condition oder ein anderer Fehler im getesteten Code verdeckt werden kann.
  • Die Instabilität über die Zeit verfolgen. Google beschreibt außerdem Werkzeuge, die Änderungen am Grad der Instabilität eines Tests erkennen. Schon eine einfache Liste der Tests mit ihrer Erfolgsquote zeigt, wo Sie zuerst suchen sollten.

Egal, wofür Sie sich entscheiden: Machen Sie die Liste instabiler Tests sichtbar, weisen Sie jedem Test einen Verantwortlichen zu und legen Sie ein Datum fest.

Beispiel: Die Ursache in drei Schritten finden

Die Zahlen sind erfunden.

Eine Testsuite umfasst 200 Browsertests. Innerhalb von zwei Wochen schlagen 14 davon mindestens einmal fehl, ohne dass sich am Code etwas geändert hat. Das sind 7 % der Tests.

  1. Nach Ursache gruppieren. Das Team liest die Fehlerprotokolle und sortiert die 14 Tests. Acht schlagen wegen eines Timeouts bei einer Schaltfläche fehl, vier scheitern, weil zwei Tests denselben Kundendatensatz bearbeiten, und zwei schlagen nur nach einer Bereitstellung in Staging fehl.
  2. Die größte Gruppe beheben. Das Team ersetzt die festen Wartezeiten in den acht Timing-Tests durch Warten auf sichtbare Zustände. Sieben Tests schlagen danach nicht mehr fehl.
  3. Die nächste Gruppe beheben. Jeder Test, der bisher den gemeinsam genutzten Kunden bearbeitet hat, legt jetzt seinen eigenen Kunden an. Die vier Tests schlagen nicht mehr fehl.

Nach dem dritten Schritt bleiben drei instabile Tests übrig. Das Team setzt die beiden bereitstellungsbezogenen Tests in Quarantäne und weist jedem einen Verantwortlichen sowie eine Frist von zwei Wochen zu. Der Anteil instabiler Tests in der Suite sinkt von 7 % auf 1,5 %, und das Team prüft ihn jede Woche erneut.

Häufige Fehler

  • Wartezeiten einbauen. Sie verdecken das Problem für eine Weile und verlangsamen jeden Durchlauf.
  • Alles wiederholen und weitermachen. Wiederholungen ohne Dokumentation verbergen echte Fehler, und die eigentliche Ursache bleibt bestehen.
  • Testdaten zwischen Tests teilen. Parallele Durchläufe machen daraus zufällige Fehler.
  • Drittanbieter-Dienste in jedem Test ansprechen. Ersetzen Sie sie durch Platzhalter, wenn der Dienst nicht im Mittelpunkt des Tests steht.
  • Die Quarantäne ohne Grenzen wachsen lassen. Eine Quarantäne ohne Verantwortlichen wird zum Friedhof.
  • Zuerst das Werkzeug verantwortlich machen. Prüfen Sie Timing, Daten und Umgebung, bevor Sie das Framework wechseln.

Wie Software helfen kann

Beginnen Sie mit dem, was Ihr Framework bietet: automatisches Warten, Traces und Wiederholungen in der CI. Ergänzen Sie ein Dashboard mit Fehlern nach Test und nach Ursache, damit Muster sichtbar werden. Zu Beginn reicht eine Tabelle. Werkzeuge, die einen KI-Agenten nutzen, um Tests anhand von Schritten in natürlicher Sprache auszuführen, können manche Timing-Probleme verringern, weil der Agent entscheidet, wie lange gewartet wird. Sie bringen aber eigene Risiken mit sich, etwa falsch interpretierte Anweisungen. Testen Sie solche Werkzeuge zunächst an wenigen Tests und vergleichen Sie die Rate instabiler Tests, bevor Sie sich entscheiden.

Nächster Schritt

Listen Sie diese Woche Ihre zehn unzuverlässigsten Tests auf, ordnen Sie jedem anhand der fünf genannten Punkte eine wahrscheinliche Ursache zu und beheben Sie zuerst die Probleme mit den Wartezeiten. Erfassen Sie danach jede Woche die Rate instabiler End-to-End-Tests und schützen Sie den Wert Ihrer Regressionstests-Suite mit einer Obergrenze für die Quarantäne.

Entitäten in diesem Artikel

End-to-end testing Regression testing AI agent

Verwandte Artikel

RSS