M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Selbstheilende Tests: was der Begriff bedeutet und wo er an seine Grenzen stößt

Von · · Aktualisiert

Selbstheilende Testautomatisierung repariert defekte Locator zur Laufzeit. Erfahren Sie, wie sie funktioniert, was sie nicht beheben kann, wie sie Fehler verbergen kann und welche Leitplanken Sie setzen sollten.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Selbstheilende Testautomatisierung bedeutet, dass ein Testtool einen defekten Locator eigenständig repariert, sodass ein UI-Test nach einer harmlosen Änderung, etwa einer umbenannten ID, weiterläuft. Dieser Leitfaden richtet sich an Testautomatisierungsingenieure, die den Begriff in einer Verkaufspräsentation gehört haben und eine nüchterne Antwort suchen. Sie erfahren, wie die Heilung funktioniert, was sie beheben kann und was nicht, wie sie einen echten Fehler verbergen kann und welche Regeln sie sicher machen. Ein durchgerechnetes Beispiel mit erfundenen Zahlen zeigt sowohl den Nutzen als auch das Risiko.

Das Wichtigste in Kürze

  • Selbstheilung bedeutet, dass ein Testtool ein UI-Element anhand anderer Anhaltspunkte findet, wenn der gespeicherte Locator nicht mehr passt. Dadurch kann der Test weiterlaufen, statt zu scheitern.
  • Sie wirkt fast ausschließlich bei Locatorn, nicht bei Assertions, Testabläufen, Geschäftsregeln oder Timing-Problemen. Der Bereich, den sie bei der Testwartung abdeckt, ist daher eng begrenzt.
  • Das Hauptrisiko ist eine maskierte Regression: Das Tool passt sich einem veränderten Element an, das eigentlich ein Defekt ist, und der Test besteht, obwohl die Benutzererfahrung fehlerhaft ist.
  • Die Herstellerdokumentation besagt, dass die Heilung zur Laufzeit erfolgt und das Skript unverändert bleibt. Geheilte Locator müssen deshalb trotzdem geprüft und zurückgeschrieben werden.
  • Sicher ist der Einsatz, wenn Sie jede Heilung protokollieren, die Protokolle regelmäßig prüfen, dem Tool niemals das Ändern von Assertions erlauben und auf plötzliche Sprünge der Erfolgsquote achten.

Was ein selbstheilender Test in der Praxis ist

Ein UI-Test findet jedes Element einer Seite über einen Locator. Ein Locator ist eine Regel wie „das Element mit der ID btn-pay“ oder „die Schaltfläche mit der Bezeichnung Pay“. In der klassischen Testautomatisierung passt eine Person die Testskripte an, sobald eine Regel nicht mehr zutrifft. In einer großen Testsuite kann ein einziges Redesign Hunderte Schritte rot färben. Bei jedem Fehlschlag muss ein QA-Ingenieur den Test untersuchen, und das Team verbringt Tage mit Reparaturarbeit oder greift auf manuelle Tests zurück.

Selbstheilung bedeutet, dass das Tool diese Regel selbst repariert, sodass ein selbstheilender Test eine Änderung übersteht, die einen klassischen Test zum Scheitern brächte. Im BugBug-Artikel Self Healing Test Automation: Hype & Reality wird sie als Mechanismen definiert, die die Art, wie ein Test UI-Elemente identifiziert, automatisch anpassen, sobald der ursprüngliche Locator nicht mehr funktioniert.

Heilung bedeutet nicht, dass das Tool Ihr Produkt versteht. Sie bedeutet, dass das Tool versucht, dasselbe Element anhand anderer Anhaltspunkte wiederzufinden, und dann mit dem Lauf fortfährt. Betrachten Sie einen selbstheilenden Test als Reparatur für eine eng umrissene Art von Bruch: UI-Änderungen, die das Verhalten unverändert lassen.

So funktioniert die Locator-Heilung

Die Details unterscheiden sich je nach Testframework und Produkt, doch die meisten Mechanismen zur Selbstheilung folgen demselben Muster.

  1. Lernen. Während erfolgreicher Testläufe erfasst das Tool für jedes Element mehr als einen Anhaltspunkt. BugBug beschreibt dies als Fingerabdruck: Attribute wie ID, Text, Klassen, ARIA-Bezeichnungen und die Position in der Seitenstruktur.
  2. Erkennen. Findet der gespeicherte Locator nichts, bricht das Tool nicht sofort ab.
  3. Suchen. Es durchsucht die Seite nach dem Element, das dem gemerkten am ehesten ähnelt. Stärkere, stabilere Anhaltspunkte zählen mehr, schwächere dienen als Ausweichlösung.
  4. Fortsetzen und berichten. Es verwendet die neue Übereinstimmung, beendet den Lauf und protokolliert, was es getan hat.

Die Dokumentation von BrowserStack zu seiner Self-Healing-Funktion mit Playwright beschreibt denselben Ablauf. Demnach beginnt die Heilung, sobald der ursprüngliche Locator nicht mehr aufgelöst werden kann. Voraussetzung ist mindestens ein früherer erfolgreicher Lauf mit demselben Element-Identifier. Außerdem heißt es dort, dass die Heilung zur Laufzeit erfolgt und einen einzelnen Lauf grün hält, während das Skript selbst unverändert bleibt. Die Seite empfiehlt, den geheilten Locator zurück in Ihren Test zu übernehmen. Sie nennt aber auch Grenzen: Die Heilung verursacht zusätzliche Analyse während eines Laufs, die Playwright-Unterstützung wird als eingeschränkt beschrieben, und wenn das Element tatsächlich nicht mehr existiert, kann die Heilung es nicht wiederherstellen.

Einige neuere Werkzeuge setzen auf KI-gestützte Selbstheilung: Ein Modell, häufig auf Basis von generativer KI, wählt das Ersatzelement anstelle einer festen Bewertungsregel. Der Leitfaden von T-Plan weist darauf hin, dass KI-gestützte Heilung probabilistisches Verhalten in die Tests einbringt und zuverlässige Automatisierung nach Möglichkeit deterministisch bleiben sollte. BugBug ergänzt, dass bei der Heilung kein KI-Agent die Testlogik umschreibt und auch kein echtes Verständnis der Anwendung im Spiel ist.

Im Marketing heißt es oft, KI-Testing übernehme die Heilung. In der Praxis umfasst KI im Softwaretest jedoch ein breites Spektrum, von einfacher Ähnlichkeitsbewertung bis hin zu einem Modell, das Kandidatenelemente rangiert. Fragen Sie den Anbieter, was die KI tatsächlich entscheidet und ob das Protokoll zeigt, warum. Wählt die KI ein falsches Element, kann ein Defekt durchrutschen. Eine KI-Entscheidung braucht daher dieselbe Prüfung wie jede andere Heilung.

Vorteile der Selbstheilung und was sie nicht beheben kann

Am meisten hilft die Selbstheilung bei oberflächlichen Änderungen:

  • Ein Entwickler benennt eine ID oder eine CSS-Klasse um, das Verhalten bleibt jedoch gleich.
  • Eine Layoutverschiebung verlegt eine Schaltfläche an eine andere Stelle.
  • Ein Upgrade der Komponentenbibliothek verändert das Markup, nicht aber die Oberfläche.

In diesen Fällen ist der Nutzen real: weniger Wartungsaufwand für Tests, und harmlose UI-Änderungen lassen nicht mehr viele Testfälle auf einmal fehlschlagen.

Die Selbstheilungsfunktionen eines Werkzeugs passen in eine umfassendere Teststrategie, neben explorative Tests, für kontinuierliches Testen. Sie schützen die Testabdeckung der Benutzeroberfläche vor UI-Änderungen. Unit-Tests und API-Tests verwenden keine Bildschirm-Locator und benötigen daher gar keine Heilung.

Bei den meisten anderen Ursachen für fehlschlagende Tests hilft sie nicht. BugBug stellt fest, dass sich die Heilung fast ausschließlich auf Locator bezieht, nicht auf Assertions, Erwartungswerte, Testabläufe oder Geschäftsregeln. Sie löst weder Timing-Probleme noch eine schlechte Testarchitektur. Wenn Ihr Problem instabile Wartezeiten oder gemeinsam genutzte Daten sind, behandeln Sie instabile Tests zuerst als eigenes Thema, denn die Heilung wird sie nicht beheben. Im selben Artikel heißt es außerdem, dass die Heilung bei rollenbasierten Systemen, dynamischen Dashboards, mehrstufigen Transaktionen und stark bedingten Bildschirmen an ihre Grenzen stößt und dass sie umso schwieriger wird, je mehr Kontext zur Identifikation eines Elements benötigt wird.

Gute Locator und stabile Test-IDs verhindern außerdem viele Brüche, noch bevor eine Heilung nötig wird. Die Best Practices von Playwright empfehlen Locator, die widerspiegeln, was Nutzer sehen, etwa Rolle und Text, statt fragiler CSS- oder XPath-Pfade. Dieser Rat hilft auch in Selenium-Suiten.

Selbstheilende Testautomatisierung und das Risiko verdeckter Regressionen

Das wichtigste Risiko lässt sich einfach benennen. Ein selbstheilendes Werkzeug, das sich anpasst, kann sich auch an einen Defekt anpassen.

Der Leitfaden von T-Plan zur selbstheilenden Testautomatisierung nennt dies eine verdeckte Regression: Ein Framework passt sich unter Umständen automatisch an ein verändertes Element an, das eigentlich einen Defekt darstellt, sodass der Test besteht, obwohl das Nutzererlebnis beeinträchtigt ist. Das erzeugt falsche Sicherheit und untergräbt das Vertrauen in die Automatisierung. Außerdem weist der Leitfaden darauf hin, dass selbstheilende Systeme das falsche Ersatzelement wählen können, dass mit aggressiverer Heilung das Risiko falscher Zuordnungen steigt und dass manche Fehler sichtbar bleiben sollten.

Stellen Sie sich eine Schaltfläche „Speichern“ in der getesteten Anwendung vor, die nach einer fehlerhaften Zusammenführung an derselben Stelle durch eine Schaltfläche „Löschen“ ersetzt wird. Ein Test, der nach „der Schaltfläche in der Formularfußzeile“ sucht, kann sich auf die neue Schaltfläche umstellen, sie anklicken und weiterlaufen. Die Suite bleibt grün, und der Fehler geht in die Produktion.

Deshalb ist eine steigende Erfolgsquote nicht immer eine gute Nachricht. Wenn Ihre Erfolgsquote nach einem UI-Release ohne passende Testanpassungen sprunghaft steigt, sehen Sie sich das Heilungsprotokoll an, bevor Sie sich darüber freuen.

Schutzmechanismen, die den Einsatz sicher machen

Die Leitfäden von T-Plan und BugBug geben ähnliche Ratschläge. Sie gelten unabhängig davon, ob Sie Selbstheilung selbst implementieren oder ein Selbstheilungs-Tool kaufen:

  1. Protokollieren Sie jede Heilung. Halten Sie den alten Locator, den neuen Locator, den Übereinstimmungsgrad und die Änderung fest, die das Tool an der Seite vorgenommen hat.
  2. Prüfen Sie nach festem Zeitplan. Lassen Sie keine stille Anpassung dauerhaft zu. Sehen Sie das Heilungsprotokoll nach jedem Release durch und genehmigen oder verwerfen Sie jeden Eintrag.
  3. Nutzen Sie nach Möglichkeit den Vorschlagsmodus. Lassen Sie das Tool eine Korrektur vorschlagen und verlangen Sie, dass eine Person sie akzeptiert.
  4. Lassen Sie es nie Assertions ändern. Heilung darf ändern, wie ein Element gefunden wird. Sie darf niemals ändern, was der Test erwartet, denn genau das ist der Zweck des Tests.
  5. Übernehmen Sie Korrekturen in die Skripte. Da die Heilung nur den aktuellen Lauf repariert, aktualisieren Sie das Skript mit dem besseren Locator.
  6. Begrenzen Sie den Umfang. Nicht jedes Element sollte eigenständig heilen. Kritische Abläufe wie die Zahlung benötigen unter Umständen strengere Prüfungen, etwa visuelles Testen, das prüft, wie die Seite aussieht.
  7. Behalten Sie den Trend im Blick. Ein plötzlicher Anstieg der Erfolgsquote braucht eine Erklärung, denn Selbstheilungs-Automatisierung kann eine Testsuite gesünder wirken lassen, als sie tatsächlich ist.

Beispiel: Ein Checkout-Refactoring, mit und ohne Selbstheilung

Die Zahlen sind erfunden.

Ein Team hat 400 automatisierte Tests, die im Browser laufen. Ein Front-End-Refactoring benennt die IDs auf der Checkout-Seite um. Ohne Selbstheilung schlagen 60 Tests wegen der Locators fehl, und jeder Testfehler muss geprüft werden. Ein Ingenieur braucht etwa zwei Tage, um sie zu reparieren, und in dieser Zeit hat das Team kein verlässliches Regressionsergebnis.

Mit eingeschalteter Selbstheilung repariert das Tool die Locators während der Testausführung, sodass jeder Test weiterläuft. 55 dieser 60 Tests bestehen mit geheilten Locators. Der QA-Leiter sieht jede Heilung im Bericht. Fünf schlagen weiterhin fehl, weil ihre Elemente absichtlich entfernt wurden. Der Ingenieur verbringt einen halben Tag mit diesen fünf und eine weitere Stunde mit dem Lesen des Heilungsprotokolls.

Im Protokoll wirken zwei Heilungen falsch. In einem Test zum Bearbeiten einer Adresse klickte das Tool auf „Remove address“, obwohl der Test „Save address“ anklicken wollte. Der Test prüfte nur, ob die Seite noch geladen wurde, und bestand daher. Der Ingenieur korrigiert beide Locators und ergänzt eine strengere Assertion, dass die gespeicherte Adresse in der Liste erscheint.

Das Ergebnis: Aus etwa zwei Tagen Reparaturarbeit werden rund ein Tag. Die Einsparung ist real, besteht aber nur, weil eine Person das Protokoll gelesen hat. Ohne diese Prüfung wären zwei Tests grün geblieben, obwohl sie das Falsche testen.

Häufige Fehler

  • Selbstheilung als Ersatz für gute Locators betrachten. Stabile Locators auf Basis von Rolle, Text oder Test-ID verhindern Brüche und kosten nichts.
  • Sie unbeaufsichtigt laufen lassen. Wenn niemand das Protokoll liest, sammeln sich falsche Heilungen unbemerkt an.
  • Erwarten, dass sie instabile Tests behebt. Timing-Probleme und instabile Testdaten brauchen andere Lösungen.
  • Sie bei kritischen Prüfungen ohne zusätzliche Absicherung einsetzen. Ergänzen Sie bei Zahlungs- und Berechtigungsabläufen visuelle Regressionstests oder Datenprüfungen.
  • Den Herstellerangaben zu geringerem Wartungsaufwand ohne Pilotprojekt vertrauen. Messen Sie den tatsächlichen Effekt auf Ihrer eigenen Suite, bevor Sie sich festlegen.

Wie Software helfen kann

Viele Test-Automatisierungs-Frameworks, Cloud-Plattformen und andere Automatisierungstools bieten inzwischen Selbstheilung in unterschiedlicher Form an: einfache Ersatz-Locators, Ähnlichkeitsbewertung und KI-gestützte Auswahl von Elementen. Vergleichen Sie sie anhand der oben genannten Punkte und nicht anhand der Bezeichnung. Fragen Sie, ob die Selbstheilungsplattform jede Heilung anzeigt, ob Sie sie genehmigen können und ob sie sich als Skriptänderung exportieren lässt. Eine einfache Selenium- oder Playwright-Suite mit sorgfältig gewählten Locators und einer kurzen Prüfgewohnheit ist eine gültige Alternative zu jedem Selbstheilungstool. Führen Sie ein Pilotprojekt in einem instabilen Bereich durch und vergleichen Sie den Wartungsaufwand, bevor Sie entscheiden. Tools auf Basis von KI-Agenten, oft als agentische KI bezeichnet, die mit Schritten in einfacher Sprache arbeiten, werfen dieselben Fragen zur Prüfung auf.

Nächster Schritt

Wählen Sie einen Teil Ihrer Suite für End-to-End-Tests, der häufig fehlschlägt, schalten Sie dort die Selbstheilung für ein Release ein und prüfen Sie jede Heilung von Hand. Entscheiden Sie dann anhand der Anzahl richtiger Heilungen, ob Selbstheilungs-Testautomatisierung in Ihrer Suite eine größere Rolle verdient.

Entitäten in diesem Artikel

End-to-end testing AI agent Generative AI

Verwandte Artikel

RSS

Anzeige

iFAKT GmbH