M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Was ist Testautomatisierung mit natürlicher Sprache? Eine verständliche Erklärung

Transparenzhinweis: Cognillo sponsert M365.FM. Diese Seite beschreibt das Unternehmen sachlich; bezahlte Partnerschaften und Links sind als Anzeige gekennzeichnet.

Von · · Aktualisiert

Bei der Testautomatisierung mit natürlicher Sprache schreiben Tester Schritte in einfachem Englisch, und eine KI führt sie im Browser aus. Erfahren Sie, wie das funktioniert, wo die Grenzen liegen und wie Sie den Ansatz bewerten.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Testautomatisierung mit natürlicher Sprache bedeutet, dass Sie einen Test in alltäglichem Englisch schreiben und ein KI-Modell ihn in einem echten Browser ausführt. Statt eines Skripts voller Selektoren schreiben Sie etwa „Click the Log In button“ oder „Check that the order total shows 49.00“. Diese Erklärung richtet sich an QA-Verantwortliche und Tester, die den Begriff gehört haben und wissen möchten, was er bedeutet, wie er funktioniert und wo er an seine Grenzen stößt. Sie sehen die Idee Schritt für Schritt, die Grenzen, die Toolhersteller selbst nennen, und einen einfachen Weg, um zu beurteilen, ob der Ansatz zu Ihrem Team passt.

Das Wichtigste in Kürze

  • Testautomatisierung mit natürlicher Sprache bedeutet, dass Sie einen Testschritt in einfachem Englisch beschreiben und ein KI-Modell diesen beim Ausführen des Tests in Browseraktionen umsetzt.
  • Sie ersetzt handgeschriebene Selektoren und Wartezeiten durch Anweisungen wie „Click the Log In button“. So können auch Tester, die nicht programmieren, Tests schreiben und lesen.
  • Hersteller dokumentieren Grenzen: Breite oder komplexe Anweisungen scheitern häufiger, und Anweisungen mit einzelnen Schritten sind am zuverlässigsten.
  • KI-Tools für allgemeine Webaufgaben können Ergebnisse erfinden, ohne die echte Anwendung zu prüfen. Daher muss jeder generierte Schritt überprüft werden, und es braucht eine klare Regel für Bestanden und Fehlgeschlagen.
  • Betrachten Sie den Ansatz als Weg, End-to-End-Tests schneller zu schreiben. Er ersetzt nicht den Testentwurf, die Testdaten oder saubere Testumgebungen.

Was Testautomatisierung mit natürlicher Sprache bedeutet

Ein klassischer automatisierter Test der Benutzeroberfläche ist Code. Ein Entwickler oder Automatisierungsingenieur schreibt die Schritte und legt fest, wie das Tool jedes Element auf der Seite findet, zum Beispiel über seine ID oder einen CSS-Selektor. Der Test führt jedes Mal dieselben Schritte aus. Ändert sich die Seite, passt der Selektor womöglich nicht mehr, und der Test schlägt fehl.

Bei diesem Ansatz beschreibt der Tester stattdessen die Absicht. Das Cypress-Team beschreibt seinen Befehl cy.prompt als Möglichkeit, Tests in alltäglicher Sprache zu formulieren, und zwar als Textzeichenfolgen innerhalb der Testdatei. Ein Artikel im Cypress-Blog erklärt, dass die generierten Schritte geprüft und debuggt und anschließend in statischen Testcode überführt werden können, den Sie speichern können.

Die zugrunde liegende Technik ist generative KI: Ein Modell liest den Text und die Seite und entscheidet, was zu tun ist. In den meisten Tools handelt es sich um ein großes Sprachmodell, also ein KI-Modell, das mit großen Mengen an Text trainiert wurde. Manche Hersteller nennen die Software, die das leistet, einen KI-Agenten, weil sie Aktionen ausführt, statt nur Fragen zu beantworten. Das Ziel ist in allen Fällen dasselbe: Wer das Produkt kennt, kann Tests schreiben und lesen, ohne eine Programmiersprache zu lernen. Deshalb wird der Ansatz manchmal als codeloses Testen vermarktet.

Für Softwaretestteams verändert dieser Ansatz die Testerstellung, nicht den Testprozess. Testentwurf, Testdaten und Testdurchführung bleiben gleich. Außerdem entscheidet weiterhin ein Mensch, welcher Testfall abgedeckt werden soll.

Bei der klassischen Testautomatisierung schreiben und pflegen Entwickelnde für jeden Ablauf ein Testskript. KI-Werkzeuge nutzen stattdessen die Verarbeitung natürlicher Sprache, um jeden Satz zu lesen. Einige Anbieter gehen weiter und bezeichnen ihre Werkzeuge als agentisch. Ein Anbieterleitfaden von Autosana, der werblichen Charakter hat, beschreibt den Unterschied: Ein agentisches Werkzeug interpretiert ein Ziel in einfacher Sprache, untersucht die laufende Seite, handelt und passt sich während des Durchlaufs an. Codefrei und agentisch sind dabei nicht dasselbe. Im selben Leitfaden heißt es außerdem, dass viele Produkte sich als KI-gestützt bezeichnen, obwohl sie lediglich eine automatische Vervollständigung im Skripteditor ergänzt haben. Gehen Sie mit solchen Bezeichnungen sorgfältig um, und behalten Sie eine Bestanden-oder-fehlgeschlagen-Regel bei, die Sie selbst kontrollieren.

So läuft ein Test mit schriftlicher Anweisung ab

Die Details unterscheiden sich je nach Werkzeug, der Ablauf ist aber ähnlich. BrowserStack dokumentiert seinen Beta-Dienst "NL Test Automation Agent" für Selenium, und die zugehörige Seite vermittelt ein klares Bild:

  1. Sie schreiben eine kurze Anweisung. Jeder Befehl ist ein englischer Satz, kein Selektor und kein Code. Die Seite empfiehlt, mit einem Aktionsverb zu beginnen, etwa "Click the Submit button".
  2. Die KI interpretiert die Anweisung zur Laufzeit. Die Automatisierungsschritte entstehen während des Testlaufs, sodass Sie keine Selektoren und Wartezeiten von Hand schreiben müssen.
  3. Das Werkzeug führt die Aktion im Browser aus. Die Seite listet Befehlsarten wie Klicken, Eingeben, Suchen, Mauszeiger darüber bewegen und Scrollen auf.
  4. Das Werkzeug meldet das Ergebnis. Erfolgreiche Läufe liefern Erfolgsprotokolle, fehlgeschlagene Läufe Fehlerprotokolle mit einem Grund.

Vergleichen Sie dies mit dem Ansatz, den Playwright in seinen Best Practices empfiehlt: Testen Sie, was Benutzer sehen und tun, und bevorzugen Sie Locator für Rolle, Text und Test-ID gegenüber XPath- oder CSS-Selektoren, die bei Änderungen der Seite brechen. Dieser Ansatz führt den Gedanken weiter. Die Testerin bzw. der Tester benennt, was ein Benutzer sieht, etwa "den Button Anmelden", und das Werkzeug findet ihn.

Wo Testen mit natürlicher Sprache hilft

Der Ansatz passt zu manchen Aufgaben besser als zu anderen.

  • Smoke-Checks und typische Benutzerpfade. Anmelden, suchen, in den Warenkorb legen, zur Kasse gehen. Das sind die End-to-End-Tests, auf die es am meisten ankommt, und sie lassen sich leicht in einem Satz beschreiben.
  • Teams, in denen Tester nicht programmieren. Wer den Geschäftsprozess kennt, kann den Test schreiben und lesen.
  • Testgenerierung. Manche Werkzeuge erzeugen aus einer kurzen Beschreibung einen Test. Die Testdesign-Entscheidungen und die Testabdeckung muss weiterhin ein Mensch prüfen.

Weniger hilfreich ist der Ansatz dort, wo die Prüfung von exakten Zahlen, komplexer Datenvorbereitung oder einem fein steuerbaren Timing abhängt, etwa beim Performancetest. Ein Unit-Test einer Berechnung braucht weder Browser noch KI-Modell, und explorative Tests erfordern nach wie vor einen neugierigen Menschen.

Die Grenzen, die Anbieter einräumen

Ehrliche Werkzeughersteller benennen die Grenzen. Nutzen Sie diese als Checkliste, wenn Sie ein beliebiges Produkt bewerten.

  • Komplexe Anweisungen scheitern häufiger. Laut der Seite von BrowserStack können komplexe oder zu weit gefasste Ziele mit dem Fehler UNSUPPORTED_OBJECTIVE abbrechen. Die Zuverlässigkeit sinkt mit zunehmender Befehlskomplexität, und Einzelschritt-Anweisungen sind am genauesten. Zerlegen Sie eine lange Aufgabe in kurze Schritte.
  • Ergebnisse können schwanken. Eine KI interpretiert jede Anweisung zur Laufzeit. Ein vager Satz kann daher bei verschiedenen Läufen zu unterschiedlichen Aktionen führen. Halten Sie jeden Schritt kurz und präzise.
  • Die Funktion kann sich noch im Beta-Status befinden. Dieselbe Seite kennzeichnet die Funktion als Beta und weist darauf hin, dass sich die unterstützten Umgebungen ändern können.
  • Erfundene Ergebnisse sind ein Risiko. Der Cypress-Artikel warnt, dass viele KI-Browserwerkzeuge für allgemeine Webaufgaben gebaut sind, nicht für Tests. Sie können halluzinierte Ausgaben liefern, ohne die eigentliche Anwendung zu untersuchen, und es fehlt ihnen oft an Unterstützung für Fehlersuche, Assertions und den Testlebenszyklus.

Halten Sie Tests kurz, prüfen Sie, was die KI erzeugt hat, und verlangen Sie für jeden Schritt eine klare Bestanden-oder-fehlgeschlagen-Regel.

Fehler, Wartung und CI

Die Wartung zeigt, ob sich Tests in natürlicher Sprache tatsächlich auszahlen. Deshalb sollten Sie fragen, wie jedes Tool mit Änderungen umgeht. Der Cypress-Leitfaden zur KI-gestützten Testgenerierung zeigt ein Konzept. Das Tool speichert den generierten Code im Cache, und dieser Cache wird über Rechner und Umgebungen hinweg geteilt, auch in CI. Das erneute Ausführen eines Tests ruft die KI daher nicht erneut auf, es sei denn, der Prompt oder die Seite macht den Cache ungültig. Ändern sich zwischen den Läufen ein Selector oder sein Text, generiert das Tool den Code für diesen Schritt neu und markiert ihn in den Protokollen als selbstgeheilt. Der Leitfaden warnt, dass ein Heilen bei jedem Lauf zusätzliche KI-Aufrufe verursacht und die Ausführung verlangsamt. Deshalb empfiehlt er, Elemente über stabilen, sichtbaren Text anzusprechen. Außerdem können Sie den generierten Code einsehen, mit Kommentaren, die jeden Befehl dem Prompt-Schritt zuordnen, und ihn anstelle des Prompts speichern.

Der Autosana-Leitfaden empfiehlt einen zweiwöchigen Proof of Concept mit echten Benutzerabläufen, auch mit solchen, die bereits fehlgeschlagen sind. Dazu gehört eine Prüfung der Screenshots und Sitzungsaufzeichnungen, um nachzuvollziehen, was der Agent getan hat. Messbare Fehlerraten nennt der Leitfaden nicht. Führen Sie deshalb ein eigenes Pilotprojekt durch.

Können KI-Tools QA-Ingenieure ersetzen? Nach dieser Quellenlage nicht. Menschen planen weiterhin, was getestet wird, bereiten Daten vor und entscheiden, ob ein Ergebnis korrekt ist.

Fragen, die Sie vor der Auswahl eines Tools klären sollten

Nutzen Sie diese Fragen in einem Gespräch mit dem Anbieter oder in einem Pilotprojekt. Sie eignen sich für jedes Produkt.

  1. Was genau sieht das Modell? Untersucht es die echte Seite, oder rät es anhand des Textes Ihrer Anweisung?
  2. Kann ich einsehen und exportieren, was das Tool getan hat? Sie brauchen ein Protokoll jedes generierten Schritts und idealerweise ein festes Skript, das Sie in der Versionsverwaltung ablegen können.
  3. Wie entscheidet das Tool über Bestanden oder Fehlgeschlagen? Achten Sie auf explizite Prüfungen, die Sie selbst definieren, und nicht nur auf das eigene Urteil des Modells.
  4. Wo läuft der Test, und wer kann die Daten sehen? Testkonten und Screenshots können echte Informationen enthalten.
  5. Was enthält ein Fehlerbericht? Screenshots, Protokolle und der fehlgeschlagene Schritt sparen bei der Fehlersuche Stunden.
  6. Passt das Tool zu unserer aktuellen Testsuite? Prüfen Sie Ihr Automatisierungsframework, Ihre Pipeline und Ihren manuellen Testprozess.

Beispiel: ein Anmeldetest auf drei Arten

Die Zahlen sind erfunden.

Ein Team vergleicht drei Wege, einen Anmeldetest zu schreiben.

  1. Code mit Selektoren. Ein Entwickler schreibt etwa 12 Zeilen. Das dauert 30 Minuten. Benennt jemand die ID der Schaltfläche um, schlägt der Test fehl und muss angepasst werden.
  2. Natürliche Sprache. Ein Tester schreibt vier Zeilen: Anmeldeseite öffnen, Benutzernamen eingeben, Kennwort eingeben, auf „Log In“ klicken und prüfen, ob der Titel des Dashboards erscheint. Das dauert 5 Minuten. Der Tester liest die generierten Schritte, bestätigt, dass sie passen, und setzt die KI nur für die Ausführung ein.
  3. Natürliche Sprache, dann Export. Das Team behält die Fassung in einfachem Englisch für die explorative Arbeit und exportiert ein festes Skript für den nächtlichen Regressionslauf, wie es der Cypress-Artikel für das eigene Tool beschreibt.

Innerhalb eines Monats gehen zwei Fehlschläge auf echte Bugs zurück und einer auf einen ungenauen Schritt: „click the button“ traf die falsche Schaltfläche. Das Team formuliert den Schritt um in „click the Log In button“. Präzision im Satz ist genauso wichtig wie Präzision im Selektor.

Häufige Fehler

  • Lange, vage Anweisungen schreiben. Verwenden Sie pro Schritt eine Absicht und benennen Sie das Element.
  • KI-generierten Schritten ungelesen vertrauen. Lesen Sie jeden Schritt mindestens einmal und bewahren Sie das Protokoll auf.
  • Das erwartete Ergebnis weglassen. Ein Test braucht eine klare Prüfung, etwa einen Titel oder eine Summe. „Make sure it works“ ist keine Prüfung.
  • Das Tool für alles verwenden. Unit- und Integrationsprüfungen gehören in den Code, nah bei den Entwicklern.
  • Ein Tool ohne Pilotprojekt einführen. Führen Sie zuerst zehn echte Tests durch und vergleichen Sie die Fehlerursachen.

Wie Software helfen kann

Es gibt verschiedene Arten von KI-Testwerkzeugen. Manche ergänzen ein codebasiertes Framework um Befehle in einfachem Englisch, etwa die oben genannten Funktionen von Cypress und BrowserStack. Andere sind eigenständige Plattformen für das gesamte QA-Team. Open-Source-Frameworks wie Playwright eignen sich weiterhin gut für Teams, die mit Code arbeiten möchten.

Genta by Cognillo ist ein Beispiel für eine eigenständige Plattform. Laut Anbieter beschreiben Tester in einfacher Sprache, was eine Anwendung tun soll. Genta führt den Test dann in einem Browser auf einer Cloud-VM aus und meldet Bestanden oder Fehlgeschlagen, inklusive Screenshots und Logs. Der Anbieter nennt als Zielgruppe QA-Leads, SDETs und Automatisierungsingenieure. Dabei handelt es sich um Aussagen des Anbieters. Vergleichen Sie die Lösung vor einer Entscheidung in einem Pilotprojekt mit anderen Optionen.

Offenlegung: Cognillo sponsert M365.FM.

Nächster Schritt

Wählen Sie einen stabilen Nutzerpfad, zum Beispiel Anmeldung und Suche, und beschreiben Sie ihn in fünf einfachen Schritten auf Englisch. Führen Sie ihn anschließend sowohl in einem Tool zur Testautomatisierung mit natürlicher Sprache als auch in Ihrem bestehenden Test-Framework aus. Vergleichen Sie dann Aufwand, Fehlschläge und die Qualität der Logs.

Entitäten in diesem Artikel

End-to-end testing Generative AI AI agent Genta Automation

Verwandte Artikel

RSS