Wie Sie einen Testfall in einfachem Englisch schreiben, den ein KI-Agent ausführen kann
Von Mirko Peters · · Aktualisiert
Schreiben Sie Testfälle in einfachem Englisch, die ein KI-Agent ausführen kann: ein Verhalten pro Test, eine Aktion pro Schritt, eindeutig benannte Elemente und ein klares, überprüfbares Ergebnis.
Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen
Damit ein KI-Agent Testfälle in einfachem Englisch ausführen kann, beschränken Sie jeden Test auf ein Verhalten, jeden Schritt auf eine Aktion und jede Prüfung auf ein Ergebnis, das Sie auf dem Bildschirm sehen. Dieser Leitfaden richtet sich an QA-Leads und Tester, die von Skripten zu schriftlichen Anweisungen wechseln und trotzdem verlässliche Ergebnisse erzielen wollen. Sie lernen die fünf Bestandteile eines Testfalls kennen, die Regeln, die einen Schritt ausführbar machen, eine Methode, um Akzeptanzkriterien in Tests zu überführen, sowie ein durchgerechnetes Beispiel, das Sie übernehmen können.
Das Wichtigste in Kürze
- Ein Testfall in einfachem Englisch besteht aus fünf Teilen: Titel, Voraussetzungen, Schritte, erwartetes Ergebnis und Testdaten. Ein KI-Agent benötigt alle fünf explizit beschrieben.
- Beschreiben Sie pro Test ein Verhalten und pro Schritt eine Aktion, denn Hersteller von Tools berichten, dass Anweisungen mit einzelnen Schritten am genauesten umgesetzt werden.
- Benennen Sie jedes Element so, wie ein Benutzer es sieht, etwa die Schaltfläche Anmelden, statt nur von der Schaltfläche oder dem Feld zu sprechen.
- Formulieren Sie für jeden Test ein erwartetes Ergebnis, das auf dem Bildschirm überprüfbar ist, etwa einen Titel oder einen Betrag. Schreiben Sie niemals „sicherstellen, dass es funktioniert“.
- Lesen Sie, was der Agent erzeugt hat, bevor Sie einem bestandenen Test vertrauen. Schreiben Sie jeden Schritt um, den der Agent anders interpretiert hat, als Sie es gemeint haben.
Die fünf Teile eines Testfalls in einfachem Englisch
Ein guter Testfall liest sich wie eine kurze Geschichte, der jedes Teammitglied folgen kann. Beim Softwaretest gehört das Schreiben wirksamer Testfälle zu den zentralen QA-Fähigkeiten, und manuelle Tester haben sie schon immer in einfacher Sprache verfasst. Neu ist, dass ein KI-Agent die Testschritte nun ausführen kann. Das ist vor allem für End-to-End-Tests relevant, bei denen ein Test einen Benutzer durch einen gesamten Arbeitsablauf im Browser führt. Für einen KI-Agenten muss jeder Teil explizit sein, denn der Agent kann nicht nachfragen, was Sie gemeint haben.
- Titel. Eine Zeile, die das Verhalten beschreibt, etwa "Ein Kunde kann ein vergessenes Kennwort zurücksetzen". Der Titel ist das Erste, was Leser in einem Bericht sehen.
- Voraussetzungen. Der Zustand, in dem sich das Produkt befinden muss, bevor der Test beginnt, zum Beispiel "Ein Kundenkonto existiert und der Kunde ist abgemeldet".
- Schritte. Was ein Benutzer tut, eine Aktion pro Zeile.
- Erwartetes Ergebnis. Was der Benutzer danach sehen soll, formuliert in Begriffen, die Sie auf dem Bildschirm prüfen können.
- Testdaten. Die genauen Werte, etwa eine E-Mail-Adresse oder eine Bestellnummer.
Eine gemeinsame Vorlage hält die Testfälle aller Tester in derselben Form, und eine Testsuite mit einer einzigen Vorlage lässt sich deutlich leichter prüfen. Ein Testfall braucht außerdem eine Möglichkeit, das Ergebnis zu verifizieren. Deshalb ist das erwartete Ergebnis so wichtig.
Dieselbe Struktur verwendet die verhaltensgetriebene Entwicklung. In der Gherkin-Sprache, wie sie bei Automation Panda erklärt wird, legt Given den Ausgangszustand fest, When führt die getestete Aktion aus und Then beschreibt das erwartete Ergebnis. Sie müssen diese Schlüsselwörter nicht verwenden. Die drei Rollen bleiben trotzdem nützlich.
Regeln, die einen Schritt für einen KI-Agenten ausführbar machen
Werkzeughersteller veröffentlichen Empfehlungen für Anweisungen, die ein KI-Agent befolgen kann. Die Dokumentation von BrowserStack zu seinem natürlichsprachlichen Testagenten nennt Regeln, die für die meisten Werkzeuge gelten:
- Beginnen Sie mit einem Aktionsverb. „Click the Submit button“ ist klar. „The submit button“ ist keine Anweisung.
- Verwenden Sie pro Befehl nur eine Absicht. Teilen Sie mehrstufige Aufgaben in einzelne Schritte auf.
- Benennen Sie das konkrete Element. Schreiben Sie „the Log In button“, nicht „the button“.
- Scrollen Sie zuerst, wenn ein Ziel außerhalb des sichtbaren Bereichs liegt. Fügen Sie einen Schritt vor der Aktion ein.
Dieselbe Seite weist darauf hin, dass die Zuverlässigkeit mit zunehmender Komplexität der Befehle sinkt und dass Anweisungen mit einem einzigen Schritt am genauesten sind. Aus der Praxis kommen drei weitere Regeln hinzu:
- Verwenden Sie die Wörter, die auf dem Bildschirm stehen. Heißt die Schaltfläche „Sign in“, schreiben Sie nicht „Log in“.
- Nennen Sie die Werte im Schritt. Schreiben Sie „Type ana@example.com into the Email field“, nicht „enter a valid email“.
- Vermeiden Sie Pronomen und vage Begriffe. „It“, „there“, „properly“ und „correctly“ verbergen eine Entscheidung, die der Agent erraten muss.
Wie Sie Testfälle in einfachem Englisch schreiben, Schritt für Schritt
Mit dieser Methode wandeln Sie eine Anforderung in einen Testfall um.
- Gehen Sie von einem Akzeptanzkriterium aus. Nehmen Sie einen einzelnen Satz aus der User Story, zum Beispiel „A customer who forgets a password can set a new one by email“.
- Wählen Sie ein Verhalten aus. Jeder Testfall prüft genau ein Verhalten. Der Leitfaden von Automation Panda zu writing good Gherkin formuliert es als „One Scenario, One Behavior“ und empfiehlt, ein Szenario mit mehreren When-Then-Paaren aufzuteilen.
- Beschreiben Sie den Ausgangszustand. Formulieren Sie ihn als Zustand, nicht als Einrichtungsschritte. „A customer account exists“ ist besser als zehn Schritte, die ein Konto anlegen.
- Beschreiben Sie die Benutzeraktionen. Jede Aktion steht in einer kurzen Zeile mit einem Verb und einem benannten Element.
- Beschreiben Sie das erwartete Ergebnis. Nennen Sie, was erscheint: eine Überschrift, eine Meldung oder einen Wert. Verwenden Sie den exakten Wortlaut.
- Ergänzen Sie die Daten. Tragen Sie die Werte in die Schritte ein oder in eine kleine Tabelle unter dem Test.
- Lesen Sie den Testfall laut vor. Könnte ein neuer Kollege ihn nicht manuell ausführen, wird auch der Agent Schwierigkeiten haben.
Der Leitfaden empfiehlt außerdem, Szenarien kurz zu halten, mit weniger als zehn Schritten. Ein langer Testfall ist oft mehrere Testfälle, die zusammengefügt wurden. Varianten eines Verhaltens, etwa drei ungültige Passwörter, gehören in eine Datentabelle und nicht in drei Kopien derselben Schritte.
Beispiel: ein Test zum Zurücksetzen des Passworts, vorher und nachher
Die Details sind erfunden.
Vorher (zu vage). „Check that password reset works.“ Der Agent hat keinen Ausgangszustand, keine Aktionen und kein Ergebnis, das er prüfen kann. Er könnte aus dem falschen Grund bestehen.
Nachher (ausführbar).
- Titel: Ein Kunde kann einen Link zum Zurücksetzen des Passworts anfordern.
- Voraussetzung: Für ana@example.com existiert ein Kundenkonto, und der Kunde ist abgemeldet.
- Schritt 1: Öffnen Sie die Seite „Sign in“.
- Schritt 2: Klicken Sie auf den Link „Forgot password“.
- Schritt 3: Geben Sie ana@example.com in das Feld „Email“ ein.
- Schritt 4: Klicken Sie auf die Schaltfläche „Send reset link“.
- Erwartetes Ergebnis: Die Seite zeigt die Meldung „Check your email“.
Die Fassung „nachher“ enthält ein Verhalten, fünf kurze Aktionen und ein sichtbares Ergebnis. Wenn Ihr Produkt außerdem verlangt, dass der Link in der E-Mail funktioniert, schreiben Sie dafür einen zweiten Testfall. Erweitern Sie den ersten nicht.
Führen Sie den Test nun aus und lesen Sie das Protokoll. Angenommen, der Agent klickt korrekt auf „Forgot password“, gibt die Adresse aber in ein Suchfeld ein. Das Protokoll zeigt den Fehler, und Sie formulieren Schritt 3 um zu „Type ana@example.com into the Email field on the reset form“. Das Cypress-Team empfiehlt dieselbe Vorgehensweise für sein eigenes Werkzeug in einfachem Englisch: Prüfen Sie jeden erzeugten Schritt, und überführen Sie den Test in festen Code (eject), wenn Sie einen stabilen Test benötigen.
Varianten: Datentabelle statt Kopien
Viele Testfälle prüfen dasselbe Verhalten mit unterschiedlichen Werten. Ein Anmeldeformular sollte eine E-Mail-Adresse ohne @-Zeichen ablehnen, eine ohne Domain und eine mit Leerzeichen. Schreiben Sie keine drei Testfälle mit identischen Schritten.
Der Automation-Panda-Leitfaden weist darauf hin, dass Gherkin keinen Schritt „Or“ kennt. Für Varianten eines Verhaltens empfiehlt er ein Scenario Outline mit einer Examples-Tabelle. Außerdem rät er, nur die Varianten aufzunehmen, die Sie wirklich brauchen, weil zusätzliche Zeilen die Laufzeit verlängern. Dieselbe Idee lässt sich auch in einfachem Englisch umsetzen. Schreiben Sie die Schritte einmal mit einem Platzhalter, etwa „Type {email} into the Email field“, und fügen Sie darunter eine kleine Tabelle hinzu.
Beispieltabelle (erfunden): {email} ist „ana.example.com“ und die erwartete Meldung lautet „Enter a valid email address“. {email} ist „ana@“ und die Meldung ist dieselbe. {email} ist leer und die Meldung lautet „Email is required“. Drei Zeilen, ein Satz Schritte, drei klare Ergebnisse. Schlägt eine Zeile fehl, zeigt der Bericht, welcher Wert die Regel verletzt hat.
Eine Checkliste zur Prüfung vor der Ausführung
Verwenden Sie diese Liste für jeden neuen Testfall:
- Der Titel beschreibt genau ein Verhalten.
- Der Ausgangszustand beschreibt einen Zustand und keine Liste von Einrichtungsklicks.
- Jeder Schritt beginnt mit einem Verb und nennt ein Element so, wie es auf dem Bildschirm erscheint.
- Alle Werte sind ausgeschrieben.
- Das erwartete Ergebnis ist sichtbar und enthält einen exakten Text oder eine exakte Zahl.
- Es gibt weniger als zehn Schritte.
- Eine weitere Person hat den Test gelesen.
Häufige Fehler
- Mehrere Verhaltensweisen in einem Testfall kombinieren. Schlägt der Test fehl, wissen Sie nicht, welcher Teil defekt ist.
- Beschreiben, wie statt was. Zehn Schritte mit Tastatureingaben verbergen die Absicht. Formulieren Sie die Aktion auf der Ebene, auf der ein Benutzer handeln würde.
- Das erwartete Ergebnis weglassen. Ein Testfall ohne Prüfung kann bestehen, ohne etwas zu beweisen.
- Interne Bezeichnungen verwenden. Test-IDs und CSS-Klassen ändern sich. Verwenden Sie die Bezeichnungen, die Benutzer sehen.
- Die Testfälle von generativer KI entwerfen lassen und ungelesen übernehmen. Ein Modell kann Schritte erfinden, die Ihr Produkt gar nicht besitzt.
- Daten dem Zufall überlassen. Ist ein Wert nicht angegeben, wählt der Agent selbst einen aus, und der Test lässt sich womöglich nicht wiederholen.
Wie Software helfen kann
Zum Einstieg reicht eine gemeinsame Tabelle oder eine Wiki-Seite. Schreiben Sie jeden Test in der Fünf-Teile-Form und prüfen Sie ihn wie Code. Wenn Sie ein Testmanagement-Tool einsetzen, halten Sie je Datensatz einen Test fest und verknüpfen ihn mit der Anforderung. Ein Tool für Tests in natürlicher Sprache liest dann denselben Text. Viele Teams pflegen außerdem einen kurzen Styleguide mit den oben genannten Regeln, damit jeder neue Tester Schritte gleich formuliert.
Nächster Schritt
Wählen Sie drei Akzeptanzkriterien aus Ihrem aktuellen Sprint und schreiben Sie zu jedem einen Testfall in den fünf Teilen. Führen Sie sie in Ihrem bevorzugten Tool aus, um Testfälle in einfachem Englisch zu erstellen, die ein Agent ausführen kann. Korrigieren Sie anschließend jeden Schritt, den das Protokoll als falsch interpretiert ausweist.