M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Kann KI Testfälle aus User Stories schreiben? Worauf Sie zuerst achten sollten

Von · · Aktualisiert

Kann KI Testfälle aus User Stories generieren? Studien zeigen schnelle Entwürfe mit Lücken. Hier erfahren Sie, worauf Sie zuerst achten sollten: Abdeckung, Mehrdeutigkeit, Grenzfälle und erfundene Tests.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Kann KI Testfälle aus User Stories generieren? Ja, und das in Sekunden. Der Entwurf braucht dennoch eine sorgfältige Prüfung, bevor er in Ihre Testsuite gelangt. Dieser Leitfaden richtet sich an QA-Leads, die das ausprobieren möchten, ohne die Qualität zu senken. Sie erfahren, was zwei veröffentlichte Studien gefunden haben, welche Probleme immer wieder auftreten und welche Checkliste Sie für die Prüfung eines Entwurfs nutzen können. Ein Beispiel mit fiktiven Zahlen zeigt, wie eine Überprüfung einen Stapel generierter Testfälle verändert.

Das Wichtigste in Kürze

  • KI kann Testfälle aus User Stories in Sekunden bis Minuten entwerfen. Ein Experiment von Thoughtworks ergab eine hohe Abdeckung der genannten Akzeptanzkriterien, die Qualität hing jedoch davon ab, wie klar die Story formuliert war.
  • Dasselbe Experiment ermittelte bei etwa 27 % der generierten Fälle eine Mehrdeutigkeit und bei etwa 6 % fehlerhafte Fälle. Eine Prüfung ist deshalb unverzichtbar.
  • Studien beschreiben vier wiederkehrende Probleme: irrelevante oder erfundene Fälle, redundante Fälle, fehlende Grenzfälle sowie Eingaben, die nicht vollständig spezifiziert sind.
  • Prüfen Sie jeden Entwurf anhand der Akzeptanzkriterien, entfernen Sie Duplikate, ergänzen Sie Grenzfälle und negative Pfade und formulieren Sie jeden vagen Schritt neu.
  • Betrachten Sie das Modell als Assistenten, der Entwürfe erstellt, und legen Sie die Verantwortung für alles, was in die Regressionssuite gelangt, bei einer Person fest.

Kann KI Testfälle aus User Stories generieren? Was Studien herausgefunden haben

In einem Artikel von Thoughtworks, AI generated test cases from user stories: an experimental research study, wird ein kleines Experiment beschrieben. Drei QA-Ingenieure mit drei bis fünf Jahren Erfahrung schrieben manuelle Testfälle für neun User Stories. Anschließend erstellten generative KI-Tools, vor allem GitHub Copilot mit ChatGPT als Vergleich, Testfälle für dieselben Stories auf Basis verfeinerter Prompts.

Im Durchschnitt deckten die generierten Fälle 98,67 % der Akzeptanzkriterien ab und waren in ihrer Struktur konsistent. Der Artikel nennt rund 4 % Duplikate, etwa 6 % fehlerhafte Testfälle und einen Mehrdeutigkeitswert von etwa 27 %. Die Erstellung dauerte laut Bericht Sekunden bis Minuten statt Stunden.

Die Schwächen waren ebenso deutlich. Die Qualität hing stark von der Qualität und Präzision des Inputs ab. Die Tools hatten Schwierigkeiten mit komplexer Geschäftslogik, fanden ohne explizite Vorgaben nur wenige Grenzfälle und testeten nichtfunktionale Aspekte kaum, wenn sie nicht ausdrücklich dazu aufgefordert wurden. Die Autoren bezeichnen ihre Hypothese als teilweise bestätigt, halten menschliche Aufsicht für unverzichtbar und weisen darauf hin, dass die Stichprobe von neun User Stories klein ist.

Eine zweite Arbeit, eine arXiv-Studie mit dem Titel Automatic High-Level Test Case Generation using Large Language Models, untersucht Anwendungsfälle statt Benutzerstories. Sie gilt deshalb als verwandtes Ergebnis. Die Autoren haben einen Datensatz mit 1.067 Anwendungsfällen und 3.606 Testfällen aus 168 Projekten erstellt. In einer menschlichen Bewertung erreichte GPT-4o bei Vollständigkeit 3,91 und bei Relevanz 3,98. Von Menschen geschriebene Testfälle erreichten 4,04 und 4,30. Die Autoren bewerten das Ergebnis als zufriedenstellend, halten aber eine vollständige menschliche Prüfung der automatisch erzeugten Testfälle für notwendig.

Was die Zahlen zeigen und was nicht

Seien Sie bei den Prozentwerten vorsichtig. Beide Studien nennen ihre Grenzen. Das Thoughtworks-Experiment verwendete neun Benutzerstories, bestimmte Tools und Versionen sowie eine teilweise subjektive Bewertung. Die Produktivität über einen langen Zeitraum wurde nicht gemessen. Außerdem berichtet die Studie, dass ChatGPT bei der Interpretation detaillierter Prompts besser abschnitt als GitHub Copilot. Die Ergebnisse hängen also vom Tool und vom Prompt ab.

In der arXiv-Studie stimmten sich die 26 menschlichen Bewertenden nur mäßig untereinander ab, mit einem Cohen's Kappa von 0,42. Außerdem handelte es sich bei den Teilnehmenden um eine Gelegenheitsstichprobe. Die Autoren weisen zudem darauf hin, dass ein automatischer Ähnlichkeitswert fehlende Grenzfälle oder Negativfälle nicht zuverlässig erkennen kann. Deshalb fordern sie eine menschliche Bewertung.

Auch der hohe Abdeckungswert sollte genauer betrachtet werden. Er misst die Kriterien, die niedergeschrieben wurden. Er kann keine Regeln zeigen, die niemand in die Story aufgenommen hat. Genau dort liegen aber oft die Fehler.

Vier Probleme, die immer wieder auftreten

Die arXiv-Studie nennt vier wiederkehrende Probleme, und die Thoughtworks-Ergebnisse gehen in dieselbe Richtung:

  1. Irrelevante Fälle. Die Autoren führen diese auf KI-Halluzination zurück: Das Modell erzeugt plausibel klingende, aber falsche Informationen. Ein Beispiel war ein Test für eine Funktion, die die Anwendung nicht unterstützte.
  2. Redundante Fälle. Manche Fälle wiederholen einen anderen mit einer kleinen Änderung.
  3. Fehlende Grenzfälle. Modelle übersahen Fälle, die menschliche Tester berücksichtigt hatten, etwa die Ablehnung eines nicht unterstützten Dateityps.
  4. Unzureichende Eingabespezifikation. Manche generierten Fälle ließen Eingabefelder aus, die der Test benötigt.

Keines dieser Probleme macht einen Entwurf nutzlos. Sie zeigen Ihnen aber, worauf Sie achten müssen.

Was Sie zuerst prüfen sollten: eine Checkliste für die Prüfung

Thoughtworks empfiehlt, die Ergebnisse vor dem Produktiveinsatz zu prüfen. Dazu gehören der Abgleich mit den Akzeptanzkriterien, die Markierung unklarer Logik und die Kontrolle der Abdeckung von Grenzfällen. Machen Sie daraus für jede Charge eine Checkliste:

  • Abdeckung. Hat jedes Akzeptanzkriterium mindestens einen Testfall? Listen Sie die Kriterien auf und haken Sie sie ab.
  • Erfundene Tests. Entspricht jeder Fall etwas in der Story? Entfernen Sie Fälle für Funktionen, die es nicht gibt.
  • Dubletten. Führen Sie Fälle zusammen, die dasselbe Verhalten mit denselben Daten prüfen.
  • Konkrete Schritte. Nennt jeder Schritt das Element und die Daten? Formulieren Sie vage Angaben wie „gültige Daten eingeben“ um.
  • Erwartete Ergebnisse. Lässt sich jedes erwartete Ergebnis auf dem Bildschirm oder in einem Datensatz überprüfen?
  • Grenzfälle und Negativpfade. Ergänzen Sie leere Eingaben, falsche Formate, Grenzwerte und Berechtigungsfehler.
  • Nicht funktionale Anforderungen. Ergänzen Sie Leistungs-, Barrierefreiheits- und Sicherheitsprüfungen, die sich aus der Story ergeben. Das Modell lässt sie möglicherweise aus.

Bei einer großen Charge prüfen Sie zuerst eine Stichprobe. Lesen Sie die ersten zehn Fälle vollständig. Scheitern viele davon an der Checkliste, korrigieren Sie die Story oder den Prompt, bevor Sie weitermachen. Sonst wiederholt sich derselbe Fehler im Rest. Das ist eine praktische Arbeitsregel und kein Ergebnis der Studien.

Die Generierung von Testfällen mit KI passt als Entwurfsschritt vor der Testautomatisierung in das Softwaretesting. Ein QA-Team kann mit KI Testfälle für jedes Testszenario einer Story erstellen, die Testabdeckung anhand der Akzeptanzkriterien prüfen und anschließend entscheiden, welche Fälle automatisiert werden. Das KI-Tool übernimmt die Fleißarbeit, das QA-Team behält das Testdesign in der Hand. Auf diese Weise können Sie Tests schneller erstellen, ohne die Qualität der Testsuite zu senken.

Diese Prüfung ist Arbeit im Sinne von Human-in-the-Loop. Der Tester schreibt den Entwurf nicht neu ab. Er bewertet ihn, und genau dieses Urteil kann das Modell nicht liefern.

Die Eingabe für die KI vereinfachen

Thoughtworks berichtet, dass sich der Prompt von einer einfachen Anfrage zu einer Version entwickelt hat, die dem Modell eine Rolle zuweist und es bittet, bei Bedarf Given, When, Then zu verwenden. Außerdem berichtet das Unternehmen, dass die Abdeckung komplexer Szenarien erhebliche Arbeit am Prompt erforderte. Drei Gewohnheiten helfen:

  1. Formulieren Sie explizite Akzeptanzkriterien. Ist die User Story vage, werden auch die Testfälle vage. Korrigieren Sie zuerst die Story.
  2. Liefern Sie Kontext. Nennen Sie die Benutzerrolle, den Produktbereich und alle Regeln, die das Modell nicht erraten kann.
  3. Fordern Sie eine Struktur ein. Arbeiten Sie mit KI und einem klaren Format: Verlangen Sie für jeden Fall einen Titel, Voraussetzungen, Schritte, Daten und das erwartete Ergebnis, und bitten Sie die KI, ihre Annahmen aufzulisten.

Halten Sie den Prompt frei von Geheimnissen und Kundendaten. Verwenden Sie erfundene Beispielwerte.

Beispiel: Prüfung eines Stapels

Die Zahlen sind erfunden.

Ein Team gibt zehn User Storys an einen KI-Assistenten. Dieser liefert in wenigen Minuten 60 Testfälle. Der QA-Verantwortliche prüft sie gemeinsam mit dem Product Owner.

  • 6 Fälle sind Duplikate, deshalb entfernt das Team sie.
  • 5 Fälle testen Verhalten, das das Produkt nicht besitzt, deshalb entfernt das Team auch sie. Es bleiben 49.
  • 7 der verbleibenden 49 Fälle haben vage Schritte oder Ergebnisse, deshalb schreibt das Team sie um.
  • 9 Grenzfälle und Negativpfade fehlen, deshalb ergänzt das Team sie manuell.

Die finale Suite umfasst 58 Testfälle. Die Prüfung dauerte etwa drei Stunden. Alle 58 von Grund auf neu zu schreiben, hätte vermutlich einen ganzen Tag gedauert. Das Team hält die Prüfnotizen fest, erfasst, welche Arten von Fällen abgelehnt wurden, und nutzt diese Erkenntnisse, um den Prompt für den nächsten Sprint zu verbessern. Der Gewinn ist real, entsteht aber durch die Prüfung und nicht allein durch das Modell.

Häufige Fehler

  • Stapel ungeprüft übernehmen. Duplikate und erfundene Fälle gelangen in die Suite und untergraben das Vertrauen in sie.
  • Erfolg an der Anzahl der Fälle messen. Mehr Fälle bedeuten nicht mehr Abdeckung.
  • Vage Storys an das Modell geben. Schlechte Eingaben liefern schlechte Ergebnisse.
  • Grenzfälle und nicht-funktionale Prüfungen vergessen. Studien zeigen, dass Modelle sie tendenziell übersehen.
  • Private Daten in Prompts eingeben. Verwenden Sie erfundene Werte und halten Sie sich an Ihre Datenrichtlinie.
  • Die Verknüpfung mit den Akzeptanzkriterien auslassen. Ohne sie können Sie nicht nachweisen, was abgedeckt ist.

Wie Software helfen kann

Eine Tabellenkalkulation oder Ihr Testmanagement-Tool kann Kriterien, generierte Fälle und den Prüfstatus nebeneinander festhalten. Markieren Sie jeden Fall als akzeptiert, überarbeitet oder abgelehnt, und halten Sie die Zahlen fest. So kennen Sie nach einigen Sprints Ihre eigene Ablehnungsquote. Ein Code-Review-Tool oder ein gemeinsames Dokument hilft Testern und Product Ownern, gemeinsam zu prüfen. Wenn Sie einen KI-Assistenten nutzen, wählen Sie einen, mit dem Sie den Prompt steuern und die vollständige Ausgabe einsehen können. Für Fälle auf Browser-Ebene kann anschließend ein End-to-End-Test-Tool, das Testschritte in einfacher Sprache beschreibt, die freigegebenen Schritte ausführen. Testen Sie zunächst in einem Team, bevor Sie es ausrollen.

Nächster Schritt

Nehmen Sie eine fertige User Story, lassen Sie ein KI-Tool Testfälle erzeugen und prüfen Sie den Entwurf anhand der oben genannten Checkliste. Zählen Sie, was Sie entfernen, überarbeiten und ergänzen, und nutzen Sie diese Zahlen, um zu entscheiden, wie weit KI in Ihrem Team Testfälle aus User Storys erzeugen darf.

Entitäten in diesem Artikel

Generative AI AI hallucination Human in the loop End-to-end testing

Verwandte Artikel

RSS