M365Con 2027 – die kostenlose Online-Konferenz · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Wie Sie KI-Agenten und Copilot-Erweiterungen wiederholbar testen

Von · · Aktualisiert

Wie Sie KI-Agenten wiederholbar testen: Testset aufbauen, Bewertungsmethoden auswählen, Tool-Aufrufe bewerten und Regressionen nachverfolgen, mit einem Copilot-Studio-Beispiel für QA-Leads.

Automatisch mit KI aus dem Originalbeitrag übersetzt. Englisches Original lesen

Wie Sie KI-Agenten testen, ist eine praxisnahe Frage für jeden QA-Leiter, der einen Agenten freigeben soll. Dieselbe Eingabe kann unterschiedliche Antworten liefern, daher funktioniert die alte Praxis nicht mehr, eine Ausgabe mit einem einzigen Sollwert zu vergleichen. Dieser Leitfaden richtet sich an QA-Leiter, die eine wiederholbare Methode für Agenten brauchen, die mit Copilot Studio oder anderen Werkzeugen erstellt wurden. Sie erfahren, was Agenten schwer testbar macht, welcher geschichtete Ansatz sich eignet, wie Sie ein Testset aufbauen, welche Bewertungsmethoden Sie einsetzen und wie Sie Ergebnisse über die Zeit vergleichbar halten. Ein durchgerechnetes Beispiel mit erfundenen Zahlen zeigt, wie ein kleines Team das umsetzt.

Das Wichtigste in Kürze

  • Ein KI-Agent liefert auf dieselbe Eingabe unterschiedliche Antworten. Wiederholbares Testen bedeutet deshalb, anhand vereinbarter Kriterien und Schwellenwerte zu bewerten, statt eine exakte Zeichenfolge abzugleichen.
  • Teilen Sie Agenten-Tests in Ebenen auf: normale Unit-Tests für Routing und Parsing, Qualitätsbewertung der Ausgabe des Sprachmodells und End-to-End-Szenarien für mehrstufige Abläufe.
  • Ein gutes Testset beginnt klein, deckt reale Benutzeraufgaben, bekannte Fehler, Grenzfälle und Verhalten mit hohem Risiko ab und wird zusammen mit den Prompts versioniert verwaltet.
  • Prüfen Sie den Weg ebenso wie die Antwort: Eine richtig klingende Antwort, die einen erforderlichen Tool-Aufruf übersprungen hat, ist trotzdem ein Fehler.
  • Führen Sie jeden Fall mehrfach aus, vergleichen Sie die Fehlerquoten mit einer Ausgangsbasis und behandeln Sie Pflichtfälle sowie verbotene Aktionen als harte Freigabekriterien.

Warum sich KI-Agenten schwer testen lassen

Eine klassische Anwendung verhält sich vorhersehbar: Dieselbe Eingabe führt zum selben Ergebnis. Ein KI-Agent arbeitet auf Basis eines großen Sprachmodells, daher schwanken seine Antworten, und er entscheidet außerdem, welche Tools er in welcher Reihenfolge aufruft. Damit gibt es zwei Dinge zu prüfen: die finale Antwort und den Weg, den der Agent dorthin genommen hat.

Sprachmodelle können halluzinieren, das heißt, sie stellen falsche Fakten selbstsicher dar. Deshalb braucht jedes KI-System, das Sie ausliefern, Prüfungen dafür. Das Risiko wächst mit agentenbasierten Workflows, in denen ein KI-Agent im Auftrag des Benutzers eine API aufruft, eine Datei liest oder einen Datensatz ändert. Das Testen eines solchen KI-Agenten umfasst deshalb mehr als die Worte, die er schreibt.

Der SitePoint-Artikel zum Testen von KI-Agenten in einer nicht-deterministischen Welt lehnt den exakten Zeichenfolgenvergleich für Modellausgaben ab, weil korrekte Antworten auf viele Arten formuliert sein können. Er ersetzt die Frage „Ist es identisch?“ durch „Ist es gut genug?“. Diese Verschiebung ist der Kern des Testens von KI-Agenten und wirkt sich darauf aus, wie Sie erwartete Ergebnisse formulieren, Bestehensgrenzen festlegen und Risiken berichten.

Die Schwankungen machen das Testen nicht unmöglich. Sie bedeuten, dass das Testen von Agenten mit Bereichen, Schwellenwerten und wiederholten Durchläufen arbeitet, während der normale Code weiterhin mit gewöhnlichen Tests geprüft wird.

Wie Sie KI-Agenten in vier Ebenen testen

Der SitePoint-Artikel teilt das Testen von Agenten in drei Ebenen auf, und der LangChain-Leitfaden zum Testen von LLMs und KI-Agenten ergänzt eine vierte Idee, die Freigabe-Gates. Zusammen ergeben sie einen brauchbaren Plan:

  1. Einfache Logik. Tool-Routing, Parsing, Formatierung und Zustandsänderungen sind gewöhnlicher Code. Normale Unit-Tests mit exakten Assertions eignen sich hier gut, und SitePoint empfiehlt, sie bei jedem Commit auszuführen.
  2. Ausgabequalität. Bewerten Sie die Antworten des Sprachmodells hinsichtlich Treue zu den Quellen, Relevanz und Halluzinationen. Diese Prüfungen dauern länger und verursachen Kosten, wenn ein Judge-Modell eingesetzt wird. SitePoint empfiehlt deshalb, sie bei Merges oder nach einem Zeitplan auszuführen.
  3. End-to-End-Szenarien. Führen Sie mehrstufige Gespräche und mehrschrittige Tool-Nutzung durch, von der ersten Nachricht eines Benutzers bis zum Endergebnis. Dies ist die Variante des KI-Agenten für End-to-End-Tests, und genau diese Ebene deckt Probleme zwischen den einzelnen Komponenten auf.
  4. Release-Gates. LangChain empfiehlt, die Prüfungen in Ihrer Bereitstellungspipeline bei jeder infrage kommenden Änderung auszuführen, mit vereinbarten Schwellenwerten für Qualität, Verhalten und Leistung wie Latenz und Kosten.

Überspringen Sie die erste Ebene nicht, nur weil sich der KI-Agent wie Magie anfühlt. Viele Fehler von KI-Agenten sind schlichte Bugs bei der Verarbeitung der Eingaben oder bei der Auswahl des Tools. Solche Fehler lassen sich günstig finden.

Ein Testset aufbauen, das dauerhaft nützlich bleibt

Das Testset, oft als Eval-Set bezeichnet, ist das Herzstück der KI-Evaluierung. LangChain rät, klein zu beginnen, mit hochwertigen Fällen, die reale Benutzeraufgaben, bekannte Fehler und Verhalten mit hohem Risiko abdecken. Danach wird das Set erweitert, sobald echte Gespräche neue Probleme zutage fördern. Berücksichtigen Sie gängige Anfragen, adversariale Eingaben, Grenzfälle und Beispiele, die Fachexperten korrigiert haben. Jeder Fall kann eine Eingabe, eine Referenzausgabe, Bewertungskriterien, erforderliche oder verbotene Schritte sowie Metadaten zum Filtern enthalten.

SitePoint ergänzt eine Gewohnheit, die Ergebnisse nachvollziehbar macht: Bewahren Sie den Datensatz in der Quellcodeverwaltung auf und versionieren Sie ihn zusammen mit den Prompt-Vorlagen. So lässt sich eine Änderung der Werte einer bestimmten Änderung am Agenten zuordnen.

Ein Startset für einen QA-Verantwortlichen könnte so aussehen:

  • Häufige Fragen in den Worten, die Benutzer tatsächlich verwenden.
  • Bekannte Fehler aus früheren Vorfällen oder Beschwerden, die als dauerhafte Regressionsfälle erhalten bleiben.
  • Grenzfälle, etwa vage Fragen, gemischtsprachige Eingaben, fehlende Informationen und Anfragen, die der KI-Agent ablehnen sollte.
  • Riskante Anfragen, darunter Versuche von Prompt-Injection, Fragen nach Daten, die der Benutzer nicht sehen darf, sowie Anfragen nach Aktionen außerhalb des Zuständigkeitsbereichs des Agenten.
  • Pflichtfälle, bei denen ein einziger Fehler die Freigabe blockiert.

Formulieren Sie das erwartete Ergebnis so präzise wie möglich. Vage Erwartungen erzeugen unscharfe Werte, unabhängig davon, welches Tool die Bewertung durchführt.

Bewerter auswählen: Code, Judge-Modell oder Person

LangChain unterscheidet drei Arten von Bewertern, und jede hat ihren Platz:

  • Code-Prüfungen eignen sich für deterministische Regeln: gültiges JSON, eine erforderliche Konto-ID oder ein bestimmter Tool-Aufruf. Sie sind günstig und jederzeit wiederholbar.
  • Ein Judge-Modell bewertet urteilsbasierte Eigenschaften wie Fundierung, Befolgung von Anweisungen und Aufgabenerfüllung. LangChain rät, die Werte des Judge-Modells anhand von Beispielen zu validieren, die Menschen geprüft haben, bevor Sie sich darauf verlassen.
  • Die menschliche Prüfung übernimmt mehrdeutige oder riskante Fälle. Prüfer kennzeichnen Fehler, und diese Fälle können als künftige Regressionstests in das Testset aufgenommen werden.

Prüfen Sie den Weg, nicht nur die Antwort. LangChain nennt das Trajektorien-Evaluierung: Reihenfolge der Tool-Aufrufe, Argumente, Freigabeschritte und Schleifen. Das Beispiel ist ein Erstattungs-Agent, der vor der Antwort eine Richtlinienabfrage ausführen soll. Eine korrekt klingende Antwort, bei der diese Abfrage übersprungen wurde, gilt trotzdem als Fehler. Deshalb sollte jeder Testfall den erwarteten Tool-Aufruf festhalten und nicht nur den erwarteten Text.

Bewertungen brauchen Schwellenwerte. SitePoint empfiehlt pro Metrik einen Mindestwert statt eines exakten Zielwerts. Die Beispiele umfassen 0,85 für Treue zu den Quellen und 0,7 für die Relevanz der Antwort. Betrachten Sie diese Zahlen als Beispiele und legen Sie Ihre eigenen Werte auf Basis Ihres Risikos fest.

Testen eines Copilot-Studio-Agenten

Copilot Studio verfügt über eine integrierte Evaluierung, und Microsofts Seite zum Erstellen eines Testsets nennt die Details, die ein QA-Verantwortlicher benötigt.

  • Testsets: Ein Testset mit einzelner Antwort umfasst bis zu 100 Testfälle. Sie können aus der Beschreibung des Agenten schnell zehn Fragen generieren, weitere aus einer Wissensquelle oder aus Themen erzeugen, Fragen aus einem Testchat wiederverwenden, eine CSV- oder TXT-Datei importieren oder Fälle manuell schreiben.
  • Testmethoden: allgemeine Qualität, Inhaltssicherheit, Bedeutungsvergleich, Tool-Nutzung, Schlüsselwortabgleich, Textähnlichkeit, exakte Übereinstimmung und benutzerdefinierte Kriterien. Alle Methoden außer der allgemeinen Qualität benötigen pro Fall eine erwartete Antwort, Schlüsselwörter oder Fähigkeiten.
  • Identität: Das automatisierte Testen verwendet die Authentifizierung des angemeldeten Benutzers, um auf Wissensquellen und Tools zuzugreifen. Führen Sie die Tests immer mit demselben Benutzer aus, damit die Ergebnisse vergleichbar bleiben, und stellen Sie sicher, dass dieser Benutzer alle Quellen erreichen kann, die der Agent benötigt.
  • Grenzen: Generierte Testsets können keine Informationslücken aufdecken, da sie nur auf Basis dessen erstellt werden, was der Agent bereits weiß. Ergebnisse werden 89 Tage gespeichert. Exportieren Sie sie daher als CSV, um eine Baseline zu sichern.

Aus der Seite ergeben sich zwei Warnhinweise. Generierte Testfälle können sensible Daten enthalten, auf die das verbundene Konto zugreifen kann. Außerdem können andere Ersteller mit Zugriff auf den Agenten die verknüpften Testsets einsehen. Prüfen Sie diese deshalb, bevor Sie sie teilen. Ein generiertes Set ist zudem ein Ausgangspunkt und kein fertiges Set. Ergänzen Sie bekannte Fehler und riskante Anfragen manuell.

Ergebnisse reproduzierbar machen

Reproduzierbarkeit entsteht durch Gewohnheiten in Ihrem Testablauf, nicht durch eine Funktion:

  1. Führen Sie jeden Fall mehrfach aus. SitePoint empfiehlt mindestens drei Durchläufe und einen Durchschnitt. LangChain schlägt vor, bei variablen Ausgaben die Fehlerraten zu vergleichen.
  2. Vergleichen Sie mit einer Baseline. Führen Sie den Kandidaten und die aktuelle Version mit demselben Testset aus. LangChain warnt, dass ein besserer Durchschnitt eine Regression bei einem kritischen Fall verbergen kann. Achten Sie deshalb auf die Pflichtfälle.
  3. Setzen Sie harte Schranken für verbotene Aktionen ein. LangChain empfiehlt deterministische Prüfungen mit einem Schwellenwert von null Fehlern für Aktionen, die der Agent niemals ausführen darf.
  4. Testen Sie nach jeder Änderung erneut und automatisieren Sie den Ablauf. Eine Automatisierung in Ihrer Pipeline sorgt dafür, dass die Gewohnheit erhalten bleibt. Eine Prompt-Änderung gilt als Codeänderung, ebenso wie Änderungen an Modellen, Retrieval, Tool-Definitionen, Speicher oder Routing.
  5. Bewahren Sie die Nachweise auf. Exportieren Sie die Ergebnisse und speichern Sie sie zusammen mit der Version des Testsets und der Version des Agenten.

Beispiel: ein Agent für Urlaubsrichtlinien

Die Zahlen sind erfunden.

Ein Team entwickelt einen Copilot Studio-Agenten, der Fragen zur Urlaubsrichtlinie beantwortet. Die QA-Leitung erstellt 40 Testfälle. Zweiundzwanzig sind häufige Fragen, acht sind bekannte Fehler aus der Pilotphase, sechs verwenden ungewöhnliche Formulierungen, etwa unklare Datumsangaben, und vier sind riskante Anfragen, darunter eine Frage zum Urlaub eines anderen Mitarbeiters. Sechs davon sind als Pflichtfälle markiert.

Die Leitung nutzt den Schlüsselwortabgleich für feste Fakten wie die Anzahl der Urlaubstage, den Bedeutungsvergleich für Erklärungen und eine Tool-Prüfung, ob der Agent die Richtliniensuche aufruft, bevor er antwortet. Jeder Fall läuft dreimal.

Im ersten vollständigen Durchlauf bestehen 34 von 40 Fällen alle drei Läufe. Von den sechs Fehlschlägen betreffen zwei einen Pflichtfall. In einem davon hat der Agent geantwortet, ohne die Richtliniensuche aufzurufen. Das Team passt die Anweisung an, führt den Test erneut aus und erreicht 38 von 40 Fällen, wobei alle Pflichtfälle grün sind. Die Leitung exportiert die Ergebnisse als Baseline und legt eine Regel fest: Jede Prompt- oder Modelländerung führt alle 40 Fälle erneut aus, und ein Rückgang bei einem Pflichtfall blockiert die Freigabe im Bereitstellungsworkflow.

Häufige Fehler

  • Exakter Textvergleich. Richtige Antworten können unterschiedlich formuliert sein, daher erzeugt ein exakter Abgleich falsche Fehlschläge.
  • Nur die Antwort bewerten. Der Agent kann eine gut aussehende Antwort erreichen, indem er einen erforderlichen Schritt überspringt.
  • Jeden Fall nur einmal ausführen. Ein einzelner glücklicher Durchlauf beweist wenig.
  • Sich allein auf ein generiertes Testset verlassen. Es kann keine Lücken in dem finden, was dem Agenten nie beigebracht wurde.
  • Dem Bewertungsmodell blind vertrauen. Validieren Sie seine Bewertungen anhand von Beispielen, die Menschen geprüft haben.
  • Nur den Normalfall testen. Berücksichtigen Sie ungewöhnliche Formulierungen, riskante Anfragen und bekannte Fehler.

Wie Software helfen kann

Beginnen Sie mit dem, was Ihre Agentenplattform bietet. Copilot Studio verfügt über integrierte Auswertung, und für eigene KI-Agenten gibt es Open-Source- und kommerzielle Evaluierungsframeworks. Wählen Sie ein Testwerkzeug, mit dem Sie Testsets versionieren, jeden Fall mehrmals ausführen, Tool-Aufrufe prüfen und Ergebnisse exportieren können. Nehmen Sie Ihre Bereitstellungspipeline als Freigabeschranke hinzu, und verwenden Sie eine Tabelle oder ein Testmanagement-Tool, um die Fälle und ihre Verantwortlichen zu verfolgen. Testen Sie an einem KI-Agenten als Pilot, bevor Sie einen Standard festlegen.

Nächster Schritt

Schreiben Sie zehn Testfälle für einen KI-Agenten, den Sie bereits betreiben, darunter drei bekannte Fehlerfälle und zwei riskante Anfragen. Bewerten Sie jeden Fall dreimal und speichern Sie die Ergebnisse als Baseline. So wird das Testen von KI-Agenten in Ihrem Team zu einem Routineschritt statt zu einer Grundsatzdiskussion.

Entitäten in diesem Artikel

AI agent AI evaluation Copilot Studio End-to-end testing

Verwandte Artikel

RSS