M365Con 2027 – bezpłatna konferencja online · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Jak testować agentów AI i rozszerzenia Copilot w powtarzalny sposób

By · · Updated

Jak testować agentów AI w powtarzalny sposób: przygotować zestaw testowy, dobrać oceniających (graders), oceniać wywołania narzędzi i śledzić regresje, z przykładem w Copilot Studio dla liderów QA.

Automatically translated with AI from the original post. Read the English original

Jak testować agentów AI to praktyczne pytanie dla każdego lidera QA, którego poproszono o zatwierdzenie takiego agenta: ten sam dane wejściowe mogą dać różne odpowiedzi, więc dawny nawyk porównywania wyniku z jedną oczekiwaną wartością przestaje działać. Ten przewodnik jest przeznaczony dla liderów QA, którzy potrzebują powtarzalnej metody dla agentów zbudowanych w Copilot Studio lub innych narzędziach. Dowiesz się, co utrudnia testowanie agentów, jak działa podejście warstwowe, jak przygotować zestaw testowy, jakich oceniających używać i jak utrzymać porównywalność wyników w czasie. Przykład z wymyślonymi liczbami pokazuje, jak mały zespół składa to wszystko w całość.

Najważniejsze wnioski

  • Agent AI udziela różnych odpowiedzi na te same dane wejściowe, więc powtarzalne testowanie oznacza ocenę względem uzgodnionych kryteriów i progów, a nie dopasowywanie jednego dokładnego ciągu znaków.
  • Podziel testy agenta na warstwy: zwykłe testy jednostkowe dla routingu i parsowania, ocenę jakości wyjścia modelu językowego oraz scenariusze end-to-end dla wieloetapowych przepływów.
  • Dobry zestaw testowy zaczyna się od niewielkiej liczby przypadków, obejmuje rzeczywiste zadania użytkowników, znane błędy, przypadki brzegowe i zachowania wysokiego ryzyka oraz jest przechowywany w kontroli wersji obok promptów.
  • Sprawdzaj ścieżkę, a nie tylko odpowiedź: poprawnie brzmiąca odpowiedź, która pominęła wymagane wywołanie narzędzia, nadal jest błędem.
  • Uruchamiaj każdy przypadek kilka razy, porównuj wskaźniki błędów z wartością bazową i zachowaj przypadki obowiązkowe do zaliczenia oraz zakazane działania jako twarde bramki.

Co utrudnia testowanie agentów AI

Klasyczna aplikacja działa przewidywalnie: te same dane wejściowe prowadzą do tego samego wyniku. Agent AI działa na bazie dużego modelu językowego, więc jego odpowiedzi się różnią, a dodatkowo sam decyduje, które narzędzia wywołać i w jakiej kolejności. Trzeba więc sprawdzić dwie rzeczy: ostateczną odpowiedź oraz ścieżkę, którą agent przeszedł, aby do niej dotrzeć.

Modele językowe mogą halucynować, czyli z pewnością siebie podawać błędne fakty, dlatego każdy system AI, który wdrażasz, wymaga sprawdzeń na tę okoliczność. Ryzyko rośnie w przepływach agentowych, gdzie agent AI wywołuje API, odczytuje plik lub zmienia rekord w imieniu użytkownika. Testowanie takiego agenta obejmuje więcej niż słowa, które wypowiada.

Artykuł SitePoint o testowaniu agentów AI w niedeterministycznym świecie odrzuca dokładne porównywanie ciągów znaków w wynikach modelu, ponieważ poprawne odpowiedzi można sformułować na wiele sposobów. Zastępuje pytanie „czy jest identyczna?” pytaniem „czy jest wystarczająco dobra?”. Ta zmiana stanowi istotę testowania agentów AI i wpływa na sposób zapisywania oczekiwanych wyników, ustalania progów zaliczenia oraz raportowania ryzyka.

Zmienność nie czyni testowania niemożliwym. Oznacza jedynie, że testowanie agentów opiera się na zakresach, progach i powtarzanych uruchomieniach, podczas gdy zwykły kod pozostaje objęty zwykłymi testami.

Jak testować agentów AI w czterech warstwach

Ten sam artykuł SitePoint dzieli testowanie agentów na trzy warstwy, a przewodnik LangChain o testowaniu LLM i agentów AI dodaje czwartą ideę, czyli bramki wydania. Razem tworzą wykonalny plan:

  1. Prosta logika. Routing narzędzi, parsowanie, formatowanie i zmiany stanu to zwykły kod. Zwykłe testy jednostkowe z dokładnymi asercjami sprawdzają się tutaj dobrze, a SitePoint sugeruje uruchamianie ich przy każdym commicie.
  2. Jakość odpowiedzi. Oceniaj odpowiedzi modelu językowego pod kątem wierności, trafności i halucynacji. Te sprawdzenia są wolniejsze, a gdy zaangażowany jest model oceniający (judge model), kosztują pieniądze, dlatego SitePoint sugeruje uruchamianie ich przy scalaniu zmian lub według harmonogramu.
  3. Scenariusze end-to-end. Uruchamiaj wieloetapowe rozmowy i wieloetapowe użycie narzędzi, od pierwszej wiadomości użytkownika do końcowego wyniku. To odpowiednik testów end-to-end dla agenta AI i warstwa, która wykrywa problemy na styku poszczególnych części.
  4. Bramki wydania. LangChain zaleca uruchamianie kontroli w potoku dostarczania przy każdej kandydującej zmianie, z uzgodnionymi progami dla jakości, zachowania i wydajności, takiej jak opóźnienie i koszt.

Nie pomijaj pierwszej warstwy tylko dlatego, że agent AI wygląda jak magia. Wiele awarii agentów AI to zwykłe błędy w sposobie parsowania danych wejściowych lub w wyborze narzędzia, a wykrycie ich jest tanie.

Zbuduj zestaw testowy, który pozostaje użyteczny

Zestaw testowy, często nazywany zbiorem ewaluacyjnym (eval set), jest centrum prac nad oceną AI. LangChain radzi zacząć od niewielkiej liczby wysokiej jakości przypadków, obejmujących rzeczywiste zadania użytkowników, znane błędy i zachowania wysokiego ryzyka, a następnie rozszerzać go wraz z tym, jak prawdziwe rozmowy ujawniają nowe problemy. Uwzględnij typowe żądania, dane wejściowe o charakterze adversarialnym, przypadki brzegowe oraz przykłady poprawione przez ekspertów dziedzinowych. Każdy przypadek może zawierać dane wejściowe, referencyjny wynik, kryteria oceny, wymagane lub zabronione kroki oraz metadane do filtrowania.

SitePoint dodaje nawyk, który zapewnia śledzalność wyników: przechowuj zbiór danych w systemie kontroli wersji i wersjonuj go obok szablonów promptów, dzięki czemu zmianę wyników można powiązać z konkretną zmianą w agencie.

Początkowy zestaw dla lidera QA mógłby wyglądać następująco:

  • Typowe pytania sformułowane takimi słowami, jakich faktycznie używają ludzie.
  • Znane błędy z wcześniejszych incydentów lub skarg, zachowane jako stałe przypadki regresji.
  • Przypadki brzegowe, takie jak niejasne pytania, mieszane języki, brakujące informacje oraz żądania, które agent AI powinien odrzucić.
  • Ryzykowne żądania, w tym próby prompt injection, pytania o dane, których użytkownik nie powinien widzieć, oraz żądania działań poza zakresem agenta.
  • Przypadki obowiązkowe, w których pojedyncza porażka blokuje wydanie.

Opisz oczekiwany wynik możliwie precyzyjnie. Niejasne oczekiwania dają zaszumione wyniki, niezależnie od narzędzia, które je oblicza.

Wybierz sposób oceny: kod, model oceniający lub człowiek

LangChain opisuje trzy rodzaje ewaluatorów (graderów) i każdy ma swoje miejsce:

  • Sprawdzenia kodem sprawdzają się w przypadku deterministycznych reguł: poprawny JSON, wymagany identyfikator konta, konkretne wywołanie narzędzia. Są tanie i powtarzalne.
  • Model oceniający ocenia cechy wymagające osądu, takie jak ugruntowanie w źródłach, przestrzeganie instrukcji i wykonanie zadania. LangChain radzi weryfikować oceny modelu oceniającego na przykładach sprawdzonych przez ludzi, zanim zaczniesz na nich polegać.
  • Przegląd przez człowieka obsługuje przypadki niejednoznaczne lub wysokiego ryzyka. Recenzenci oznaczają błędy, a te przypadki mogą trafić do zestawu testowego jako przyszłe testy regresji.

Sprawdzaj ścieżkę, a nie tylko odpowiedź. LangChain nazywa to ewaluacją trajektorii (trajectory evaluation): kolejność wywołań narzędzi, argumenty, kroki zatwierdzania i pętle. Jego przykładem jest agent do zwrotów, który przed udzieleniem odpowiedzi powinien wywołać wyszukiwanie w zasadach. Poprawnie brzmiąca odpowiedź, która pominęła to wyszukiwanie, nadal jest błędem. Dlatego każdy przypadek testowy powinien zapisywać oczekiwane wywołanie narzędzia, a nie tylko oczekiwany tekst.

Wyniki wymagają progów. SitePoint sugeruje minimum dla każdej metryki zamiast jednego dokładnego celu, a jego przykłady obejmują 0,85 dla wierności i 0,7 dla trafności odpowiedzi. Traktuj te liczby jako przykłady i ustaw własne na podstawie oceny ryzyka.

Testowanie agenta Copilot Studio

Copilot Studio ma wbudowaną ocenę, a strona Microsoft o tworzeniu zestawu testowego opisuje szczegóły, których potrzebuje lider QA.

  • Zestawy testowe: zestaw testowy z jedną odpowiedzią może zawierać do 100 przypadków testowych. Szybki zestaw dziesięciu pytań możesz wygenerować na podstawie opisu agenta, więcej – na podstawie źródła wiedzy lub tematów, możesz też użyć pytań z czatu testowego, zaimportować plik CSV lub TXT albo napisać przypadki ręcznie.
  • Metody testowania: ogólna jakość, bezpieczeństwo treści, porównanie znaczenia, użycie narzędzi, dopasowanie słów kluczowych, podobieństwo tekstu, dokładne dopasowanie oraz kryteria niestandardowe. Wszystkie metody oprócz ogólnej jakości wymagają dla każdego przypadku oczekiwanej odpowiedzi, słów kluczowych lub funkcji.
  • Tożsamość: automatyczne testowanie korzysta z uwierzytelnienia zalogowanego użytkownika, aby uzyskać dostęp do źródeł wiedzy i narzędzi. Uruchamiaj testy zawsze jako ten sam użytkownik, aby wyniki były porównywalne, i upewnij się, że ma on dostęp do wszystkich źródeł, których potrzebuje agent.
  • Ograniczenia: wygenerowane zestawy nie wykryją luk w informacjach, ponieważ korzystają wyłącznie z tego, co agent już wie. Wyniki są przechowywane przez 89 dni, dlatego wyeksportuj je do pliku CSV, aby zachować punkt odniesienia.

Ze strony wynikają dwa ostrzeżenia. Wygenerowane przypadki testowe mogą zawierać wrażliwe dane, do których ma dostęp połączone konto, a inni twórcy mający dostęp do agenta mogą wyświetlić powiązane zestawy testowe, dlatego przed udostępnieniem je przejrzyj. Ponadto wygenerowany zestaw to punkt wyjścia, a nie gotowy zestaw. Dodaj ręcznie własne znane błędy i ryzykowne żądania.

Zapewnij powtarzalność wyników

Powtarzalność wynika z nawyków w procesie testowania, a nie z konkretnej funkcji:

  1. Uruchamiaj każdy przypadek więcej niż raz. SitePoint sugeruje co najmniej trzy uruchomienia i średnią. LangChain sugeruje porównywanie wskaźników błędów przy zmiennych odpowiedziach.
  2. Porównuj z punktem odniesienia. Uruchom kandydującą wersję i obecną wersję na tym samym zestawie testowym. LangChain ostrzega, że lepsza średnia może ukrywać regresję w jednym krytycznym przypadku, dlatego obserwuj przypadki, które muszą przejść.
  3. Stosuj twarde bramki dla zabronionych działań. LangChain sugeruje deterministyczne sprawdzenia z progiem zero błędów dla działań, których agent nigdy nie może wykonać.
  4. Powtarzaj testy po każdej zmianie i zautomatyzuj je. Automatyzacja w potoku wdrożeniowym utrzymuje ten nawyk. Zmiana promptu traktowana jest jak zmiana kodu, podobnie jak zmiana modeli, wyszukiwania, definicji narzędzi, pamięci lub routingu.
  5. Zachowuj dowody. Eksportuj wyniki i przechowuj je razem z wersją zestawu testowego i wersją agenta.

Przykład: agent do zasad urlopowych

Liczby są wymyślone.

Zespół buduje agenta Copilot Studio, który odpowiada na pytania dotyczące zasad urlopowych. Kierownik QA tworzy 40 przypadków testowych. Dwadzieścia dwa to typowe pytania, osiem to znane błędy z pilotażu, sześć używa nietypowego sformułowania, na przykład niejasnych dat, a cztery to ryzykowne żądania, w tym pytanie o urlop innego pracownika. Sześć oznaczono jako przypadki, które muszą przejść.

Kierownik stosuje dopasowanie słów kluczowych do stałych faktów, na przykład liczby dni urlopu, porównanie znaczenia do wyjaśnień oraz sprawdzenie użycia narzędzi, czyli czy agent wywołuje wyszukiwanie zasad przed udzieleniem odpowiedzi. Każdy przypadek uruchamiany jest trzy razy.

Podczas pierwszego pełnego uruchomienia 34 z 40 przypadków przechodzą we wszystkich trzech próbach. Spośród sześciu błędów dwa dotyczą przypadku, który musi przejść, a w jednym z nich agent odpowiedział bez wywołania wyszukiwania zasad. Zespół poprawia instrukcję, uruchamia testy ponownie i osiąga wynik 38 z 40, przy czym wszystkie przypadki, które muszą przejść, są zielone. Kierownik eksportuje wyniki jako punkt odniesienia i ustala zasadę: każda zmiana promptu lub modelu powoduje ponowne uruchomienie wszystkich 40 przypadków, a spadek w dowolnym przypadku, który musi przejść, blokuje wydanie w potoku wdrożeniowym.

Częste błędy

  • Dopasowywanie dokładnego tekstu. Poprawne odpowiedzi mogą się różnić, dlatego dokładne dopasowanie generuje fałszywe błędy.
  • Ocenianie wyłącznie odpowiedzi. Agent może uzyskać dobrze wyglądającą odpowiedź, pomijając wymagany krok.
  • Uruchamianie każdego przypadku jednokrotnie. Jedno szczęśliwe uruchomienie niewiele dowodzi.
  • Poleganie wyłącznie na wygenerowanym zestawie testowym. Nie wykryje luk w tym, o czym agent nigdy nie został poinformowany.
  • Ślepe ufanie modelowi oceniającemu. Sprawdź jego oceny na przykładach zweryfikowanych przez człowieka.
  • Testowanie wyłącznie scenariusza idealnego. Uwzględnij nietypowe sformułowania, ryzykowne żądania i znane błędy.

Jak oprogramowanie może pomóc

Zacznij od tego, co oferuje Twoja platforma agentów. Copilot Studio ma wbudowaną ocenę, a dla niestandardowych agentów AI istnieją open-source'owe i komercyjne platformy testowe. Wybierz narzędzie, które pozwala wersjonować zestawy testowe, uruchamiać każdy przypadek kilka razy, sprawdzać wywołania narzędzi i eksportować wyniki. Potok wdrożeniowy ustaw jako bramkę, a do śledzenia przypadków i ich właścicieli użyj arkusza kalkulacyjnego lub narzędzia do zarządzania testami. Przed standaryzacją przetestuj rozwiązanie na jednym agencie AI.

Następny krok

Napisz dziesięć przypadków testowych dla jednego agenta AI, którego już używasz, w tym trzy znane błędy i dwa ryzykowne żądania, a następnie oceń każdy z nich trzy razy. Zapisz wyniki jako punkt odniesienia (baseline), aby testowanie agentów AI w zespole stało się rutynowym krokiem, a nie przedmiotem ciągłych dyskusji.

Entities in this article

AI agent AI evaluation Copilot Studio End-to-end testing

Related articles

RSS