Czy AI może pisać przypadki testowe na podstawie historyjek użytkownika? Na co zwrócić uwagę najpierw
By Mirko Peters · · Updated
Czy AI może generować przypadki testowe na podstawie historyjek użytkownika? Badania pokazują szybkie wersje robocze z lukami. Sprawdź najpierw: pokrycie, dwuznaczność, przypadki brzegowe i wymyślone testy.
Automatically translated with AI from the original post. Read the English original
Czy AI może generować przypadki testowe na podstawie historyjek użytkownika? Tak, i robi to w kilka sekund, ale wersja robocza wymaga starannej weryfikacji, zanim trafi do zestawu testów. Ten przewodnik jest przeznaczony dla liderów QA, którzy chcą z tego korzystać bez obniżania jakości. Znajdziesz tu wnioski z dwóch opublikowanych badań, powtarzające się problemy oraz listę kontrolną do sprawdzania wersji roboczej. Przykład z wymyślonymi liczbami pokazuje, jak przegląd zmienia partię wygenerowanych przypadków testowych.
Najważniejsze wnioski
- AI może przygotować przypadki testowe na podstawie historyjek użytkownika w kilka sekund lub minut. Eksperyment Thoughtworks wykazał wysokie pokrycie określonych kryteriów akceptacji, jednak jakość zależała od tego, jak jasna była historyjka.
- Ten sam eksperyment zmierzył dwuznaczność w około 27 procentach wygenerowanych przypadków oraz około 6 procent niepoprawnych przypadków, dlatego przegląd jest konieczny.
- Badania opisują cztery powtarzające się problemy: nieistotne lub wymyślone przypadki, przypadki zduplikowane, brakujące przypadki brzegowe oraz dane wejściowe, które nie są w pełni określone.
- Sprawdzaj każdą wersję roboczą względem kryteriów akceptacji, usuwaj duplikaty, dodawaj przypadki brzegowe i ścieżki negatywne oraz przepisuj każdy niejasny krok.
- Traktuj model jako asystenta, który przygotowuje wersje robocze, a odpowiedzialność za to, co trafia do zestawu testów regresji, pozostaw człowiekowi.
Czy AI może generować przypadki testowe na podstawie historyjek użytkownika? Co pokazały badania
Artykuł Thoughtworks AI generated test cases from user stories: an experimental research study opisuje niewielki eksperyment. Trzej inżynierowie QA z trzyletnim do pięcioletniego doświadczeniem napisali ręcznie przypadki testowe dla dziewięciu historyjek użytkownika. Następnie narzędzia generative AI, głównie GitHub Copilot, a dla porównania ChatGPT, wygenerowały przypadki testowe dla tych samych historyjek na podstawie udoskonalonych promptów.
Średnio wygenerowane przypadki pokryły 98,67 procent kryteriów akceptacji i były spójne pod względem struktury. Artykuł podaje około 4 procent duplikatów, około 6 procent niepoprawnych przypadków testowych oraz wskaźnik dwuznaczności na poziomie około 27 procent. Autorzy opisują, że generowanie zajmowało sekundy lub minuty zamiast godzin.
Słabe strony były równie wyraźne. Jakość zależała w dużym stopniu od jakości i precyzji danych wejściowych. Narzędzia miały trudności z złożoną logiką biznesową, znajdowały niewiele przypadków brzegowych bez wyraźnych wskazówek i w niewielkim stopniu obejmowały testy niefunkcjonalne, o ile nie zostały o nie poproszone. Autorzy określają swoją hipotezę jako częściowo potwierdzoną, podkreślają, że nadzór człowieka pozostaje niezbędny, i zaznaczają, że próba dziewięciu historyjek użytkownika jest mała.
Drugi artykuł, studium arXiv zatytułowane Automatic High-Level Test Case Generation using Large Language Models, dotyczy przypadków użycia, a nie historyjek użytkownika, więc traktuj go jako powiązany wynik. Autorzy zbudowali zbiór 1067 przypadków użycia i 3606 przypadków testowych pochodzących z 168 projektów. W ocenie przeprowadzonej przez ludzi GPT-4o uzyskał 3,91 pkt za kompletność i 3,98 pkt za trafność, wobec 4,04 i 4,30 pkt dla przypadków napisanych przez ludzi. Autorzy uznali wyniki za zadowalające, ale zaznaczają, że pełna ocena wygenerowanych przypadków testowych przez ludzi jest konieczna.
Co liczby mówią, a czego nie mówią
Ostrożnie z procentami. Oba badania podają swoje ograniczenia. Eksperyment Thoughtworks objął dziewięć historyjek użytkownika, konkretne narzędzia i wersje oraz częściowo subiektywną ocenę, i nie mierzył produktywności w dłuższej perspektywie. Raport wskazuje też, że ChatGPT radził sobie lepiej niż GitHub Copilot tam, gdzie potrzebna była szczegółowa interpretacja promptu, więc wyniki zależą od narzędzia i od promptu.
W artykule arXiv 26 ewaluatorów-ludzi zgadzało się ze sobą tylko umiarkowanie, z współczynnikiem Kappa Cohena wynoszącym 0,42, a uczestnicy stanowili próbę wygody. Autorzy twierdzą także, że automatyczny wynik podobieństwa nie potrafi wiarygodnie wykryć brakujących przypadków brzegowych ani negatywnych. Dlatego wzywają do oceny przez ludzi.
Wysoki wskaźnik pokrycia też wymaga drugiego spojrzenia. Mierzy on kryteria, które zostały zapisane. Nie pokaże reguł, których nikt nie wpisał do historyjki, a te ukryte reguły są często miejscem, w którym kryją się defekty.
Cztery powracające problemy
Artykuł arXiv wymienia cztery powtarzające się problemy, a wyniki Thoughtworks wskazują w tym samym kierunku:
- Nieistotne przypadki. Autorzy wiążą je z halucynacjami AI: model tworzy informacje brzmiące wiarygodnie, ale niepoprawne. Jednym z przykładów był test funkcji, której aplikacja nie obsługiwała.
- Powtarzające się przypadki. Niektóre przypadki powtarzają inny z drobną zmianą.
- Brakujące przypadki brzegowe. Modele pomijały przypadki, które uwzględnili testerzy-ludzie, na przykład odrzucenie nieobsługiwanego typu pliku.
- Słaba specyfikacja danych wejściowych. Niektóre wygenerowane przypadki pomijały pola wejściowe, których potrzebuje test.
Żaden z tych problemów nie czyni wersji roboczej bezużyteczną. Mówią one, na co zwracać uwagę.
Co sprawdzić najpierw: lista kontrolna przeglądu
Thoughtworks zaleca przejrzenie wyników przed użyciem produkcyjnym przez sprawdzenie ich względem kryteriów akceptacji, oznaczenie niejasnej logiki i weryfikację pokrycia przypadków brzegowych. Przełóż to na listę kontrolną dla każdej partii:
- Pokrycie. Czy każde kryterium akceptacji ma co najmniej jeden przypadek testowy? Wypisz kryteria i odhacz je.
- Wymyślone testy. Czy każdy przypadek odpowiada czemuś z historyjki? Usuń przypadki dotyczące funkcji, które nie istnieją.
- Duplikaty. Scal przypadki sprawdzające to samo zachowanie na tych samych danych.
- Konkretne kroki. Czy każdy krok wskazuje element i dane? Przepisz niejasne sformułowania, takie jak „wpisz poprawne dane”.
- Oczekiwane wyniki. Czy każdy oczekiwany wynik można zobaczyć na ekranie lub w rekordzie?
- Przypadki brzegowe i ścieżki negatywne. Dodaj puste dane wejściowe, błędny format, limity i błędy uprawnień.
- Wymagania pozafunkcjonalne. Dodaj sprawdzenia wydajności, dostępności i bezpieczeństwa, które wynikają z historyjki, ponieważ model może je pominąć.
Przy dużej partii najpierw przejrzyj próbkę. Przeczytaj w całości pierwszych dziesięć przypadków. Jeśli wiele z nich nie przechodzi listy kontrolnej, popraw historyjkę lub prompt, zanim przeczytasz dalej, ponieważ ten sam błąd powtórzy się w pozostałych. To zasada robocza, a nie wynik badań.
Generowanie przypadków testowych przez AI wpisuje się w testowanie oprogramowania jako etap szkicowania, poprzedzający automatyzację testów. Zespół QA może użyć AI do stworzenia przypadków testowych dla każdego scenariusza testowego w historyjce, sprawdzić pokrycie testów względem kryteriów akceptacji, a następnie zdecydować, które przypadki przekształcić w testy zautomatyzowane. Narzędzie AI wykonuje żmudną pracę pisania, a zespół QA zachowuje projektowanie testów. Stosując to podejście, możesz generować testy szybciej, bez obniżania jakości zestawu testów.
Ta weryfikacja to praca human-in-the-loop. Tester nie przepisuje szkicu od nowa. Tester go ocenia, a ta ocena to część, której model nie jest w stanie zapewnić.
Ułatw AI pracę na wejściu
Thoughtworks informuje, że prompt ewoluował od prostej prośby do takiego, który nadawał modelowi rolę i prosił o użycie konstrukcji Given, When, Then tam, gdzie to ma sens. Podaje też, że pokrycie złożonych scenariuszy wymagało znacznego nakładu pracy nad promptem. Pomagają trzy nawyki:
- Pisz jawne kryteria akceptacji. Jeśli historyjka jest niejasna, przypadki testowe też będą niejasne. Najpierw popraw historyjkę.
- Dodawaj kontekst. Podaj rolę użytkownika, obszar produktu i wszelkie zasady, których model nie może się domyślić.
- Poproś o określoną strukturę. Używaj AI z jasnym formatem: poproś o tytuł, warunki wstępne, kroki, dane i oczekiwany wynik dla każdego przypadku oraz o listę przyjętych przez AI założeń.
Zadbaj, aby prompt nie zawierał sekretów ani danych klientów. Używaj wymyślonych wartości przykładowych.
Przykład: przegląd jednej partii
Liczby są przykładowe.
Zespół przekazuje dziesięć historyjek użytkownika asystentowi AI. Po kilku minutach otrzymuje 60 przypadków testowych. Lider QA sprawdza je wspólnie z właścicielem produktu.
- 6 przypadków to duplikaty, więc zespół je usuwa.
- 5 przypadków testuje zachowania, których produkt nie posiada, więc zespół usuwa również te. Zostaje 49.
- 7 spośród pozostałych 49 przypadków ma niejasne kroki lub wyniki, więc zespół je przepisuje.
- Brakuje 9 przypadków brzegowych i ścieżek negatywnych, więc zespół dodaje je ręcznie.
Ostateczny zestaw liczy 58 przypadków testowych. Przegląd zajął około trzech godzin, podczas gdy napisanie wszystkich 58 od zera mogło zająć cały dzień. Zespół zachowuje notatki z przeglądu, zapisuje, jakie rodzaje przypadków odrzucono, i wykorzystuje je do ulepszania promptu przed kolejnym sprintem. Zysk jest realny, ale wynika z przeglądu, a nie wyłącznie z modelu.
Częste błędy
- Akceptowanie partii bez przeczytania. Duplikaty i wymyślone przypadki trafiają do zestawu i podważają zaufanie do niego.
- Ocenianie sukcesu liczbą przypadków. Więcej przypadków nie oznacza lepszego pokrycia.
- Podawanie modelowi niejasnych historyjek. Słabe dane wejściowe dają słabe wyniki.
- Pomijanie przypadków brzegowych i kontroli pozafunkcjonalnych. Badania pokazują, że modele mają tendencję do ich pomijania.
- Umieszczanie prywatnych danych w promptach. Używaj wymyślonych wartości i stosuj się do polityki danych obowiązującej w organizacji.
- Pomijanie powiązania z kryteriami akceptacji. Bez niego nie da się pokazać, co zostało pokryte.
Jak oprogramowanie może pomóc
Arkusz kalkulacyjny lub narzędzie do zarządzania testami mogą równolegle przechowywać kryteria, wygenerowane przypadki i status przeglądu. Oznaczaj każdy przypadek jako zaakceptowany, przepisany lub odrzucony i prowadź liczniki, aby po kilku sprintach znać własny odsetek odrzuceń. Narzędzie do przeglądu kodu lub wspólny dokument ułatwiają testerom i właścicielom produktu wspólną weryfikację. Jeśli używasz asystenta AI, wybierz taki, który pozwala kontrolować prompt i widzieć pełne dane wyjściowe. Dla przypadków testowych na poziomie przeglądarki można następnie wykorzystać narzędzie do testowania end-to-end, które uruchomi zatwierdzone kroki. Przed wdrożeniem w całej organizacji przetestuj to podejście w jednym zespole.
Następny krok
Weź jedną gotową historyjkę użytkownika, poproś narzędzie AI o wygenerowanie przypadków testowych i sprawdź wersję roboczą według powyższej listy kontrolnej. Policz, co usunąłeś, przepisałeś i dodałeś, i wykorzystaj te liczby, aby zdecydować, na ile w Twoim zespole można pozwolić AI generować przypadki testowe na podstawie historyjek użytkownika.