Jak napisać przypadek testowy prostym językiem angielskim, który może wykonać agent AI
By Mirko Peters · · Updated
Pisz przypadki testowe prostym językiem, który agent AI może wykonać: jedno zachowanie na test, jedna czynność w kroku, nazwane elementy i jasny, możliwy do sprawdzenia oczekiwany wynik.
Automatically translated with AI from the original post. Read the English original
Aby pisać przypadki testowe prostym językiem, które agent AI może wykonać, ogranicz każdy test do jednego zachowania, każdy krok do jednej czynności, a każdą kontrolę do jednego wyniku widocznego na ekranie. Ten przewodnik jest przeznaczony dla liderów QA i testerów, którzy chcą przejść od skryptów do pisemnych instrukcji i nadal uzyskiwać wiarygodne wyniki. Dowiesz się o pięciu elementach przypadku testowego, zasadach, które sprawiają, że krok może zostać wykonany, metodzie zamiany kryteriów akceptacji na testy oraz o gotowym przykładzie, który możesz skopiować.
Najważniejsze wnioski
- Przypadek testowy prostym językiem ma pięć elementów: tytuł, warunki wstępne, kroki, oczekiwany wynik oraz dane testowe, i agent AI potrzebuje wszystkich pięciu opisanych wprost.
- Opisuj jedno zachowanie w teście i jedną czynność w kroku, ponieważ twórcy narzędzi podają, że instrukcje jednoetapowe są najbardziej precyzyjne.
- Nazywaj każdy element tak, jak widzi go użytkownik, na przykład przycisk Zaloguj się, zamiast pisać „przycisk” lub „pole”.
- Ustal dla każdego testu oczekiwany wynik, który można sprawdzić na ekranie, na przykład tytuł lub kwotę, a nigdy nie pisz „upewnij się, że działa”.
- Przeczytaj, co wygenerował agent, zanim uwierzysz w zaliczenie testu, i przepisz każdy krok, który zinterpretował inaczej, niż zamierzałeś.
Pięć elementów przypadku testowego napisanego prostym językiem
Dobry przypadek testowy czyta się jak krótką historię, którą może śledzić każdy członek zespołu. W testowaniu oprogramowania pisanie skutecznych przypadków testowych jest podstawową umiejętnością QA, a testerzy manualni od zawsze pisali je prostym językiem. Nowością jest to, że agent AI może teraz wykonać kroki testu. Ma to największe znaczenie przy testach end-to-end, gdzie test prowadzi użytkownika przez cały przepływ pracy w przeglądarce. Dla agenta AI każdy element musi być jawny, ponieważ agent nie może zapytać Cię, co miałeś na myśli.
- Tytuł. Jedna linijka opisująca zachowanie, na przykład „Klient może zresetować zapomniane hasło”. Tytuł to pierwsza rzecz, jaką czytelnik widzi w raporcie.
- Warunki wstępne. Stan, w jakim produkt musi się znajdować przed rozpoczęciem testu, na przykład „Konto klienta istnieje i klient jest wylogowany”.
- Kroki. Co robi użytkownik, jedna czynność w wierszu.
- Oczekiwany wynik. Co użytkownik powinien zobaczyć po wykonaniu kroków, sformułowane w kategoriach, które można sprawdzić na ekranie.
- Dane testowe. Dokładne wartości użyte w teście, na przykład adres e-mail lub numer zamówienia.
Wspólny szablon sprawia, że przypadki testowe każdego testera mają ten sam kształt, a zestaw testów oparty na jednym szablonie znacznie łatwiej się przegląda. Przypadek testowy potrzebuje też sposobu weryfikacji wyniku, dlatego oczekiwany wynik ma takie znaczenie.
To ten sam schemat, którego używa programowanie sterowane zachowaniem (BDD). W języku Gherkin, opisanym na stronie Automation Panda, Given ustawia stan początkowy, When wykonuje testowane działanie, a Then określa oczekiwany wynik. Nie musisz używać tych słów kluczowych. Te trzy role nadal są użyteczne.
Zasady, które sprawiają, że krok może zostać wykonany przez agenta AI
Twórcy narzędzi publikują wskazówki dotyczące pisania instrukcji, które agent AI może wykonać. Dokumentacja BrowserStack dla ich agenta testów w języku naturalnym zawiera zasady, które pasują do większości narzędzi:
- Zacznij od czasownika czynności. „Kliknij przycisk Submit” jest jasne. „Przycisk submit” nie jest instrukcją.
- Jedna intencja w jednym poleceniu. Podziel zadania wieloetapowe na osobne kroki.
- Nazwij konkretny element. Pisz „przycisk Log In”, a nie „przycisk”.
- Gdy element jest poza ekranem, najpierw przewiń. Dodaj krok przed właściwą czynnością.
Ta sama strona podaje, że niezawodność spada wraz ze wzrostem złożoności poleceń, a instrukcje jednoetapowe są najdokładniejsze. Dodam trzy zasady wynikające z doświadczenia:
- Używaj słów widocznych na ekranie. Jeśli przycisk brzmi „Sign in”, nie pisz „Log in”.
- Podawaj wartości w kroku. Pisz „Wpisz ana@example.com w pole Email”, a nie „wpisz prawidłowy adres e-mail”.
- Unikaj zaimków i ogólnikowych słów. „To”, „tam”, „poprawnie” i „prawidłowo” ukrywają decyzję, którą agent musi zgadywać.
Jak krok po kroku pisać przypadki testowe zwykłym językiem angielskim
Poniższa metoda pozwala zamienić wymaganie w przypadek testowy.
- Zacznij od jednego kryterium akceptacji. Weź jedno zdanie z historyjki użytkownika, na przykład „Klient, który zapomniał hasła, może ustawić nowe za pomocą e-maila”.
- Wybierz jedno zachowanie. Każdy przypadek testowy sprawdza jedno zachowanie. Przewodnik Automation Panda o pisaniu dobrych scenariuszy Gherkin ujmuje to jako „Jeden scenariusz, jedno zachowanie” i wskazuje, że scenariusz z kilkoma parami When-Then należy podzielić.
- Opisz stan początkowy. Przedstaw go jako stan, a nie jako czynności konfiguracyjne. „Konto klienta istnieje” jest lepsze niż dziesięć kroków, które je tworzą.
- Opisz działania użytkownika. Każda czynność to jedna krótka linia z czasownikiem i nazwanym elementem.
- Opisz oczekiwany wynik. Napisz, co ma się pojawić: nagłówek, komunikat, wartość. Użyj dokładnego tekstu.
- Dodaj dane. Umieść wartości w krokach lub w małej tabeli pod testem.
- Przeczytaj na głos. Jeśli nowy współpracownik nie mógłby wykonać tego testu ręcznie, agent też będzie miał z nim problem.
Ten sam przewodnik sugeruje utrzymywanie krótkich scenariuszy, liczących mniej niż dziesięć kroków. Długi przypadek testowy to często kilka przypadków połączonych w jeden. Warianty jednego zachowania, na przykład trzy nieprawidłowe hasła, należy umieścić w tabeli danych, a nie w trzech kopiach tych samych kroków.
Przykład: test resetowania hasła przed i po zmianie
Szczegóły są zmyślone.
Przed (zbyt ogólnie). „Sprawdź, czy resetowanie hasła działa”. Agent nie ma stanu początkowego, działań ani wyniku do sprawdzenia. Test może przejść z niewłaściwego powodu.
Po (gotowe do uruchomienia).
- Tytuł: Klient może zażądać linku do resetowania hasła.
- Warunek wstępny: Istnieje konto klienta dla ana@example.com, a klient jest wylogowany.
- Krok 1: Otwórz stronę „Sign in”.
- Krok 2: Kliknij link „Forgot password”.
- Krok 3: Wpisz ana@example.com w pole Email.
- Krok 4: Kliknij przycisk „Send reset link”.
- Oczekiwany wynik: Strona wyświetla komunikat „Check your email”.
Wersja „po” ma jedno zachowanie, pięć krótkich czynności i jeden widoczny wynik. Jeśli Twój produkt wymaga także, aby link z e-maila działał, napisz drugi przypadek testowy dla tego zachowania. Nie rozbudowuj pierwszego.
Teraz uruchom test i przeczytaj dziennik. Załóżmy, że agent kliknął „Forgot password” poprawnie, ale wpisał adres w pole wyszukiwania. Dziennik pokazuje błąd, więc przepisujesz krok 3 jako „Wpisz ana@example.com w pole Email na formularzu resetowania”. Zespół Cypress zaleca ten sam nawyk dla własnego narzędzia do testów pisanych zwykłym językiem: sprawdzaj każdy wygenerowany krok i przejdź na stały kod, gdy potrzebujesz stabilnego testu.
Warianty: użyj tabeli danych, a nie kopii
Wiele przypadków testowych sprawdza to samo zachowanie z różnymi wartościami. Formularz rejestracji powinien odrzucić adres e-mail bez znaku @, adres bez domeny oraz adres ze spacjami. Nie pisz trzech przypadków testowych z identycznymi krokami.
Przewodnik Automation Panda zauważa, że Gherkin nie ma kroku „Or”. Przy wariantach jednego zachowania zaleca Scenario Outline z tabelą Examples i radzi uwzględniać tylko te warianty, których naprawdę potrzebujesz, ponieważ każdy dodatkowy wiersz wydłuża czas wykonania. Tę samą ideę możesz zastosować w zwykłym języku angielskim. Zapisz kroki raz, z symbolem zastępczym, na przykład „Type {email} into the Email field”, a poniżej dodaj niewielką tabelę.
Przykładowa tabela (zmyślona): {email} to „ana.example.com”, a oczekiwany komunikat to „Enter a valid email address”; {email} to „ana@”, a komunikat jest ten sam; {email} jest puste, a komunikat to „Email is required”. Trzy wiersze, jeden zestaw kroków, trzy jasne wyniki. Jeśli któryś wiersz się nie powiedzie, raport pokaże, która wartość złamała regułę.
Lista kontrolna przeglądu przed uruchomieniem
Używaj tej listy dla każdego nowego przypadku testowego:
- Tytuł opisuje jedno zachowanie.
- Stan początkowy to stan, a nie lista kliknięć konfiguracyjnych.
- Każdy krok zaczyna się od czasownika i nazywa element tak, jak pokazuje ekran.
- Wszystkie wartości są zapisane wprost.
- Oczekiwany wynik można zaobserwować i ma dokładny tekst lub liczbę.
- Jest mniej niż dziesięć kroków.
- Przeczytała go inna osoba.
Częste błędy
- Łączenie kilku zachowań w jednym przypadku testowym. Gdy test się nie powiedzie, nie wiadomo, która część się zepsuła.
- Opisywanie sposobu zamiast celu. Dziesięć kroków naciśnięć klawiszy ukrywa intencję. Opisz działanie na poziomie, na jakim robi to użytkownik.
- Pomijanie oczekiwanego wyniku. Przypadek testowy bez sprawdzenia może zakończyć się sukcesem, nic nie dowodząc.
- Używanie nazw wewnętrznych. Identyfikatory testów i klasy CSS się zmieniają. Używaj etykiet, które widzą użytkownicy.
- Pozwalanie generatywnej AI pisać testy i akceptowanie ich bez czytania. Model może wymyślić kroki, których Twój produkt nie ma.
- Pozostawianie danych przypadkowi. Jeśli wartość nie jest podana, agent sam ją wybierze, a test może nie dać się powtórzyć.
Jak oprogramowanie może pomóc
Na start wystarczy wspólny arkusz kalkulacyjny lub strona wiki. Zapisuj każdy test w formie pięcioczęściowej i przeglądaj go jak kod. Jeśli używasz narzędzia do zarządzania testami, trzymaj jeden test w jednym rekordzie i powiąż go z wymaganiem. Narzędzie do testowania w języku naturalnym odczyta wtedy ten sam tekst. Wiele zespołów prowadzi też krótki przewodnik stylu z powyższymi zasadami, aby każdy nowy tester pisał kroki w ten sam sposób.
Następny krok
Wybierz trzy kryteria akceptacji z bieżącego sprintu i napisz dla każdego z nich jeden przypadek testowy, używając pięciu części. Uruchom je w wybranym przez siebie narzędziu, aby napisać przypadki testowe zrozumiałym dla człowieka językiem, które agent może wykonać, a następnie popraw każdy krok, który w logu został zinterpretowany błędnie.