Czym jest automatyzacja testów w języku naturalnym? Proste wyjaśnienie
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Automatyzacja testów w języku naturalnym pozwala testerom pisać kroki prostym językiem angielskim, a sztuczna inteligencja uruchamia je w przeglądarce. Zobacz, jak to działa, jakie ma ograniczenia i jak ocenić, czy jest dla Ciebie odpowiednia.
Automatically translated with AI from the original post. Read the English original
Automatyzacja testów w języku naturalnym oznacza, że test piszesz w zwykłym języku angielskim, a model sztucznej inteligencji wykonuje go w prawdziwej przeglądarce. Zamiast skryptu pełnego selektorów piszesz „Kliknij przycisk Log In” albo „Sprawdź, czy suma zamówienia wynosi 49.00”. To wyjaśnienie jest przeznaczone dla liderów QA i testerów, którzy słyszą ten termin i chcą wiedzieć, czym jest, jak działa i gdzie kończą się jego możliwości. Krok po kroku zobaczysz tę ideę, ograniczenia podawane przez twórców narzędzi oraz prosty sposób oceny, czy pasuje ona do Twojego zespołu.
Najważniejsze wnioski
- Automatyzacja testów w języku naturalnym oznacza, że opisujesz krok testu zwykłym językiem angielskim, a model sztucznej inteligencji zamienia go na czynności w przeglądarce podczas uruchamiania testu.
- Zastępuje ręcznie pisane selektory i oczekiwania instrukcjami typu „Kliknij przycisk Log In”, dzięki czemu testerzy, którzy nie programują, mogą pisać i czytać testy.
- Dostawcy dokumentują ograniczenia: szerokie lub złożone instrukcje zawodzą częściej, a instrukcje jednokrokowe są najbardziej niezawodne.
- Narzędzia AI przeznaczone do ogólnych zadań w sieci mogą zmyślać wyniki, nie sprawdzając rzeczywistej aplikacji, dlatego każdy wygenerowany krok wymaga przeglądu i jasnej reguły oceny wyniku.
- Traktuj to jako sposób na szybsze pisanie testów end-to-end, a nie jako zamiennik projektowania testów, danych testowych czy poprawnie przygotowanych środowisk.
Co oznacza automatyzacja testów w języku naturalnym
Klasyczny zautomatyzowany test interfejsu użytkownika to kod. Programista lub inżynier automatyzacji pisze kroki i wskazuje narzędziu, jak znaleźć każdy element na stronie, na przykład po identyfikatorze lub selektorze CSS. Test wykonuje te same kroki za każdym razem. Gdy strona się zmieni, selektor może przestać pasować i test kończy się niepowodzeniem.
W tym podejściu tester zapisuje zamiar. Zespół Cypress opisuje polecenie cy.prompt jako sposób opisywania testów w zwykłym języku, zapisywany jako ciągi tekstowe w pliku testu. Artykuł na blogu Cypress mówi, że wygenerowane kroki można sprawdzić i debugować, a następnie przekształcić w statyczny kod testu, który można zapisać.
Podstawą tej technologii jest generatywna sztuczna inteligencja: model odczytuje tekst i stronę oraz decyduje, co zrobić. W większości narzędzi jest to duży model językowy, czyli model AI wytrenowany na dużych zbiorach tekstu. Niektórzy dostawcy nazywają oprogramowanie realizujące te zadania agentem AI, ponieważ wykonuje czynności, a nie tylko odpowiada na pytania. Cel jest we wszystkich przypadkach taki sam. Osoby znające produkt mogą pisać i czytać testy bez nauki języka programowania, dlatego to podejście bywa określane jako testowanie bez kodu.
Dla zespołów testujących oprogramowanie zmienia to tworzenie testów, a nie sam proces testowania. Projektowanie testów, dane testowe i wykonanie testów pozostają takie same, a o tym, który przypadek testowy objąć, nadal decyduje człowiek.
W tradycyjnej automatyzacji testów inżynierowie piszą i utrzymują skrypt testowy dla każdego przepływu. Narzędzia AI zamiast tego wykorzystują przetwarzanie języka naturalnego, aby odczytywać każde zdanie. Niektórzy dostawcy idą dalej i nazywają swoje narzędzia agentowymi. Przewodnik jednego z dostawców, Autosana, który ma charakter promocyjny, określa różnicę: narzędzie agentowe interpretuje cel sformułowany prostym językiem, bada działającą stronę, wykonuje działania i dostosowuje je w trakcie wykonywania, a podejście bez kodowania (codeless) nie jest tym samym, co agentowe. Ten sam przewodnik ostrzega, że wiele produktów deklaruje testowanie wspierane przez AI, ponieważ dodano do edytora skryptów jedynie autouzupełnianie. Należy podchodzić do tych etykiet z ostrożnością i zachować regułę zaliczenia lub niezaliczenia testu, którą kontrolujesz samodzielnie.
Jak działa test oparty na instrukcjach pisemnych
Szczegóły różnią się w zależności od narzędzia, ale przebieg jest podobny. BrowserStack dokumentuje swoją wersję beta "NL Test Automation Agent" dla Selenium, a jej strona daje jasny obraz procesu:
- Piszesz krótką instrukcję. Każde polecenie to jedno zdanie w języku angielskim, a nie selektor ani kod. Strona zaleca zaczynanie od czasownika opisującego działanie, na przykład "Click the Submit button".
- AI interpretuje ją w czasie wykonywania. Kroki automatyzacji są generowane podczas działania testu, dzięki czemu nie trzeba ręcznie pisać selektorów ani oczekiwania.
- Narzędzie wykonuje działanie w przeglądarce. Strona wymienia typy poleceń, takie jak click, type, search, hover i scroll.
- Narzędzie raportuje wynik. Udane przebiegi zwracają logi sukcesu, a nieudane – logi błędów z podaniem przyczyny.
Porównaj to z podejściem zalecanym przez Playwright w jego najlepszych praktykach: testuj to, co użytkownik widzi i robi, i preferuj lokalizatory oparte na roli, tekście i identyfikatorze testowym zamiast selektorów XPath lub CSS, które przestają działać po zmianie strony. To podejście rozwija tę samą ideę dalej. Tester nazywa to, co użytkownik zobaczyłby, na przykład "przycisk Log In", a narzędzie go odnajduje.
Gdzie testowanie w języku naturalnym pomaga
To podejście lepiej sprawdza się w niektórych zadaniach niż w innych.
- Testy dymne i typowe ścieżki użytkownika. Logowanie, wyszukiwanie, dodanie do koszyka, finalizacja zamówienia. To najważniejsze przepływy testów end-to-end, które łatwo opisać jednym zdaniem.
- Zespoły, w których testerzy nie programują. Tester znający proces biznesowy może napisać test i go odczytać.
- Generowanie testów. Niektóre narzędzia potrafią wygenerować test na podstawie krótkiego opisu. Projekt testu i zakres pokrycia nadal weryfikuje człowiek.
Pomaga mniej tam, gdzie kontrola zależy od dokładnych liczb, złożonego przygotowania danych lub czasowania wymagającego precyzyjnej kontroli, jak w testach wydajnościowych. Test jednostkowy obliczenia nie potrzebuje przeglądarki ani modelu AI, a testy eksploracyjne nadal wymagają ciekawego człowieka.
Ograniczenia, które przyznają dostawcy
Uczciwi producenci narzędzi wskazują swoje ograniczenia. Użyj ich jako listy kontrolnej przy ocenie dowolnego produktu.
- Złożone instrukcje częściej zawodzą. Strona BrowserStack stwierdza, że złożone lub zbyt szerokie cele mogą zakończyć się błędem
UNSUPPORTED_OBJECTIVE, że niezawodność spada wraz ze wzrostem złożoności poleceń, a najdokładniejsze są instrukcje jednokrokowe. Podziel długie zadanie na krótkie kroki. - Wyniki mogą się różnić. Model AI interpretuje każdą instrukcję w czasie wykonywania, więc niejednoznaczne zdanie może prowadzić do różnych działań w różnych przebiegach. Utrzymuj każdy krok krótki i konkretny.
- Funkcja może być w wersji beta. Ta sama strona oznacza funkcję jako beta i zaznacza, że obsługiwane środowiska mogą ulec zmianie.
- Zmyślone wyniki to ryzyko. Artykuł Cypress ostrzega, że wiele narzędzi AI do przeglądarki zostało zbudowanych do ogólnych zadań w sieci, a nie do testowania. Mogą generować zmyślone dane wyjściowe bez sprawdzenia rzeczywistej aplikacji, a często brakuje im obsługi debugowania, asercji i cyklu życia testu.
Utrzymuj testy krótkie, sprawdzaj to, co wygenerowało AI, i żądaj jasnej reguły zaliczenia lub niezaliczenia dla każdego kroku.
Błędy, utrzymanie i CI
Utrzymanie testów to moment, w którym testy pisane prostym językiem mają się zwrócić, więc warto zapytać, jak dane narzędzie radzi sobie ze zmianami. Przewodnik Cypress dotyczący generowania testów przez AI pokazuje jedno z rozwiązań. Wygenerowany kod jest buforowany, a bufor jest współdzielony między maszynami i środowiskami, w tym w CI, dzięki czemu ponowne uruchomienie testu nie wywołuje AI ponownie, chyba że zmieni się prompt lub strona unieważni bufor. Gdy selektor lub jego tekst zmienia się między uruchomieniami, narzędzie generuje kod dla tego kroku od nowa i oznacza krok jako samonaprawiony w logach. Ostrzega ono, że naprawianie przy każdym uruchomieniu zwiększa liczbę wywołań AI i spowalnia wykonanie, dlatego radzi wskazywać elementy po stabilnym, widocznym tekście. Pozwala też podejrzeć wygenerowany kod, z komentarzami łączącymi każde polecenie z krokiem promptu, i zapisać go zamiast promptu.
Przewodnik Autosana proponuje dwutygodniowy proof of concept na rzeczywistych przepływach użytkownika, w tym na tych, które wcześniej się psuły, z przeglądem zrzutów ekranu i nagrań sesji, aby sprawdzić, co zrobił agent. Nie podaje zmierzonych wskaźników awaryjności, dlatego warto przeprowadzić własny pilotaż.
Czy może zastąpić inżynierów QA? Na podstawie tych przesłanek nie: ludzie nadal planują, co testować, przygotowują dane i decydują, czy wynik jest prawidłowy.
Pytania, które warto zadać przed wyborem narzędzia
Tych pytań można użyć podczas rozmowy z dostawcą lub w pilotażu. Pasują do każdego produktu.
- Co dokładnie widzi model? Czy analizuje rzeczywistą stronę, czy zgaduje na podstawie tekstu instrukcji?
- Czy mogę odczytać i wyeksportować to, co zrobił? Potrzebny jest log każdego wygenerowanego kroku i najlepiej stały skrypt, który można przechowywać w systemie kontroli wersji.
- Jak decyduje o zaliczeniu lub niezaliczeniu? Szukaj jawnych sprawdzeń, które sam napiszesz, a nie wyłącznie własnej oceny modelu.
- Gdzie działa test i kto może zobaczyć dane? Konta testowe i zrzuty ekranu mogą zawierać rzeczywiste informacje.
- Co zawiera raport z błędem? Zrzuty ekranu, logi i nazwa niezaliczonego kroku oszczędzają godziny debugowania.
- Czy pasuje do obecnego zestawu testów? Sprawdź swój framework automatyzacji, potok CI/CD i proces testów manualnych.
Przykład: jeden test logowania na trzy sposoby
Liczby są wymyślone.
Zespół porównuje trzy sposoby napisania testu logowania.
- Kod z selektorami. Inżynier pisze około 12 linii. Zajmuje to 30 minut. Gdy programista zmieni identyfikator przycisku, test kończy się niepowodzeniem i wymaga poprawki.
- Język naturalny. Tester pisze cztery linie: otwórz stronę logowania, wpisz nazwę użytkownika, wpisz hasło, kliknij „Zaloguj” i sprawdź, czy pojawia się tytuł pulpitu. Zajmuje to 5 minut. Tester czyta wygenerowane kroki, potwierdza, że są zgodne z zamierzeniem, i używa AI wyłącznie do ich wykonania.
- Język naturalny, a następnie eksport. Zespół zachowuje wersję w prostym języku angielskim do eksploracji i eksportuje stały skrypt na nocną regresję, tak jak opisuje artykuł Cypress dla własnego narzędzia.
W ciągu miesiąca dwie awarie wynikają z rzeczywistych błędów, a jedna z niejasnego kroku: polecenie „kliknij przycisk” trafiło w zły przycisk. Zespół przepisał je na „kliknij przycisk Zaloguj”. Precyzja w zdaniu ma takie samo znaczenie jak precyzja w selektorze.
Częste błędy
- Pisanie długich, niejasnych instrukcji. Używaj jednego zamiaru na krok i nazywaj element.
- Ufanie krokom generowanym przez AI bez ich czytania. Przeczytaj każdy krok przynajmniej raz i zachowaj log.
- Pomijanie oczekiwanego wyniku. Test potrzebuje jasnego sprawdzenia, na przykład tytułu lub sumy. „Upewnij się, że działa” nie jest sprawdzeniem.
- Używanie tego do wszystkiego. Sprawdzenia jednostkowe i integracyjne należą do kodu, blisko programistów.
- Wdrażanie narzędzia bez pilotażu. Najpierw uruchom dziesięć rzeczywistych testów i porównaj przyczyny awarii.
Jak oprogramowanie może pomóc
Istnieje kilka rodzajów narzędzi do testowania z użyciem AI. Niektóre dodają polecenia w prostym języku angielskim do frameworka opartego na kodzie, jak wspomniane wyżej funkcje Cypress i BrowserStack. Inne to osobne platformy dla całego zespołu QA. Frameworki open source, takie jak Playwright, nadal dobrze sprawdzają się w zespołach, które wolą kod.
Genta by Cognillo to przykład osobnej platformy. Według dostawcy testerzy opisują zwykłym językiem, co aplikacja ma robić, a Genta uruchamia test w przeglądarce na wirtualnej maszynie w chmurze i zgłasza wynik zaliczony lub niezaliczony, wraz ze zrzutami ekranu i logami. Dostawca twierdzi, że narzędzie jest przeznaczone dla liderów QA, SDET-ów i inżynierów automatyzacji. To są deklaracje dostawcy. Zanim podejmiesz decyzję, porównaj je z innymi rozwiązaniami w ramach pilotażu.
Zastrzeżenie: firma Cognillo sponsoruje M365.FM.
Następny krok
Wybierz jedną stabilną ścieżkę użytkownika, na przykład logowanie i wyszukiwanie, i zapisz ją w pięciu prostych krokach po angielsku. Uruchom ją w narzędziu do automatyzacji testów w języku naturalnym oraz w dotychczasowym frameworku testowym, a następnie porównaj nakład pracy, liczbę błędów i jakość logów.