Niestabilne testy end-to-end: dlaczego zawodzą i jak ograniczyć ich liczbę
By Mirko Peters · · Updated
Niestabilne testy end-to-end raz przechodzą, a raz nie, mimo że kod się nie zmienił. Poznaj pięć typowych przyczyn, dowiedz się, jak naprawić oczekiwania i dane testowe oraz co zrobić z testami, których nie da się naprawić.
Automatically translated with AI from the original post. Read the English original
Niestabilne testy end-to-end to zautomatyzowane testy przeglądarkowe, które w jednym uruchomieniu przechodzą, a w następnym kończą się niepowodzeniem, mimo braku zmian w kodzie, teście lub środowisku. Ten przewodnik jest przeznaczony dla leaderów QA i inżynierów automatyzacji, którzy więcej czasu poświęcają na ponowne uruchamianie czerwonych buildów niż na naprawianie błędów. Pokażemy, dlaczego te testy są niestabilne, jakie są pięć typowych przyczyn, jak naprawić najgorszą z nich (oczekiwanie) i jak zarządzać testami, których na razie nie da się naprawić. Przykład z fikcyjnymi danymi pokazuje, jak znaleźć przyczynę źródłową w trzech krokach.
Najważniejsze wnioski
- Niestabilny test raz przechodzi, a raz nie, mimo braku zmian w kodzie, teście lub środowisku, dlatego niepowodzenie nic nie mówi, dopóki nie powtórzysz uruchomienia.
- Google podało, że około 1,5 procent jego uruchomień testów dawało niestabilny wynik, a prawie 16 procent testów wykazywało pewien poziom niestabilności. Niestabilność jest więc zjawiskiem normalnym przy dużej skali i wymaga przemyślanego planu.
- Pięć typowych przyczyn to: współdzielony stan, czas, usługi zdalne, zegar systemowy i wyciek zasobów. W testach przeglądarkowych pierwszym elementem do sprawdzenia jest czas.
- Zastąp stałe opóźnienia (sleep) oczekiwaniem na widoczny warunek i nadaj każdemu testowi własne dane, aby testy nie zakłócały nawzajem swojej pracy.
- Tymczasowo wyizoluj niestabilny test w kwarantannie, ale ogranicz liczbę testów, które mogą tam przebywać, oraz czas ich pobytu, bo w przeciwnym razie zestaw testów regresji powoli traci wartość.
Dlaczego niestabilne testy tak bardzo szkodzą
Test jest niestabilny, gdy jego wynik nie jest powtarzalny. Artykuł Martina Fowlera o niedeterminizmie w testach definiuje test niedeterministyczny jako taki, który „przechodzi czasami, a czasami nie”, „bez zauważalnej zmiany w kodzie, testach lub środowisku”.
Szkoda wynika z utraty zaufania. Jeśli czerwony build może oznaczać prawdziwy błąd albo zwykły szum, ludzie uczą się ignorować czerwone buildy. Wtedy prawdziwy defekt przedostaje się na produkcję. Zespoły tracą też czas: każde niepowodzenie wymaga ponownego uruchomienia, zanim ktokolwiek oceni, czy ma znaczenie. Niestabilny zestaw testów spowalnia także potok CI, ponieważ każde nieudane uruchomienie czeka na ponowną próbę i blokuje kolejkę scalania.
Dane z dużych systemów pokazują, że to zjawisko jest normalne, a nie rzadkie. Wpis na Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, podaje, że około 1,5 procent wszystkich uruchomień testów dało niestabilny wynik, a prawie 16 procent testów wykazywało pewien poziom niestabilności. Podaje także, że około 84 procent zaobserwowanych przejść z wyniku pozytywnego na negatywny dotyczyło testu niestabilnego, oraz że przeciętny projekt zawiera około 1 000 pojedynczych testów. Twoje liczby będą inne, ale wniosek pozostaje ten sam: przy dużej skali niestabilność jest pewnikiem, dlatego potrzebujesz procesu.
Testy end-to-end działające w przeglądarce są szczególnie narażone. Każdy test zależy od przeglądarki, sieci, wdrożonej aplikacji, kont testowych i często usług zewnętrznych. Więcej ruchomych elementów oznacza więcej okazji do zmienności. Dlatego testy e2e zwykle są mniej stabilne niż testy jednostkowe, które mają znacznie mniej ruchomych elementów.
Pięć typowych przyczyn niestabilnych testów end-to-end
Artykuł Fowlera wymienia pięć częstych przyczyn. Każda z nich dotyczy testów przeglądarkowych.
- Brak izolacji. Testy współdzielą stan, na przykład rekordy w bazie danych lub zalogowaną sesję, więc jeden test zmienia to, co widzi inny. Rozwiązanie: odtwarzać stan początkowy przed każdym testem albo po nim sprzątać.
- Asynchroniczność. Strona potrzebuje czasu na odpowiedź, a test działa za wcześnie albo za późno. Fowler radzi, aby nigdy nie używać zwykłych opóźnień (sleep) do oczekiwania na asynchroniczne odpowiedzi, lecz zamiast tego wywołania zwrotne (callback) lub odpytywanie (polling).
- Zdalne usługi. Działająca na żywo piaskownica płatności, usługa poczty lub dostawca tożsamości bywa wolna albo niedostępna. Rozwiązanie: zastąpić system zdalny atrapą testową (test double) tam, gdzie test nie potrzebuje prawdziwego systemu.
- Czas. Testy odczytujące zegar systemowy zachowują się inaczej o północy, na koniec miesiąca lub w różnych strefach czasowych. Rozwiązanie: kontrolować zegar w teście.
- Wycieki zasobów. Test pozostawia otwarte połączenie lub sesję, a późniejszy, niezwiązany z nim test kończy się błędem, gdy zasób się wyczerpie.
Wpis Google dodaje współbieżność, poleganie na niedeterministycznym lub niezdefiniowanym zachowaniu, niestabilny kod stron trzecich oraz problemy z infrastrukturą. Traktuj obie listy jako listę kontrolną podczas badania przyczyny źródłowej niepowodzenia testu.
Najpierw napraw oczekiwanie
W testach przeglądarkowych podejrzanym numer jeden jest zwykle czas. Test, który klika przycisk, zanim ten będzie gotowy, albo sprawdza komunikat, zanim ten się pojawi, przejdzie na szybkim komputerze i zawiedzie na zajętym.
Stała pauza, na przykład „czekaj 5 sekund”, to najgorsze rozwiązanie. Marnuje czas, gdy strona reaguje szybko, a i tak zawodzi, gdy strona działa wolno. Fowler opisuje odpytywanie jako regularne sprawdzanie, a nie jednorazowe, i twierdzi, że limity czasu nigdy nie powinny być wartościami wpisanymi na sztywno w teście.
Nowoczesne narzędzia mają to wbudowane. Dokumentacja Playwright dotycząca actionability wymienia sprawdzenia wykonywane przed akcją: element musi być widoczny, stabilny (jego położenie nie zmienia się między klatkami animacji), aktywny oraz w stanie przyjmować zdarzenia w punkcie kliknięcia, a w przypadku wpisywania tekstu – edytowalny. Playwright czeka, aż sprawdzenia zostaną zaliczone, albo kończy się błędem przekroczenia limitu czasu. Jego strona z najlepszymi praktykami dodaje, że asercje typu web-first ponawiają sprawdzenie, aż warunek zostanie spełniony.
Praktyczne zasady:
- Czekaj na warunek, który użytkownik mógłby zobaczyć, na przykład na nagłówek lub wiersz, a nie na określoną liczbę sekund.
- Preferuj selektor oparty na roli, tekście lub identyfikatorze testowym zamiast długich ścieżek CSS lub XPath, które przestają działać po zmianie układu strony.
- Ustaw jeden, odpowiednio duży limit czasu dla całego kroku zamiast wielu krótkich opóźnień.
- Sprawdzaj wynik asercją, która ponawia próbę.
Izoluj dane testowe i środowisko testowe
Drugą dużą dźwignią są dane. Daj każdemu testowi własne konto, własne zamówienie lub własny folder. Nie pozwalaj dwóm testom edytować tego samego rekordu. Jeśli testy mają działać równolegle, współdzielone dane gwarantują losowe błędy.
Przyjrzyj się też środowisku. Współdzielony system stagingowy, na który inne zespoły wdrażają zmiany w trakcie Twojego przebiegu, wywoła błędy, których żadna poprawka testu nie usunie. Uzgodnij okna wdrożeniowe albo uruchamiaj zestaw testów na dedykowanym środowisku.
Jeśli krok zależy od usługi zewnętrznej, zapytaj, czy test dotyczy tej usługi. Jeśli nie, zastąp ją namiastką (stub). Zachowaj niewielką liczbę testów korzystających z prawdziwej usługi i traktuj je jako osobną grupę.
Na koniec zadbaj, aby każdy błąd dało się łatwo zdiagnozować. Zachowuj w potoku CI dziennik, zrzut ekranu i ślad (trace) każdego nieudanego przebiegu testu. Dokumentacja Playwright dotycząca najlepszych praktyk sugeruje zbieranie śladu przy pierwszej ponownej próbie nieudanego testu, dzięki czemu możesz odtworzyć przebieg zdarzeń zamiast zgadywać. Z dziennikiem i śladem niestabilny test staje się wyraźnym problemem procesu, który możesz naprawić, na przykład przekroczeniem limitu czasu w jednym wolnym kroku interfejsu.
Co zrobić z testami, których nie da się jeszcze naprawić
Niektóre niestabilne testy wymagają więcej czasu, niż masz do dyspozycji, a niektóre zależą od kodu, którego nie posiadasz. Wtedy zarządzaj nimi otwarcie i dbaj o wiarygodność stabilnych wyników.
- Kwarantanna. Fowler opisuje przenoszenie testów niedeterministycznych do osobnego zestawu, dzięki czemu zdrowe testy nadal dają wiarygodną informację zwrotną. Dodaje, że testy w kwarantannie trzeba mimo to szybko naprawić, a liczbę takich testów oraz czas, przez jaki mogą w niej pozostawać, należy ograniczać.
- Ponawianie z zapisem. Google opisuje ponowne uruchamianie nieudanych testów i oznaczanie testu jako niestabilnego, tak aby raportował niepowodzenie dopiero po trzech kolejnych błędach. Wpis określa to jako rozwiązanie dalekie od doskonałości i ostrzega, że może ono łatwo maskować prawdziwy wyścig (race condition) lub inny błąd w testowanym kodzie.
- Śledź niestabilność w czasie. Google opisuje też narzędzia, które wykrywają zmiany poziomu niestabilności testu. Nawet prosta lista testów z ich współczynnikiem zaliczeń pokazuje, gdzie szukać w pierwszej kolejności.
Niezależnie od wybranego podejścia zadbaj o to, aby lista niestabilnych testów była widoczna, każdy test miał właściciela, a dla każdego ustalono termin.
Przykład: znalezienie przyczyny w trzech krokach
Liczby są zmyślone.
Zestaw liczy 200 testów przeglądarkowych. W ciągu dwóch tygodni 14 z nich zakończyło się niepowodzeniem co najmniej raz, mimo braku zmian w kodzie. To 7 procent testów.
- Pogrupuj według przyczyny. Zespół analizuje logi błędów i sortuje te 14 testów. Osiem kończy się przekroczeniem limitu czasu oczekiwania na przycisk, cztery nie działają, ponieważ dwa testy edytują ten sam rekord klienta, a dwa zawodzą wyłącznie po wdrożeniu na środowisko testowe (staging).
- Napraw największą grupę. Zespół zastępuje stałe opóźnienia (sleep) w osmiu testach zależnych od czasu oczekiwaniem na widoczne warunki. Siedem przestaje zawodzić.
- Napraw kolejną grupę. Każdy test, który edytował wspólnego klienta, tworzy teraz własnego klienta. Cztery testy przestają zawodzić.
Po trzecim kroku pozostają trzy niestabilne testy. Zespół przenosi dwa testy związane z wdrożeniem do kwarantanny i przydziela każdemu właściciela oraz dwutygodniowy termin. Udział niestabilnych testów w zestawie spada z 7 do 1,5 procent, a zespół sprawdza go co tydzień.
Częste błędy
- Dodawanie opóźnień. Na jakiś czas ukrywają problem i spowalniają każde uruchomienie.
- Ponawianie wszystkiego i przechodzenie dalej. Ponowne uruchamianie bez zapisu ukrywa prawdziwe defekty, a przyczyna źródłowa pozostaje na miejscu.
- Współdzielenie danych testowych między testami. Równoległe uruchomienia zamieniają to w losowe błędy.
- Testowanie usług zewnętrznych w każdym teście. Zastępuj je atrapami tam, gdzie sama usługa nie jest przedmiotem testu.
- Pozwalanie, by kwarantanna rosła bez ograniczeń. Kwarantanna bez właściciela staje się cmentarzyskiem.
- Obwinianie najpierw narzędzia. Sprawdź czas, dane i środowisko, zanim zmienisz framework.
Jak oprogramowanie może pomóc
Zacznij od tego, co oferuje Twój framework: automatyczne oczekiwanie, ślady wykonania (traces) i ponawianie w CI. Dodaj pulpit z błędami według testu i według przyczyny, aby wzorce były widoczne. Na początek wystarczy arkusz kalkulacyjny. Narzędzia, które wykorzystują agenta AI do uruchamiania testów na podstawie kroków opisanych zwykłym językiem, mogą ograniczyć część problemów z czasem, ponieważ agent sam decyduje, jak długo czekać. Niosą jednak własne ryzyko, na przykład błędnej interpretacji instrukcji. Przed decyzją przetestuj je na kilku testach i porównaj współczynnik niestabilności.
Następny krok
Wypisz dziesięć najbardziej zawodnych testów w tym tygodniu, przypisz każdemu prawdopodobną przyczynę spośród pięciu wymienionych powyżej i najpierw napraw problemy z oczekiwaniem. Następnie śledź co tydzień wskaźnik niestabilnych testów end-to-end i chroń wartość swojego zestawu testowania regresji, ustalając limit dla kwarantanny.