Testy z samonaprawianiem: czym jest ten termin i gdzie przestaje działać
By Mirko Peters · · Updated
Samonaprawiająca się automatyzacja testów naprawia uszkodzone lokalizatory w czasie wykonywania testu. Dowiedz się, jak to działa, czego nie potrafi naprawić, jak może ukrywać błędy i jakie zabezpieczenia warto wdrożyć.
Automatically translated with AI from the original post. Read the English original
Samonaprawianie testów oznacza, że narzędzie testowe samodzielnie naprawia uszkodzony lokalizator, dzięki czemu test interfejsu użytkownika działa dalej po niegroźnej zmianie, na przykład zmianie nazwy identyfikatora. Ten przewodnik jest przeznaczony dla inżynierów automatyzacji testów, którzy usłyszeli ten termin podczas prezentacji handlowej i chcą rzeczowej odpowiedzi. Dowiesz się, jak działa naprawianie, co potrafi naprawić, czego nie potrafi, jak może ukryć rzeczywisty błąd i jakie zasady czynią je bezpiecznym. Przykład z wymyślonymi liczbami pokazuje zarówno korzyść, jak i ryzyko.
Najważniejsze wnioski
- Samonaprawianie oznacza, że narzędzie testowe wyszukuje element interfejsu za pomocą innych wskazówek, gdy zapisany lokalizator przestaje pasować, dzięki czemu test może działać dalej zamiast zakończyć się niepowodzeniem.
- Działa niemal wyłącznie na lokalizatorach, a nie na asercjach, przepływach testowych, regułach biznesowych czy problemach z czasem, więc obejmuje wąski wycinek utrzymania testów.
- Główne ryzyko to maskowana regresja: narzędzie dostosowuje się do zmienionego elementu, który w rzeczywistości jest defektem, a test kończy się sukcesem, mimo że doświadczenie użytkownika jest uszkodzone.
- Dokumentacja dostawców mówi, że naprawianie odbywa się w czasie wykonywania testu, a skrypt pozostaje bez zmian, dlatego naprawione lokalizatory nadal trzeba przejrzeć i zapisać z powrotem w kodzie.
- Bezpieczne korzystanie oznacza zapisywanie każdego naprawienia, regularne przeglądanie ich, niedopuszczanie, by narzędzie zmieniało asercje, oraz monitorowanie nagłych skoków odsetka zaliczonych testów.
Czym w praktyce jest samonaprawiający się test
Test interfejsu użytkownika znajduje każdy element strony za pomocą lokalizatora. Lokalizator to reguła, na przykład „element o identyfikatorze btn-pay” albo „przycisk o nazwie Pay”. W tradycyjnej automatyzacji testów osoba edytuje skrypty testów za każdym razem, gdy reguła przestaje pasować. W dużym zestawie testów jedna przebudowa interfejsu może spowodować, że setki kroków zakończą się niepowodzeniem. Za każdym razem, gdy test kończy się błędem, inżynier QA musi mu się przyjrzeć, a zespół traci dni na naprawy albo wraca do testów manualnych.
Samonaprawianie polega na tym, że narzędzie naprawia tę regułę samodzielnie, dzięki czemu samonaprawiający się test przetrwa zmianę, która złamałaby tradycyjny test. Artykuł BugBug Self Healing Test Automation: Hype & Reality definiuje to jako mechanizmy, które automatycznie dostosowują sposób, w jaki test identyfikuje elementy interfejsu, gdy oryginalny lokalizator przestaje działać.
Samonaprawianie nie oznacza, że narzędzie rozumie Twój produkt. Oznacza, że narzędzie próbuje ponownie znaleźć ten sam element za pomocą innych wskazówek, a następnie kontynuuje wykonywanie testu. Traktuj samonaprawiający się test jako naprawę jednego wąskiego rodzaju uszkodzeń: zmian interfejsu, które nie zmieniają zachowania aplikacji.
Jak działa naprawianie lokalizatorów
Szczegóły różnią się w zależności od frameworka testowego i produktu, jednak większość mechanizmów samonaprawiania opiera się na tym samym schemacie.
- Uczenie się. Podczas przebiegów testów zakończonych sukcesem narzędzie zapisuje więcej niż jedną wskazówkę dla każdego elementu. BugBug opisuje to jako odcisk palca: atrybuty takie jak identyfikator, tekst, klasy, etykiety ARIA i położenie w strukturze strony.
- Wykrywanie. Gdy zapisany lokalizator niczego nie znajduje, narzędzie nie kończy od razu niepowodzeniem.
- Wyszukiwanie. Narzędzie przeszukuje stronę w poszukiwaniu elementu, który najbardziej przypomina zapamiętany. Silniejsze, bardziej stabilne wskazówki mają większe znaczenie, a słabsze służą jako rezerwa.
- Kontynuacja i raportowanie. Narzędzie używa nowego dopasowania, kończy wykonywanie testu i zapisuje w dzienniku, co zrobiło.
Dokumentacja BrowserStack dotycząca funkcji self-healing z Playwright opisuje ten sam schemat działania. Według niej samonaprawianie uruchamia się wtedy, gdy oryginalny lokator przestaje wskazywać element, i wymaga co najmniej jednego wcześniejszego udanego uruchomienia z tym samym identyfikatorem elementu. Dokumentacja podaje również, że naprawa odbywa się w czasie wykonywania testu i pozwala zakończyć pojedyncze uruchomienie na zielono, a sam skrypt pozostaje niezmieniony. Strona zaleca przeniesienie naprawionego lokatora z powrotem do testu. Wymienia też ograniczenia: samonaprawianie dodaje dodatkową analizę podczas wykonywania testu, wsparcie dla Playwright jest opisane jako ograniczone, a funkcja nie odzyska elementu, jeśli ten naprawdę przestał istnieć.
Niektóre nowsze narzędzia korzystają z samonaprawiania opartego na AI: model, często zbudowany na bazie generatywnej AI, wybiera element zastępczy zamiast stałej reguły punktacji. Przewodnik T-Plan zwraca uwagę, że naprawa wspomagana przez AI wprowadza do testowania zachowania probabilistyczne, a niezawodna automatyzacja powinna pozostawać deterministyczna tam, gdzie to możliwe. BugBug dodaje, że naprawa nie polega na tym, że agent AI przepisuje logikę testu, ani na tym, że narzędzie rzeczywiście rozumie aplikację.
Marketing często twierdzi, że to AI wykonuje naprawę testów. W praktyce AI w testowaniu oprogramowania obejmuje szeroki zakres rozwiązań: od prostego punktowania podobieństwa po model, który ustawia kandydujące elementy w kolejności. Zapytaj dostawcę, co dokładnie decyduje AI i czy dziennik pokazuje, dlaczego wybrano dany element. Jeśli AI wybierze niewłaściwy element, defekt może przejść niezauważony, dlatego wybór AI wymaga takiej samej weryfikacji jak każda inna naprawa.
Korzyści z samonaprawiania i to, czego nie naprawi
Naprawa najbardziej pomaga przy zmianach kosmetycznych:
- Programista zmienia nazwę identyfikatora lub klasy CSS, a zachowanie pozostaje takie samo.
- Przesunięcie układu przenosi przycisk w inne miejsce.
- Aktualizacja biblioteki komponentów zmienia znaczniki, ale nie zmienia wyglądu ekranu.
W takich przypadkach korzyści są realne: mniej pracy przy utrzymaniu testów i nieszkodliwe zmiany interfejsu nie powodują już jednoczesnej awarii wielu przypadków testowych.
Możliwości samonaprawiania narzędzia wpisują się w szerszą strategię automatyzacji testów, obok testów eksploracyjnych, w ramach ciągłego testowania. Chronią pokrycie testami interfejsu użytkownika przed zmianami w UI. Testy jednostkowe i testy API nie korzystają z lokatorów ekranowych, więc nie wymagają żadnej naprawy.
Nie pomaga ona przy większości pozostałych przyczyn awarii testów. BugBug stwierdza, że naprawa dotyczy niemal wyłącznie lokatorów, a nie asercji, oczekiwanych wartości, przepływów testowych ani reguł biznesowych. Nie rozwiązuje problemów z czasem ani słabej architektury testów. Jeśli problemem są niestabilne oczekiwania lub współdzielone dane, najpierw potraktuj niestabilne testy jako osobny temat, ponieważ naprawa ich nie wyleczy. Ten sam artykuł podkreśla, że naprawa ma trudności w systemach opartych na rolach, w dynamicznych pulpitach, w wieloetapowych transakcjach i na ekranach o silnie rozgałęzionej logice. Im więcej kontekstu potrzeba do zidentyfikowania elementu, tym trudniejsza staje się naprawa.
Dobre lokatory i stabilne identyfikatory testowe zapobiegają wielu awariom jeszcze przed tym, zanim naprawa będzie potrzebna. Playwright w zaleceniach dotyczących dobrych praktyk sugeruje lokatory odzwierciedlające to, co widzi użytkownik, takie jak rola i tekst, zamiast kruchych ścieżek CSS lub XPath. Ta rada sprawdza się również w zestawach testów Selenium.
Samonaprawianie testów automatycznych a ryzyko ukrytych regresji
Najważniejsze ryzyko da się opisać prosto: narzędzie, które się dostosowuje, może dostosować się także do defektu.
Przewodnik T-Plan o samonaprawianiu testów automatycznych nazywa to ukrytą regresją: framework może automatycznie dostosować się do zmienionego elementu, który w rzeczywistości reprezentuje defekt, więc test przechodzi, mimo że doświadczenie użytkownika się pogorszyło. Dodaje, że prowadzi to do fałszywego poczucia pewności i zmniejsza zaufanie do automatyzacji. Zwraca także uwagę, że systemy samonaprawiające mogą wybrać niewłaściwy element zastępczy, że im bardziej agresywna naprawa, tym większe ryzyko błędnego dopasowania, oraz że niektóre awarie powinny pozostać widoczne.
Wyobraź sobie przycisk Zapisz w testowanej aplikacji, który po wadliwym scaleniu zostaje zastąpiony przyciskiem Usuń w tym samym miejscu. Test szukający „przycisku w stopce formularza” może zostać naprawiony tak, by wskazywał nowy przycisk, kliknąć go i pójść dalej. Zestaw testów pozostaje zielony, a błąd trafia na produkcję.
Dlatego wzrost wskaźnika zaliczonych testów nie zawsze oznacza dobrą wiadomość. Jeśli Twój wskaźnik zaliczeń skoczy po wydaniu zmian w interfejsie, a testy nie zostały zmienione, sprawdź dziennik automatycznych napraw, zanim zaczniesz świętować.
Zabezpieczenia, dzięki którym jest to bezpieczne
Poradniki T-Plan i BugBug zawierają podobne zalecenia. Dotyczą one zarówno samodzielnie wdrożonego samonaprawiania, jak i zakupionego narzędzia tego typu:
- Rejestruj każdą naprawę. Zapisuj stary lokator, nowy lokator, poziom pewności dopasowania oraz to, co narzędzie zmieniło na stronie.
- Przeglądaj according do harmonogramu. Nie pozwalaj na ciche dostosowywanie testów w nieskończoność. Po każdym wydaniu przeglądaj dziennik napraw i zatwierdzaj lub odrzucaj każdy wpis.
- Korzystaj z trybu sugestii, jeśli to możliwe. Pozwól narzędziu zaproponować poprawkę, ale wymagaj, aby osoba ją zaakceptowała.
- Nigdy nie pozwalaj mu zmieniać asercji. Samonaprawianie może zmienić sposób odnajdywania elementu. Nie może jednak zmienić tego, czego oczekuje test, czyli jego zamierzenia.
- Przenoś poprawki do skryptów. Ponieważ samonaprawianie naprawia tylko bieżące uruchomienie, zaktualizuj skrypt o lepszy lokator.
- Ogranicz zakres. Nie każdy element powinien naprawiać się samodzielnie. Krytyczne procesy, na przykład płatności, mogą wymagać ściślejszych kontroli, takich jak testy wizualne, które sprawdzają wygląd strony.
- Obserwuj trend. Nagły wzrost wskaźnika zaliczeń wymaga wyjaśnienia, ponieważ automatyzacja z samonaprawianiem może sprawić, że zestaw testów będzie wyglądał na zdrowszy, niż jest w rzeczywistości.
Przykład: refaktoryzacja procesu zakupowego z samonaprawianiem i bez niego
Liczby są wymyślone.
Zespół ma 400 zautomatyzowanych testów uruchamianych w przeglądarce. Refaktoryzacja front-endu zmienia identyfikatory na stronie realizacji zamówienia. Bez samonaprawiania 60 testów kończy się niepowodzeniem z powodu lokatorów, a każde takie niepowodzenie wymaga analizy. Inżynier potrzebuje około dwóch dni, aby je naprawić, i przez ten czas zespół nie ma wiarygodnego wyniku testów regresji.
Po włączeniu samonaprawiania narzędzie naprawia lokatory podczas wykonywania testów, dzięki czemu każdy test może działać dalej, a 55 z tych 60 testów przechodzi z naprawionymi lokatorami. Lider zespołu QA widzi każdą naprawę w raporcie. Pięć testów nadal kończy się niepowodzeniem, ponieważ ich elementy zostały celowo usunięte. Inżynier poświęca pół dnia na te pięć testów i dodatkową godzinę na przeczytanie dziennika napraw.
W dzienniku dwie naprawy wyglądają podejrzanie. W teście edycji adresu narzędzie kliknęło „Remove address” zamiast „Save address”, których oczekiwał test. Test sprawdzał jedynie, czy strona nadal się załadowała, więc zakończył się sukcesem. Inżynier poprawia oba lokatory i dodaje mocniejszą asercję, że zapisany adres pojawia się na liście.
Wynik: około dwóch dni pracy naprawczej skraca się do mniej więcej jednego dnia. Oszczędność jest realna, ale istnieje tylko dlatego, że człowiek przeczytał dziennik. Bez tego przeglądu dwa testy pozostałyby zielone, mimo że sprawdzałyby niewłaściwe rzeczy.
Częste błędy
- Traktowanie samonaprawiania jako zamiennika dobrych lokatorów. Stabilne lokatory oparte na roli, tekście lub identyfikatorze testowym zapobiegają zerwaniom i nic nie kosztują.
- Pozwalanie mu działać po cichu. Jeśli nikt nie czyta dziennika, błędne naprawy kumulują się niezauważone.
- Oczekiwanie, że naprawi testy niestabilne. Problemy z czasem oraz niestabilne dane testowe wymagają innych rozwiązań.
- Stosowanie go w krytycznych testach bez dodatkowych zabezpieczeń. Dodaj testy regresji wizualnej lub kontrole danych do procesów płatności i uprawnień.
- Wierzenie w deklarowane przez dostawcę niższe nakłady na utrzymanie testów bez pilotażu. Zmierz rzeczywisty efekt na własnym zestawie testów, zanim podejmiesz zobowiązanie.
Jak oprogramowanie może pomóc
Wiele frameworków do automatyzacji testów, platform chmurowych i innych narzędzi automatyzacji oferuje obecnie samonaprawianie w różnych formach: proste zapasowe lokatory, ocenę podobieństwa oraz wybór elementów oparty na AI. Porównuj je według powyższych punktów, a nie według etykiety. Zapytaj, czy platforma samonaprawiania pokazuje każdą naprawę, czy pozwala ją zatwierdzić i czy można ją wyeksportować jako zmianę skryptu. Zwykły zestaw Selenium lub Playwright z dobrze dobranymi lokatorami i krótkim nawykiem przeglądu to pełnoprawna alternatywa dla każdego narzędzia z samonaprawianiem. Przed podjęciem decyzji przeprowadź pilotaż w jednym niestabilnym obszarze i porównaj czas poświęcany na utrzymanie. Narzędzia oparte na agentach AI, często nazywane agentową AI, które działają na podstawie kroków opisanych zwykłym językiem, stawiają te same pytania dotyczące przeglądu.
Następny krok
Wybierz jedną część zestawu testów end-to-end, która często się psuje, włącz w niej samonaprawianie na jedno wydanie i przejrzyj ręcznie każdą naprawę. Następnie na podstawie liczby poprawnych napraw zdecyduj, czy automatyzacja testów z samonaprawianiem zasługuje na szerszą rolę w Twoim zestawie.