M365Con 2027 – bezpłatna konferencja online · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Które testy regresji automatyzować najpierw? Przewodnik decyzyjny

By · · Updated

Które testy automatyzować najpierw? Zacznij od testów regresji krytycznych dla biznesu, uruchamianych często i stabilnych. Do decyzji użyj pięciu kryteriów i prostej macierzy punktacji.

Automatically translated with AI from the original post. Read the English original

Które testy automatyzować najpierw? Zacznij od testów regresji obejmujących krytyczne dla biznesu przepływy, uruchamianych przy każdym buildzie, rzadko zmienianych i najdłużej wykonywanych ręcznie. Ten przewodnik jest przeznaczony dla liderów QA z małym zespołem i długą listą ręcznych sprawdzeń, którzy potrzebują uzasadnionej kolejności. Poznasz pięć kryteriów wyboru, listę tego, co na razie pozostawić ręcznie, oraz prostą macierz punktacji. Przykład z wymyślonymi liczbami klasyfikuje pięć kandydujących testów, dzięki czemu możesz skopiować tę metodę.

Najważniejsze wnioski

  • Najpierw automatyzuj testy regresji obejmujące krytyczne dla biznesu przepływy, uruchamiane często, rzadko zmieniane i najbardziej czasochłonne do powtarzania ręcznie.
  • Ustalaj kolejność funkcji według kosztu awarii: prawdopodobieństwo i dotkliwość defektu decydują, który test zasłuży na automatyzację przed innymi.
  • Testy jednorazowe, niestabilne, eksploracyjne i testy użyteczności pozostaw na razie ręczne, ponieważ ich automatyzacja może kosztować więcej niż wykonywanie ich ręcznie.
  • Ważona punktacja od 1 do 5 w zakresie krytyczności, częstotliwości, stabilności, nakładu pracy ręcznej i niestabilności testu zamienia dyskusję w uporządkowaną listę.
  • Preferuj najniższą warstwę testów, która się sprawdza, a testy end-to-end na poziomie przeglądarki zachowaj dla przepływów, w których pełna walidacja jest niezbędna.

Dlaczego kolejność automatyzacji ma znaczenie

Automatyzacja wymaga wysiłku, a ten wysiłek zwraca się tylko wtedy, gdy test uruchamiany jest wielokrotnie. Test uruchamiany przy każdym buildzie szybko się zwraca. Test uruchamiany raz nigdy się nie zwróci.

W zespołach zwinnych, pracujących w krótkich sprintach, zespół rzadko ma czas, by zautomatyzować wszystko. Automatyzacja testów to inwestycja, dlatego warto myśleć o zwrocie z inwestycji (ROI): o godzinach pracy ręcznej, które oszczędza każdy zautomatyzowany przypadek testowy, pomniejszonych o godziny potrzebne na napisanie i utrzymanie jego skryptów. Kolejność automatyzacji decyduje więc o tym, jak szybko inwestycja się zwróci. Zespół, który automatyzuje dziesięć mało wartościowych sprawdzeń, a finalizację zakupu zostawia ręcznie, włożył wysiłek w niewłaściwe miejsce.

Przewodnik Ranorex dotyczący wiedzy o tym, co automatyzować stawia testy regresji na szczycie listy priorytetów, ponieważ częste ponowne uruchamianie multiplikuje oszczędności. Zaleca też, by ustalać kolejność funkcji według kosztu awarii i jako pierwsze dodawać do pakietu regresji testy najbardziej ryzykownych funkcji.

Artykuł TestDevLab o priorytetyzowaniu przypadków testowych dla testów regresji opisuje tę samą ideę jako priorytetyzację opartą na ryzyku: szeregowanie przypadków testowych według czynników takich jak prawdopodobieństwo awarii i dotkliwość skutków. Zaleca zaczynać od funkcji wysokiego ryzyka i dużej krytyczności, a dopiero potem przechodzić do funkcji o niższym ryzyku. Wskazuje też, że często aktualizowane funkcje oraz złożone funkcje obejmujące wiele komponentów zasługują na wcześniejsze testowanie.

Praktyczny wniosek: automatyzuj według ryzyka i częstotliwości uruchamiania testu, a nie według listy funkcji czy łatwości.

Krótka strategia automatyzacji wskazuje kandydatów, narzędzia, właściciela i datę przeglądu. Większość dobrych praktyk automatyzacji testów zaczyna się w ten sam sposób: najpierw decydujesz, co automatyzować, a dopiero potem wybierasz narzędzie.

Które testy automatyzować najpierw: pięć kryteriów

Przewodnik firmy Katalon dotyczący wyboru przypadków testowych regresji mówi, że mocni kandydaci do automatyzacji spełniają większość z zestawu warunków. Poniższych pięć ma największe znaczenie dla małego zespołu.

  1. Krytyczny dla biznesu. Test obejmuje przepływ krytyczny dla przychodów, wrażliwy z punktu widzenia bezpieczeństwa lub kluczowy dla działania systemu, na przykład logowanie, finalizację zakupu lub płatności. Jeśli to się zepsuje, klienci zauważą to pierwsi.
  2. Uruchamiany często. Test uruchamiany jest przy każdym żądaniu ściągnięcia, każdej nocnej kompilacji lub każdym wydaniu.
  3. Stabilny. Funkcja rzadko się zmienia, więc test nie będzie wymagał ciągłych poprawek.
  4. Kosztowny przy ręcznym wykonywaniu. Test jest powtarzalny, wolny i podatny na błędy ludzkie. Powtarzalne testy sterowane danymi dobrze się nadają, ponieważ te same kroki wykonuje się dla wielu danych wejściowych, a w tym przypadku automatyzacja testów oszczędza najwięcej czasu.
  5. Jednoznaczny wynik. Test ma obiektywny wynik zaliczenia lub niezaliczenia, który łatwo sprawdzić, na przykład na podstawie ekranu, odpowiedzi API lub stanu systemu. W danych testowych pokryj przypadki brzegowe, które mają znaczenie, a nie każde możliwe dane wejściowe.

Test spełniający cztery lub pięć z tych warunków trafia na szczyt kolejki. Test spełniający jeden lub dwa czeka.

Katalon dodaje uwagę o warstwach: wybieraj najniższą warstwę, która działa, a niestabilne przepływy UI automatyzuj tylko wtedy, gdy walidacja end-to-end jest niezbędna. Jeśli regułę można sprawdzić testem jednostkowym lub wywołaniem API, takie sprawdzenie jest zwykle szybsze i stabilniejsze niż test w przeglądarce. Wolne testy UI zostaw dla nielicznych przepływów, które tego wymagają. Testy end-to-end na poziomie przeglądarki zachowaj dla ścieżek, w których trzeba potwierdzić cały przebieg przez ekrany.

Dopasuj kolejność do piramidy testów i potoku wdrożeniowego

Wybór mówi, co automatyzować. Warstwy mówią, gdzie. Practical Test Pyramid Martina Fowlera zaleca wiele małych, szybkich testów jednostkowych, kilka testów o szerszym zakresie i bardzo nieliczne testy wysokiego poziomu. Jego zasada wyboru poziomu jest przydatna przy szeregowaniu listy: jeśli test wyższego poziomu wykrywa błąd, a żaden test niższego poziomu nie zawodzi, napisz test niższego poziomu. Przesuwaj testy jak najniżej i usuwaj testy wysokiego poziomu, które powielają to, co pokrywają już niższe poziomy.

Zanim więc napiszesz test w przeglądarce dla pozycji z listy, zadaj sobie dwa pytania. Czy test jednostkowy lub test integracyjny udowodni tę samą regułę szybciej? Czy któreś z zautomatyzowanych przypadków testowych są już zbędne? To nasze pytania oparte na zasadzie Fowlera, a nie lista kontrolna ze źródeł.

Następnie umieść każdy test w potoku. Ranorex opisuje testy dymne jako niewielki podzbiór testów regresji uruchamiany przy każdej nowej kompilacji, a Katalon wskazuje każde żądanie ściągnięcia, nocną kompilację i wydanie jako momenty, w których uruchamiane są mocni kandydaci. Praktyczny podział, będący naszą własną sugestią, to mały zestaw testów dymnych przy każdej kompilacji i pełniejszy zestaw automatyczny każdej nocy lub przy wydaniu. Testy eksploracyjne pozostaw zespołowi QA, a plan przeglądaj co kwartał.

Co na razie zostawić ręcznie

Odmawianie też jest częścią planu. Ranorex wymienia przypadki, w których automatyzacja się nie opłaca:

  • Testy jednorazowe. Automatyzacja testu może zająć dłużej niż jego jednorazowe wykonanie ręcznie. Testy, które trafią do zestawu regresji lub są sterowane danymi, nie są traktowane jako jednorazowe.
  • Niestabilne funkcje. Dopóki wymaganie jest eksperymentalne lub w trakcie opracowywania, testuj je ręcznie.
  • Testy bez jednoznacznego wyniku zaliczenia lub niezaliczenia. Automatyzuj tylko wtedy, gdy wynik jest obiektywny.
  • Testy eksploracyjne i testy użyteczności. Ranorex twierdzi, że tych testów nie można i nie należy automatyzować, ponieważ opierają się na ocenie człowieka.

Funkcje, które opierają się automatyzacji, jak CAPTCHA, wymagają osobnego planu. Ranorex sugeruje wyłączenie ich w środowisku testowym, dodanie obejścia dla deweloperów lub wstrzymanie testu, aby tester mógł je ukończyć.

Ręcznie nie oznacza zapomnianych. Umieść te testy na liście z datą przeglądu, aby funkcja, która się ustabilizowała, mogła przesunąć się wyżej.

Oceń kandydatów prostą macierzą

Kiedy dwa testy wydają się równie ważne, punktacja sprawia, że decyzja staje się widoczna. Katalon zaleca ocenianie każdego testu w skali od 1 do 5 według ważonych czynników, mnożenie każdej oceny przez jej wagę i sumowanie wyników. Przykładowe wagi w Katalon to: krytyczność dla biznesu 0,3, częstotliwość wykonywania 0,2, stabilność 0,2, zaoszczędzony nakład pracy ręcznej 0,15 oraz wynik niestabilności 0,15, przy czym wyższy wynik oznacza mniejsze ryzyko niestabilności. Sugerowane progi to: 4,0 lub więcej, aby automatyzować, 3,0–3,9, aby wrócić do tematu później, oraz poniżej 3,0, aby zostawić test jako ręczny lub eksploracyjny.

Możesz używać tych wag w niezmienionej postaci lub je modyfikować. Chodzi nie o dokładną liczbę, lecz o to, aby zespół uzgodnił czynniki, zanim zacznie dyskutować o pojedynczych testach.

Skąd biorą się te wyniki? Katalon zauważa, że dane produkcyjne i wcześniejsze incydenty pokazują, które ścieżki mają największe znaczenie. TestDevLab opisuje priorytetyzację opartą na historii, która szereguje testy według ich dotychczasowej skuteczności w wykrywaniu błędów. Kolumnę krytyczności wypełnij na podstawie listy incydentów i zgłoszeń do wsparcia, a kolumny częstotliwości i niestabilności na podstawie historii buildów. Wynik oparty na danych łatwiej obronić niż wynik oparty na opinii. Przejrzyj ranking z całym zespołem i śledź pokrycie testami krytycznych przepływów w prostej formie liczbowej: ile z dziesięciu najważniejszych przepływów ma zautomatyzowany przypadek testowy?

Przykład: ranking pięciu kandydatów na testy

Wyniki są przykładowe, a wagi są takie jak powyżej.

Lider QA ma pięć ręcznych sprawdzeń do uszeregowania. Każdy czynnik jest oceniany w skali od 1 do 5.

  1. Eksport faktur. Krytyczność 5, częstotliwość 5, stabilność 4, nakład pracy 4, wynik niestabilności 3. Wynik: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Automatyzować w pierwszej kolejności.
  2. Resetowanie hasła. Krytyczność 5, częstotliwość 3, stabilność 5, nakład pracy 3, wynik niestabilności 4. Wynik: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Automatyzować jako następne.
  3. Filtr raportu. Krytyczność 3, częstotliwość 4, stabilność 4, nakład pracy 4, wynik niestabilności 4. Wynik: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Wrócić do tematu w przyszłym kwartale.
  4. Nowy układ pulpitu. Krytyczność 3, częstotliwość 3, stabilność 1, nakład pracy 3, wynik niestabilności 2. Wynik: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Pozostawić jako ręczny, dopóki projekt się nie ustabilizuje.
  5. Przesyłanie zdjęcia profilowego. Krytyczność 2, częstotliwość 2, stabilność 3, nakład pracy 2, wynik niestabilności 2. Wynik: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Pozostawić jako ręczny.

Efektem jest uszeregowana lista: najpierw eksport faktur, potem resetowanie hasła, a filtr raportu w rezerwie. Lider zaczyna od małej platformy automatyzacji, wspólnych danych testowych i tych pierwszych przypadków testowych, a następnie rozbudowuje zautomatyzowany zestaw. Właściciel produktu widzi powody decyzji, a gdy pulpit przestanie się zmieniać, jego wynik stabilności wzrośnie i może awansować na liście.

Częste błędy

  • Automatyzowanie najłatwiejszych testów w pierwszej kolejności. Łatwe testy są często mało istotne, więc zestaw rośnie, a nie chroni tego, co naprawdę ważne.
  • Automatyzowanie niestabilnej funkcji. Testy psują się przy każdej zmianie, a zespół przestaje im ufać.
  • Liczenie testów zamiast wpływu. Duży zestaw mało wartościowych sprawdzeń kosztuje więcej w utrzymaniu, niż oszczędza.
  • Rozpoczynanie każdego sprawdzenia na warstwie przeglądarki. Jeśli test jednostkowy lub sprawdzenie API może pokryć daną regułę, zwykle taniej jest go tam zostawić.
  • Ignorowanie testów ręcznych, które nadal mają znaczenie. Sprawdzenia eksploracyjne i przeglądy użyteczności pozostają po stronie testerów, a testowanie oprogramowania wymaga obu rodzajów wysiłku.
  • Nigdy niewracanie do rankingu. Użycie, wpływ i stabilność się zmieniają, dlatego listę warto przeglądać co kwartał.

Jak oprogramowanie może pomóc

Na start wystarczy arkusz z pięcioma kryteriami i wagami. Dodaj kolumnę z datą ostatniego przeglądu. Jeśli masz narzędzie do zarządzania testami, może ono także pokazać, jak często każdy test jest uruchamiany i jak często kończy się niepowodzeniem, co zasila wyniki częstotliwości i niestabilności. Dane o wcześniejszych defektach z systemu zgłoszeń pokazują, które obszary psują się najczęściej. Narzędzia do testowania w przeglądarce, oparte na skryptach lub na prostym języku, mają znaczenie dopiero wtedy, gdy ranking wskaże, które przepływy zasługują na test. Wybierz narzędzie po sporządzeniu listy, a nie przed.

Następny krok

Wypisz dwadzieścia najbardziej czasochłonnych ręcznych testów regresji, oceń każdy według pięciu czynników i posortuj wynik. Następnie zautomatyzuj trzy pierwsze i użyj tej uszeregowanej listy, aby odpowiedzieć na pytanie, które testy automatyzować w pierwszej kolejności, podczas następnego spotkania planistycznego.

Entities in this article

Regression testing End-to-end testing Unit testing

Related articles

RSS