Pokrycie testami aplikacji biznesowych: jak śledzić, co faktycznie jest testowane
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Śledzenie pokrycia testami funkcji pokazuje, które funkcje aplikacji biznesowej mają testy, a które ich nie mają. Zbuduj macierz pokrycia, odczytuj jej luki i utrzymuj ją w aktualnym stanie.
Automatically translated with AI from the original post. Read the English original
Śledzenie pokrycia testami funkcji odpowiada na jedno proste pytanie dotyczące aplikacji biznesowej: które funkcje mają test i co się wydarzyło, gdy test uruchomiono ostatnio? Ten przewodnik jest przeznaczony dla liderów QA, którzy utrzymują testy aplikacji line-of-business i potrzebują jasnego obrazu na spotkaniach dotyczących wydań. Zobaczysz, czym pokrycie testami w testowaniu oprogramowania różni się od pokrycia kodu, jak mierzyć pokrycie testami za pomocą macierzy pokrycia i jak utrzymywać ją w aktualnym stanie. Przykład z wymyślonymi liczbami pokazuje, dlaczego wysoki procent zmapowanych funkcji może nadal ukrywać luki.
Najważniejsze wnioski
- Pokrycie testami dotyczy tego, które funkcje, wymagania i przypadki użycia mają testy, podczas gdy pokrycie kodu mierzy jedynie, ile kodu źródłowego zostało wykonane podczas testowania.
- Macierz pokrycia mapuje każde wymaganie lub funkcję na przypadki testowe, które je sprawdzają, wraz z priorytetem, wynikami, statusem i właścicielem.
- Powiązany test pokazuje udokumentowane pokrycie, a nie zakończoną sukcesem walidację, dlatego śledź wyniki dla każdej kompilacji obok powiązań.
- Zacznij od pełnej listy funkcji, w tym tych bez testów, ponieważ macierz zbudowana wyłącznie z istniejących testów nie pokaże tego, czego nigdy nie testowano.
- Przeglądaj macierz podczas planowania, po zmianach i przed decyzjami o wydaniu, i zachowuj datowane migawki jako dowód.
Co oznacza pokrycie testami, a czego nie oznacza
Artykuł Perforce o pokryciu testami a pokryciu kodu rozdziela dwa pojęcia, które zespoły często mylą.
- Pokrycie testami dotyczy funkcji i przypadków użycia. Pomaga sprawdzić, czy rozważono wszystkie niezbędne scenariusze, a artykuł nazywa je dobrym wskaźnikiem ryzyka. Ocenia się je na podstawie takich miar jak specyfikacje, ryzyko, funkcjonalność i produkt.
- Pokrycie kodu to pomiar tego, jaka część kodu źródłowego aplikacji została wykonana podczas testowania, często podawany jako procent linii. Pokazuje, który kod został przetestowany, a który nie.
W przypadku aplikacji biznesowej, takiej jak system zamówień czy portal HR, pierwsze pojęcie zwykle ma większe znaczenie dla osób, które polegają na oprogramowaniu. Menedżer pyta, czy zatwierdzanie faktur jest przetestowane, a nie czy wiersz 4200 został wykonany.
Ten sam artykuł ostrzega przed zbyt pobłażliwym odczytywaniem obu liczb. Pokrycie kodu nie oznacza automatycznie jakości kodu, a pokrycie testami nie gwarantuje, że aplikacja jest wolna od błędów. Jeśli testy są słabe, pokrycie też jest słabe. Traktuj pokrycie jako mapę tego, gdzie sprawdzałeś, a nie jako ocenę.
Śledzenie pokrycia testami funkcji w czterech krokach
Przewodnik TestRail o macierzy śledzenia wymagań opisuje metodę, którą można sprowadzić do czterech kroków śledzenia pokrycia testami funkcji.
- Określ zakres. Ustal, które wydanie lub zestaw funkcji obejmuje macierz oraz do jakich kompilacji i środowisk się odnosi.
- Wypisz każdą funkcję. Zbierz pełną listę elementów objętych zakresem z autorytatywnych źródeł i nadaj każdemu elementowi unikalny, stabilny identyfikator. Przewodnik podkreśla, że należy zachować pełną listę, w tym elementy bez testów. Lista zbudowana wyłącznie z istniejących testów nie pokaże tego, czego nigdy nie powiązano.
- Przypisz każdy element do jego testów. Powiąż każdy element z przypadkami testowymi, przeglądami lub analizami, które go oceniają, i sprawdź, czy te kontrole obejmują jego kluczowe kryteria akceptacji.
- Zapisuj wyniki i dokonuj przeglądu. Rejestruj wynik dla właściwej kompilacji, powiąż defekty z dotkniętymi wynikami, uzgodnij, co uznajemy za zweryfikowane, i przeglądaj macierz pod kątem brakujących powiązań oraz nieaktualnych przypadków.
Zacznij od przepływów, które mają największe znaczenie, a potem dodawaj każdą nową funkcję w miarę jej pojawiania się. Każdy zespół QA ma własny sposób pracy, dlatego utrzymuj te kroki lekko. Mała, aktualna macierz jest cenniejsza niż kompletna, której nikt nie ufa.
Gdy zespół zdecyduje się zautomatyzować kontrolę, obraz zmienia się tylko nieznacznie. Zautomatyzowany test jest nadal jednym przypadkiem testowym, a pokrycie automatyzacją oznacza udział powiązanych funkcji, których testy działają bez udziału testera. Umieść to w osobnej kolumnie, obok przypadków manualnych, aby zespół widział, ile jest zautomatyzowane, a ile nadal zależy od ludzi. Metryki pokrycia tego typu pomagają w planowaniu, ale to zaległość nieprzetestowanych funkcji o wysokim ryzyku napędza działania.
Co umieścić w macierzy pokrycia
TestRail wymienia kolumny, jakie może zawierać pełna macierz. Dla małego zespołu QA wystarczą te:
- Identyfikator wymagania lub funkcji oraz krótki opis.
- Priorytet lub ryzyko, abyś czytał luki we właściwej kolejności.
- Identyfikatory powiązanych przypadków testowych, które mogą obejmować zarówno przypadki manualne, jak i zautomatyzowane z Twojego zestawu testów end-to-end.
- Ostatni wynik i kompilacja, aby macierz pokazywała, co się wydarzyło i kiedy.
- Status, na przykład: nieobjęte, objęte, zaliczone, niezaliczone lub zablokowane.
- Właściciel, czyli osoba odpowiedzialna za dany wiersz.
PractiTest w artykule o macierzy śledzenia wymagań opisuje śledzenie w dwóch kierunkach: od funkcji do jej testów oraz od testu z powrotem do funkcji, którą wspiera. Oba kierunki pomagają na różne sposoby. Pierwszy pokazuje, co funkcja ma. Drugi pokazuje, po co test istnieje i które testy sprawdzić, gdy wymaganie się zmieni.
Czytanie macierzy: luki, głębokość i wiek
Macierz jest tylko tak użyteczna, jak pytania, które jej zadajesz.
- Luki w powiązaniach. Które funkcje nie mają powiązanego testu? TestRail definiuje pokrycie powiązaniami jako udział wymagań objętych zakresem, które można testować, mających co najmniej jeden powiązany test.
- Luki w walidacji. TestRail jasno wskazuje, że powiązany test pokazuje udokumentowane pokrycie, a nie pomyślną walidację. Sprawdź ostatni wynik: czy test został uruchomiony i czy zakończył się sukcesem?
- Głębokość. PractiTest ostrzega, że coś może być w pełni pokryte procentowo, ale niekoniecznie dobrze pod względem głębokości. Jeden test na funkcję może być zbyt cienki, a kombinacje wymagań mogą mieć znaczenie.
- Wiek. Test, który nie był uruchamiany od miesięcy, niewiele mówi o dzisiejszej kompilacji. Pokazuj datę ostatniego uruchomienia.
- Osierocone testy. Testy niepowiązane z niczym mogą chronić przed ryzykiem, którego lista funkcji nie obejmuje. TestRail radzi przejrzeć niepowiązane testy, zanim je usuniesz.
Krótka lista pięciu najbardziej ryzykownych luk jest na spotkaniu o wydaniu bardziej przydatna niż tabela z dwustoma wierszami.
Gdzie narzędzia do pokrycia kodu wciąż pomagają
Notatka Martina Fowlera o pokryciu testami nazywa narzędzie do pokrycia „przydatnym narzędziem do znajdowania nietestowanych fragmentów bazy kodu” i sugeruje, by od czasu do czasu uruchamiać je, aby przyjrzeć się kodowi bez testów. Pisze też, że pokrycie słabo nadaje się jako liczbowa miara jakości testów, ponieważ wysokie wskaźniki są zbyt łatwe do osiągnięcia przy słabym testowaniu. Podchodziłby z nieufnością do wszystkiego, co zbliża się do 100 procent, a pokrycie poniżej mniej więcej połowy uważa za sygnał kłopotów. Dodaje, że pokrycie jest najbardziej użyteczne dla osób piszących testy, ponieważ jego odczytanie wymaga oceny technicznej.
Dla lidera QA oznacza to podział pracy. Według nas programiści czytają raport pokrycia dla swoich testów jednostkowych i integracyjnych, a zespół QA korzysta z macierzy funkcji, żeby zwiększać pokrycie testami tam, gdzie ryzyko biznesowe jest największe, zarówno w testach manualnych, jak i w automatyzacji testów. Żadna z tych liczb sama w sobie nie daje pewności co do wydania. Obie są mapą działań testowych, a nie dowodem jakości produktu.
Utrzymuj ją w aktualnym stanie
Nieaktualna macierz jest gorsza niż jej brak, bo ludzie jej ufają. TestRail zaleca przeglądanie jej podczas planowania, po zmianach i przed decyzjami o wydaniu oraz zachowywanie datowanej migawki, gdy potrzebne są dowody leżące u podstaw decyzji. Sugeruje też wyznaczenie koordynatora oraz właścicieli wniosków o zmiany, aktualizacji testów i decyzji o weryfikacji. PractiTest dodaje, że macierz powinna być widoczna dla wszystkich, którzy jej potrzebują, i ostrzega, że wysyłane e-mailem kopie arkuszy prowadzą do zamieszania, która wersja jest aktualna.
Prowadź jedną wspólną wersję. Jeśli używasz narzędzia do zarządzania testami, niech aktualizuje powiązania i wyniki w miarę wykonywania testów, tak aby macierz nie zależała od czyjejś pamięci. Wspiera ona również Twoje testy regresji, ponieważ powiązania pokazują, które testy regresji uruchomić ponownie po zmianie.
Przykład: 40 funkcji, trzy różne liczby
Liczby są zmyślone.
Lider QA śledzi 40 funkcji aplikacji do zarządzania zamówieniami. Macierz pokazuje trzy różne obrazy sytuacji.
- Zmapowane: 31 z 40 funkcji ma co najmniej jeden powiązany test. To 77,5 procent pokrycia mapowaniem.
- Zweryfikowane: spośród tych 31 funkcji 22 przeszły testy w najnowszej kompilacji. Pięć nie powiodło się lub jest zablokowanych, a cztery nie były uruchamiane od 90 dni. Pokrycie zweryfikowane wynosi 22 z 40, czyli 55 procent.
- Luki: 9 funkcji nie ma żadnego testu. Trzy z nich są wysokiego ryzyka: zwroty, ręczne zmiany cen i zmiany ról użytkowników.
Lider przedstawia właścicielowi produktu drugą liczbę, a nie pierwszą. Kolejny sprint zespołu dodaje testy dla trzech luk wysokiego ryzyka, naprawia pięć testów, które nie przechodzą lub są zablokowane, i ponownie uruchamia cztery nieaktualne. Procent na pulpicie rośnie, a wraz z nim pewność, która za nim stoi. Macierz pokazująca tylko 77,5 procent ukryłaby problem.
Częste błędy
- Traktowanie pokrycia kodu jako pokrycia funkcji. Wykonane linie kodu nic nie mówią o nieprzetestowanych funkcjach biznesowych.
- Budowanie macierzy wyłącznie z istniejących testów. Nigdy nie zobaczysz tego, czego nie ma testu.
- Traktowanie powiązania jako dowodu. Pokazuj najnowszy wynik dla każdej kompilacji.
- Gonienie za procentem. Cel 100 procent zachęca do powierzchownych testów, które jedynie dotykają każdej funkcji.
- Dopuszczanie do nieaktualności macierzy. Przeglądaj ją podczas planowania, po zmianach i przed wydaniem.
- Przechowywanie kopii w poczcie e-mail. Kilka wersji prowadzi do sporów o to, która jest właściwa.
Jak oprogramowanie może pomóc
Arkusz kalkulacyjny to rozsądny początek. Narzędzie do zarządzania testami może automatycznie łączyć testy z funkcjami i aktualizować wyniki, co oszczędza ręcznej obsługi. Genta by Cognillo to jeden z przykładów. Według dostawcy obejmuje zarządzanie przypadkami testowymi i zestawami testów ze śledzeniem pokrycia funkcji, zaplanowane uruchomienia oraz pulpity eksportowane do Excela, CSV lub PDF. To stwierdzenia dostawcy, które nie zostały sprawdzone przez M365.FM. Porównaj je z innymi opcjami i sprawdź, jak każde narzędzie łączy wyniki z wymaganiami, zanim podejmiesz decyzję.
Ujawnienie: Cognillo sponsoruje M365.FM.
Następny krok
Weź najważniejszy proces biznesowy, wypisz jego dziesięć funkcji i przypisz każdą do jej testów w prostej macierzy z ostatnim wynikiem i datą. Następnie przynieś trzy największe luki na kolejne spotkanie dotyczące wydania i ustal wspólnie z zespołem, kto od tej pory odpowiada za śledzenie pokrycia funkcji testami.