M365Con 2027 – bezpłatna konferencja online · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Testy jednostkowe, integracyjne i end-to-end: gdzie AI pomaga najbardziej

By · · Updated

Testy jednostkowe, integracyjne i end-to-end: co sprawdza każdy z nich, ile ich napisać i gdzie AI pomaga najbardziej, od szkicowania testów jednostkowych po przeglądanie przepływów w przeglądarce.

Automatically translated with AI from the original post. Read the English original

Testy jednostkowe, integracyjne i end-to-end to pytanie stojące za każdą strategią testowania oprogramowania: każdy poziom sprawdza coś innego, kosztuje innie i daje inny rodzaj pewności. Ten przewodnik jest przeznaczony dla liderów QA, którzy słyszą pytanie, gdzie w testowaniu oprogramowania powinno znaleźć się AI. Zobaczysz, co sprawdza każdy poziom, ile testów każdego rodzaju zawiera zdrowy zestaw, gdzie AI pomaga najbardziej i gdzie zwiększa ryzyko. Przykład z wymyślonymi liczbami pokazuje, jak jeden zespół zdecydował, gdzie skupić wysiłek.

Najważniejsze wnioski

  • Test jednostkowy sprawdza jeden fragment kodu, test integracyjny sprawdza połączenie z czymś spoza aplikacji, a test end-to-end uruchamia wdrożony system przez jego interfejs.
  • Piramida testów zaleca pisanie wielu małych, szybkich testów jednostkowych, kilku testów o szerszym zakresie i bardzo niewielu testów wysokiego poziomu, ponieważ wyższe poziomy są wolniejsze i wymagają więcej utrzymania.
  • AI jest najbardziej przydatne tam, gdzie wynik jest niewielki i łatwy do sprawdzenia, na przykład przy szkicowaniu testów jednostkowych i API, a człowiek może przejrzeć każdy wygenerowany test.
  • Testy generowane przez AI mogą zawyżać pokrycie kodu bez weryfikowania zachowania, na przykład testy, które wykonują kod, ale mają słabe lub brakujące asercje.
  • Traktuj wynik AI jako szkic na każdym poziomie i zachowaj ocenę człowieka dla niejednoznacznych przepływów, kontroli wizualnych i przeglądów dostępności.

Testy jednostkowe, integracyjne i end-to-end: co sprawdza każdy z nich

Artykuł Martina Fowlera The Practical Test Pyramid zawiera jasne definicje.

  • Testy jednostkowe zapewniają, że dana jednostka bazy kodu, czyli testowany element, działa zgodnie z założeniami. Mają najwęższy zakres spośród wszystkich typów testów. Na tym poziomie testowania jednostkowego programiści piszą najczęściej.
  • Testy integracyjne sprawdzają integrację Twojej aplikacji z elementami znajdującymi się poza nią, takimi jak baza danych, system plików czy osobna usługa. Fowler woli wąskie testy, które sprawdzają jeden punkt integracji zewnętrznej naraz. To zadanie testowania integracyjnego.
  • Testy end-to-end testują wdrożoną aplikację przez jej interfejs użytkownika i obejmują cały zintegrowany system. Fowler nazywa je testami szerokiego stosu. To jest testowanie end-to-end.

Główna różnica między testowaniem jednostkowym a integracyjnym dotyczy zakresu: jedna część kodu kontra połączenie między częściami. Testy funkcjonalne i systemowe również sprawdzają oprogramowanie z zewnątrz, a testowanie e2e to jego wersja prowadzona w przeglądarce, więc warto ustalić jednoznaczne nazewnictwo.

Programiści zwykle piszą testy jednostkowe i uruchamiają je przy każdym commicie. Zapamiętaj różnicę przez pytanie, na które odpowiada każdy poziom: test jednostkowy pyta, czy ta funkcja jest poprawna. Test integracyjny pyta, czy poprawnie komunikujemy się z tym innym systemem. Test end-to-end pyta, czy użytkownik może ukończyć tę ścieżkę.

Ile testów każdego rodzaju: piramida testów

Piramida testów to najczęstszy sposób opisu właściwej równowagi. Fowler radzi pisać dużo małych, szybkich testów jednostkowych, nieco bardziej ziarnistych testów pośrednich i bardzo niewiele testów na wysokim poziomie. Formułuje to jako zasadę: im wyższy poziom, tym mniej testów powinno być.

Powód jest kosztowy. Według artykułu testy jednostkowe działają bardzo szybko, testy integracyjne są zwykle znacznie wolniejsze, ponieważ angażują rzeczywiste zewnętrzne komponenty, a testy end-to-end działają dość wolno. Testy end-to-end wymagają też dużo utrzymania i mają opinię testów niestabilnych.

Ta niestabilność jest mierzalna w dużej skali. Wpis na Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, podaje, że około 1,5 procent przebiegów testów dało niestabilny wynik, a prawie 16 procent testów wykazywało jakąś niestabilność.

Wszystkie trzy poziomy służą testom regresji, ponieważ uruchamiane są ponownie po każdej zmianie.

Fowler przestrzega też przed odwrotnym kształtem, który nazywa stożkiem z lodami (test ice-cream cone): dużo ręcznych testów i testów na poziomie przeglądarki na szczycie, a niewiele testów jednostkowych u podstawy. Opisuje to jako koszmar w utrzymaniu, który trwa zbyt długo. Jeśli Twój zestaw testów wygląda w ten sposób, dodanie AI nie naprawi jego kształtu. Może co najwyżej szybciej wygenerować więcej wolnych testów.

Testy jednostkowe a testy integracyjne: kiedy stosować każdy poziom

Zestawienie TestRail dotyczące testów jednostkowych i integracyjnych wymienia praktyczne różnice. Testy jednostkowe są szybkie do napisania i szybkie w wykonaniu, a zwykle przygotowują je programiści. Testy integracyjne często angażują inżynierów QA i testerów. Testy jednostkowe używają atrap (mocks) i zastępników (stubs), aby uniknąć systemów zewnętrznych, natomiast testy integracyjne koncentrują się na rzeczywistych interakcjach, choć mogą nadal korzystać z atrap, gdy usługa zewnętrzna jest niedostępna, zawodna lub kosztowna.

Zaletami testów jednostkowych są szybka informacja zwrotna, wczesne wykrywanie błędów i bardziej modularny kod. Ich słabością jest to, że zestaw testów jednostkowych nie pokazuje, czy poszczególne części działają razem, a właśnie to wnoszą testy integracyjne. TestRail sugeruje stosowanie testów jednostkowych dla izolowanej logiki na wczesnym etapie prac, a testów integracyjnych dla procesów obejmujących wiele modułów, baz danych lub usług zewnętrznych. Opisuje dwa sposoby ich przeprowadzania: Big Bang, czyli testowanie wszystkiego razem po zakończeniu prac, co utrudnia debugowanie, oraz przyrostowe, które testuje małe grupy krok po kroku i ułatwia lokalizowanie problemów.

Fowler podaje regułę ułatwiającą wybór poziomu: jeśli test na wyższym poziomie wykryje błąd, a żaden test niższego poziomu nie zawiedzie, napisz test niższego poziomu. Przesuwaj testy jak najniżej w piramidzie i usuwaj testy wysokiego poziomu, które dublują to, co pokrywają już niższe poziomy. Kompleksowa strategia testów wykorzystuje wszystkie trzy poziomy, a każdy wyższy koncentruje się na tym, czego niższe nie są w stanie objąć.

Często pojawiają się dwa powiązane pytania. Fowler zauważa, że jedni nazywają warstwę środkową testami integracyjnymi, a inni testami komponentów, i że uzgodnienie terminów jest ważniejsze niż sama nazwa. Dodaje również, że testy akceptacyjne, sprawdzające oprogramowanie z perspektywy użytkownika, mogą znajdować się na dowolnym poziomie, dlatego są ortogonalne wobec piramidy. Testy jednostkowe i testy end-to-end są więc dwoma końcami jednej skali, a nie rywalizującymi szkołami.

Te testy łatwo zautomatyzować w potoku. TestRail twierdzi, że testy jednostkowe zwykle uruchamiane są wcześnie, często zaraz po wypchnięciu zmian lub żądaniu pull request, a testy integracyjne uruchamiane są później, po wdrożeniu aplikacji do środowiska testowego lub przedprodukcyjnego. Razem tworzą bramkę jakości.

Gdzie AI pomaga najbardziej

Narzędzia oparte na generatywnej AI różnią się między sobą, ale w zaleceniach dostawców pojawia się pewien wzorzec. Artykuł Parasoft o tym, jak AI jest wykorzystywana w testowaniu oprogramowania, zaleca zespołom generowanie testów jednostkowych i testów API, gdy zmiany są jeszcze świeże. Wspomina o pomocy AI przy tworzeniu testów API, sugerowaniu asercji i budowaniu scenariuszy danych. Zauważa również, że wirtualizacja usług, która symuluje wolne, kosztowne lub niedostępne zależności, wspiera testy integracyjne.

To pasuje do piramidy. Powody są naszym własnym wnioskiem, a nie wynikiem pomiaru:

  • Małe wyniki łatwo sprawdzić. Wygenerowany test jednostkowy to kilka linijek. Recenzent może go przeczytać, uruchomić i w minutę ocenić, czy sprawdza to, co trzeba.
  • Szybka informacja zwrotna ujawnia złe testy. Błędny test jednostkowy szybko zawodzi albo przechodzi, więc problem wychodzi na jaw tego samego dnia.
  • Jasne dane wejściowe i wyjściowe. Funkcje i wywołania API mają zdefiniowane dane wejściowe i wyjściowe, dzięki czemu narzędzie ma precyzyjny cel.
  • Wiele powtarzalnych przypadków. Wartości brzegowe i ścieżki błędów w testach jednostkowych się powtarzają, a szkic oszczędza pisanie.

Niech AI przygotowuje szkice, ale odpowiedzialność zostaje po stronie człowieka: kto akceptuje wygenerowany test, odpowiada za to, co on sprawdza, dokładnie tak samo jak za test napisany ręcznie.

W testach integracyjnych AI może przygotować przypadek testowy lub dane testowe i zasymulować zależności, ale to człowiek musi określić, jaki jest kontrakt z innym systemem, a testy integracyjne właśnie ten kontrakt weryfikują.

Na poziomie testów end-to-end AI pomaga w inny sposób. Narzędzia, które wykonują kroki opisane zwykłym językiem w przeglądarce, mogą obniżyć koszt napisania testu ścieżki użytkownika. Nie zmieniają jednak kosztu jego uruchamiania i nie eliminują potrzeby jasnej reguły zaliczenia lub niezaliczenia testu.

Gdzie AI pomaga najmniej i na co uważać

Artykuł Parasoft jest wprost o ograniczeniach. Mówi, że każda zmiana wygenerowana przez AI powinna podlegać przeglądowi przez człowieka, a wyniki AI traktować jako szkic. Zaznacza, że źle użyte AI może sztucznie zwiększać pokrycie kodu bez weryfikacji zachowania, i ostrzega przed pustymi testami, które wykonują ścieżki kodu, ale mają słabe lub brakujące asercje. Jako sygnał ostrzegawczy wskazuje wyniki, które różnią się między uruchomieniami przy tych samych danych wejściowych. Dodaje, że AI nie może zatwierdzać zmian krytycznych dla bezpieczeństwa ani zastępować ludzkiego osądu w niejednoznacznych przepływach, kontrolach wizualnych i przeglądach dostępności. W kwestii danych przestrzega przed promptami zawierającymi sekrety lub dane podlegające regulacjom.

Strategie testowania wykorzystujące AI wymagają czterech kontroli:

  1. Pokrycie rośnie, ale nic nie wykrywa. Sprawdzaj asercje, a nie tylko wskaźniki pokrycia.
  2. Testy odzwierciedlające kod. Test, który powtarza implementację, przejdzie nawet wtedy, gdy logika jest błędna.
  3. Niestabilne wyniki. Jeśli wygenerowany test zmienia się między uruchomieniami, przypnij wersję, którą zrecenzowałeś.
  4. Dane wychodzą poza firmę. Nie wklejaj sekretów, danych klientów ani danych podlegających regulacjom do promptu.

Przykład: gdzie jeden zespół inwestuje swój wysiłek

Liczby są zmyślone.

Zespół ma 600 zautomatyzowanych testów: 450 testów jednostkowych, 110 integracyjnych i 40 end-to-end. Testy przeglądarkowe zajmują 50 minut z 60-minutowego potoku, a sześć z nich co tydzień zawodzi losowo.

Lider QA podejmuje trzy działania. Po pierwsze, asystent AI przygotowuje testy jednostkowe dla nowego kodu, a programista przegląda każdy szkic. W pierwszym miesiącu asystent przygotowuje 120 testów. Recenzenci odrzucają 30 z nich, bo asercje są słabe, więc 90 trafia do zestawu.

Po drugie, AI przygotowuje dane testowe dla testów integracyjnych, a kontrakty pozostają pisane ręcznie.

Po trzecie, 40 testów end-to-end nie otrzymuje pomocy AI. Lider usuwa sześć duplikatów, które szybszy test niższego poziomu już pokrywa, i potok skraca się z 60 do 48 minut. Wysiłek związany z AI trafił tam, gdzie przegląd jest najtańszy, a wolna warstwa się zmniejszyła.

Częste błędy

  • Używanie AI do dodawania kolejnych testów przeglądarkowych. Wolna i niestabilna warstwa rośnie, a potok działa coraz wolniej.
  • Akceptowanie wygenerowanych testów bez czytania. Słabe asercje dają pokrycie bez bezpieczeństwa.
  • Mierzenie sukcesu liczbą testów. Zamiast tego licz wykryte defekty i zaoszczędzone minuty.
  • Pomijanie testów integracyjnych. Same testy jednostkowe i kilka ścieżek mogą przeoczyć zepsute kontrakty między systemami.
  • Wklejanie wrażliwych danych do promptów. Ustal zasady, zanim wyślesz pierwszy prompt.

Jak oprogramowanie może pomóc

Istniejące narzędzie do testów i system CI już raportują czas wykonania i wskaźniki awarii. Zacznij od nich i pogrupuj liczby według poziomu. Narzędzia do przeglądu kodu pomagają przy szkicach AI, ponieważ recenzenci widzą wygenerowany test obok kodu. Raporty pokrycia czytaj razem z kontrolą asercji, aby nie pomylić pokrycia z jakością. Najpierw dodaj asystenta AI na jednym poziomie testów i porównaj czas przeglądu, liczbę odrzuconych szkiców oraz defekty, które przeszły do produkcji, zanim poszerzysz pilotaż.

Następny krok

Policz testy na każdym poziomie, zanotuj czas wykonania i wskaźnik niestabilności każdego poziomu. Następnie wybierz jeden poziom do pilotażu AI i zapisz, co będziesz mierzyć, aby kolejna dyskusja o testach jednostkowych, integracyjnych i end-to-end zaczynała się od danych.

Entities in this article

Unit testing Integration testing End-to-end testing Generative AI

Related articles

RSS