Dowody testowe na potrzeby audytów: zrzuty ekranu, logi i zapisy zaliczenia lub niezaliczenia
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Zautomatyzowane dowody testowe na potrzeby audytów: co powinien zapisać lider zespołu QA, jak zapewnić, by zrzuty ekranu, logi i zapisy zaliczenia lub niezaliczenia dało się zweryfikować, oraz jak odpowiadać audytorowi.
Automatically translated with AI from the original post. Read the English original
Zautomatyzowane dowody testowe na potrzeby audytów to zbiór zapisów, które potwierdzają, że test został wykonany, pokazują, co sprawdzał, i opisują, co się wydarzyło, w formie, którą obca osoba może zweryfikować nawet po miesiącach. Ten przewodnik jest przeznaczony dla liderów zespołów QA, których zespoły proszone są o dowody podczas przeglądu zgodności lub walidacji. Dowiesz się, czego szuka audytor, które elementy wykonania testu warto zachować, jak szczegółowo je dokumentować i jak je organizować. Przykład z fikcyjnymi liczbami pokazuje, jak zespół przechodzi od gorączkowego szukania dowodów do odpowiedzi w pięć minut.
Najważniejsze wnioski
- Audytor musi na podstawie samych zapisów widzieć, co zostało przetestowane, czego oczekiwano, co się wydarzyło oraz kto lub co wykonało test, dlatego sam wynik zaliczenia lub niezaliczenia rzadko wystarcza.
- Przydatny dowód ma pięć elementów: zrzuty ekranu lub nagrania, logi wykonania, załączniki, takie jak dane testowe, metadane wykonania oraz powiązania niepowodzeń z defektami.
- Zrzuty ekranu nie są wymagane prawnie, a logi systemowe mogą służyć jako dowód, jeśli są wiarygodne, a samo narzędzie do automatyzacji testów zostało zwalidowane.
- Dobieraj szczegółowość dowodów do ryzyka: pełne zapisy prowadź dla funkcji o wysokim ryzyku, a lżejsze dla funkcji o niskim ryzyku.
- Powiąż każdy test z wymaganiem i zmierz, jak szybko potrafisz zebrać kompletne dowody dla jednego wymagania.
Czego audytorzy faktycznie żądają
Audytor nie chce Twojego narzędzia testowego. Audytor chce ocenić, czy produkt robi to, co powinien, i czy Twoje własne zapisy to potwierdzają. Artykuł Johner Institute o obiektywnych dowodach, napisany z myślą o jakości wyrobów medycznych, ujmuje to tak: dokumentacja powinna być na tyle szczegółowa, aby osoba niezaangażowana mogła zrozumieć, co zostało zrobione i dlaczego wymagania są spełnione.
Ten sam artykuł opisuje cztery poziomy szczegółowości zapisów testowych, od zwykłego „zaliczono” lub „niezaliczono” aż po pełne nagranie wideo. Pierwszy poziom uznaje za niewystarczający, drugi według niego zapewnia ograniczoną identyfikowalność, a od trzeciego poziomu, czyli zrzutów ekranu, recenzenci powinni mieć wystarczająco dużo materiału do pracy. Artykuł stwierdza również, że sam wynik zaliczenia lub niezaliczenia nie jest rutynowo akceptowany.
Twoja branża może mieć własne zasady, ale w niemal każdym standardzie lub ramach regulacyjnych pojawiają się te same pytania:
- Co zostało przetestowane i wobec którego wymagania?
- Czego oczekiwano?
- Co się wydarzyło i kto lub co wykonało test?
- Kiedy i w jakim środowisku to się wydarzyło?
- Jeśli test zakończył się niepowodzeniem, co z tym zrobiono?
Dobry plik to taki, którego dowody odpowiadają na te pięć pytań bez potrzeby dodatkowej rozmowy. Traktuj to jako część gotowości audytowej zespołu testowego, aby być gotowym do audytu przez cały rok, a nie tylko w tygodniach poprzedzających przegląd.
Zautomatyzowane dowody testowe na potrzeby audytów: co zbierać
Przewodnik TestCollab dotyczący strategii dowodów testowych wymienia pięć rodzajów dowodów. Stanowią dobrą listę kontrolną dla każdej dokumentacji:
- Zrzuty ekranu i nagrania. Wizualny dowód stanów ekranu, komunikatów o błędach i awarii, który najbardziej pomaga w testach end-to-end prowadzonych w przeglądarce.
- Dzienniki wykonania. Szczegółowe zapisy tego, co zaliczono, co nie zaliczono i dlaczego.
- Załączniki. Dane testowe, migawki konfiguracji, odpowiedzi API lub wyeksportowane raporty.
- Metadane wykonania. Kto uruchomił test, kiedy, w którym środowisku i z jaką konfiguracją.
- Powiązania z defektami. Połączenie każdego niezaliczonego testu z jego zgłoszeniem błędu.
Automatyzacja zbierania dowodów to naturalny kolejny krok, a zespoły, które ją wdrażają, przestają polegać na pamięci. Narzędzie może dołączyć zrzut ekranu w razie niepowodzenia i przesłać wyniki wraz z załącznikami do systemu zarządzania testami. Zautomatyzowane dowody tego typu nie wymagają, by ktokolwiek cokolwiek pamiętał. Przewodnik zwraca uwagę na użyteczny fakt: dowód zebrany podczas testu jest dokładniejszy niż dowód odtworzony później. Dobre zbieranie dowodów, z zapisami przechowywanymi obok wyników, wygrywa z arkuszem kalkulacyjnym, który ktoś wypełnia tuż przed audytem.
Nie każdy test wymaga każdego artefaktu. Przewodnik sugeruje, że test dymny może wymagać jedynie statusu, test akceptacyjny może wymagać zrzutu ekranu każdego krytycznego ekranu, a test regresji może wymagać zapisów wykonania i opisu środowiska. Zapisz te zasady raz, osobno dla każdego typu testu, tak aby proces audytu nie opierał się na domysłach.
Zrzuty ekranu, dzienniki czy wideo: ile wystarczy
Johner wskazuje trzy kwestie, które oszczędzają czas.
- Zrzuty ekranu nie są wymogiem prawnym. To jeden ze sposobów pokazania, co się wydarzyło, na przykład że pojawiło się konkretne ostrzeżenie.
- Dzienniki mogą służyć jako dowód. Warunkiem jest zgodność danych wyjściowych ekranu z wpisami, ocena wyników względem wymagań, walidacja narzędzia do automatyzacji testów oraz spełnianie przez zapisy obowiązujących zasad, takich jak 21 CFR Part 11 dotyczące dokumentów elektronicznych w Stanach Zjednoczonych.
- Wideo ma swoje koszty. Pokazuje przebieg wykonania, ale nie ocenia wyniku, wymaga czasu na przegląd, zajmuje dużo miejsca w pamięci masowej i jest trudne do wykorzystania w testach regresji.
Projekt wytycznych FDA dotyczących computer software assurance, omówiony w artykule Jama Software, zmierza w tym samym kierunku. Według tego artykułu zrzuty ekranu nie są wymagane, a dzienniki systemowe, ścieżki audytu i inne dane elektroniczne mogą stanowić zapis. Zapis powinien wskazywać zamierzone zastosowanie, ustalenie poziomu ryzyka, wykonane działania zapewniające jakość, wszelkie wykryte problemy oraz wniosek, czy wyniki są akceptowalne. Artykuł opisuje też podejście oparte na ryzyku: testy skryptowe dla funkcji wysokiego ryzyka i testy nieskryptowe dla funkcji niższego ryzyka. Sprawdź, która wersja wytycznych ma zastosowanie do Ciebie, ponieważ artykuł opisuje wersję roboczą.
Praktyczna zasada brzmi: dostosuj szczegółowość zapisu do ryzyka. Prowadź pełne zapisy, z krokami, oczekiwanymi wynikami, zrzutami ekranu i dziennikami, tam gdzie awaria mogłaby zaszkodzić ludziom, finansom lub zgodności z przepisami.
Johner wspomina też o robotach testowych, które symulują działania użytkownika i rejestrują reakcje, przy czym AI może wspierać ocenę. Jeśli używasz AI do oceny wyników, traktuj wynik AI jako wersję roboczą, zachowaj odpowiedzialną osobę za werdykt i waliduj funkcje AI tak jak każdą inną część narzędzia. Werdykt AI bez zapisu uzasadnienia to słaby dowód, a kontrole prowadzone przez AI wymagają takiego samego zapisu jak każda inna kontrola. Rejestrowanie tego zapisu również można zautomatyzować.
Zadbaj, aby zapis był wiarygodny i łatwy do znalezienia
Ręczne zbieranie dowodów oznacza ręczną pracę, a ręczna praca sprzyja błędom ludzkim, szczególnie w sezonie audytów, gdy zespoły dołączają dowody ręcznie. Dowód, którego nie da się znaleźć lub który ktoś mógł edytować, jest słabym dowodem. Pomagają cztery nawyki.
- Powiąż każdy test z wymaganiem. TestCollab zaleca łączenie każdego testu z wymaganiem, które weryfikuje, dzięki czemu dowód pokazuje, który test objął które wymaganie i z jakim wynikiem. Macierz śledzenia może automatycznie tworzyć te powiązania.
- Zachowaj ścieżkę audytu wykonań testów. Przechowuj historię, tak aby recenzent mógł zobaczyć każde wykonanie testu, a nie tylko ostatnie zakończone powodzeniem. Nieudane wykonania, które zostały naprawione i powtórzone, powinny znaleźć się w historii.
- Kontroluj, kto może co zmieniać. Ogranicz prawa do edycji wyników i załączników oraz rejestruj, kto zmienił test lub jego oczekiwany rezultat. Zapytaj zespół jakości, czy potrzebujesz formalnych podpisów.
- Dodaj bramkę przeglądu. TestCollab sugeruje niestandardowy status, taki jak „Needs Evidence Review”, który blokuje oznaczenie testu jako zakończonego, dopóki nie zostaną dołączone wymagane artefakty.
Ten sam przewodnik proponuje trzy miary, które możesz śledzić:
- Pokrycie dowodami: udział wykonań testów, do których dołączono wymagane artefakty. Jego przykład: 60 procent przy zasadach wymagających zrzutów ekranu wskazuje na problem w procesie.
- Czas do uzyskania dowodu: jak szybko po wykonaniu testu dołączane są artefakty.
- Szybkość pobierania: czy możesz w mniej niż pięć minut zebrać kompletne dowody dla dowolnego wymagania, co przewodnik określa jako standard.
Pamiętaj, że przewodnik nie obejmuje tego, jak długo przechowywać rekordy ani jak zapobiegać manipulacjom. Odpowiedzi na te pytania wynikają z przepisów regulatora, umów i własnych zasad firmy. Jeśli Twoja firma działa również zgodnie z ramami zgodności, takimi jak SOC 2, zapytaj lidera ds. zgodności, czy te same rekordy mogą służyć obu celom, i połącz przepływ pracy testów z potokiem za pomocą integracji, tak aby rekordy trafiały do niego bez ręcznego kopiowania.
Które zadania dowodowe automatyzować, a które wymagają człowieka
Automatyzacja dowodów sprawdza się najlepiej w powtarzalnych krokach: zbieraniu danych z przebiegów testów, dołączaniu logów testów i zrzutów ekranu oraz powiązaniu każdego wyniku z jego wymaganiem. Naszym zdaniem oszczędza to żmudnego ręcznego zbierania dowodów przed każdą rundą przygotowań do audytu. Dowody uzupełniające powinna jednak nadal przejrzeć osoba, ponieważ tylko człowiek może ocenić, czy wspierają konkretną kontrolę lub wymaganie audytowe. Skrypty testów, logi testów i wyniki z przebiegów testów trzymaj w jednym repozytorium, które pełni rolę źródła prawdy, i – jeśli zespół jakości się na to zgadza – wykorzystuj te same dowody zgodności dla każdego ramowego standardu, który ich wymaga.
Przykład: od gorączkowego szukania do pięciu minut
Liczby są wymyślone.
Lider QA wspiera aplikację do fakturowania, która podlega wewnętrznemu przeglądowi kontroli. Zespół wykonuje 60 zautomatyzowanych testów przed każdym wydaniem. Przed przeglądem recenzent wybiera pięć wymagań i żąda dowodu na przeprowadzenie testów.
Pierwsza próba jest bolesna. Wyniki testów znajdują się w danych wyjściowych potoku, które wygasają po 30 dniach. Zrzuty ekranu istnieją tylko dla 27 z 60 wykonań, co daje pokrycie dowodami na poziomie 45 procent. Nikt nie potrafi wskazać, który test obejmuje noty kredytowe. Zespołowi zajmuje dwa dni udzielenie odpowiedzi, a i tak odpowiedź ma luki.
Po przeglądzie lider wprowadza cztery zmiany. Każdy test otrzymuje identyfikator wymagania. Potok dołącza zrzut ekranu i rekord wykonania do każdego nieudanego kroku, a końcowy zrzut ekranu do każdego krytycznego testu. Wyniki wraz z historią trafiają do repozytorium przechowywanego przez cały okres przeglądu, a status przeglądu blokuje zakończenie, dopóki nie zostaną dołączone artefakty. Lider pisze też jednostronicową zasadę dla każdego typu testu.
Podczas kolejnego przeglądu recenzent ponownie pyta o pięć wymagań. Zespół eksportuje historię dla każdego z nich w około pięć minut na wymaganie. Pokrycie dowodami wynosi teraz 58 z 60 wykonań, a dwa wyjątki to udokumentowane testy dymne z samym statusem, na co pozwala zasada.
Częste błędy
- Zapisywanie tylko wyniku zaliczony lub niezaliczony. Recenzent nie może stwierdzić, co zostało sprawdzone.
- Zbieranie dowodów po fakcie. Odtworzone rekordy są mniej dokładne i wyglądają słabiej.
- Rejestrowanie wszystkiego, zawsze. Pełne nagranie wideo każdego testu kosztuje miejsce na dysku i czas przeglądu, a mało kto do niego zagląda.
- Brak powiązania z wymaganiami. Bez identyfikowalności nie da się pokazać, co dany test dowodzi.
- Wyrzucanie historii. Recenzenci mogą pytać o nieudane wykonania, nie tylko o ostateczny wynik.
- Ślepe ufanie narzędziu testowemu. Jeśli jego rekordy są Twoim dowodem, narzędzie, które je wygenerowało, może samo wymagać walidacji.
Jak oprogramowanie może pomóc
Zacznij od systemu do zarządzania testami i od systemu CI. Mogą one przechowywać wyniki, dołączać artefakty i zachowywać historię. Niektóre narzędzia i platformy testowe oferują też funkcje gromadzenia dowodów. Genta by Cognillo jest jednym z przykładów. Według dostawcy narzędzie raportuje wynik zaliczenia lub niezaliczenia wraz z zrzutami ekranu, logami i artefaktami błędów oraz oferuje kontrolę dostępu opartą na rolach, dziennik audytu i eksport dashboardów do plików Excel, CSV lub PDF. Są to stwierdzenia dostawcy, które nie zostały przetestowane przez M365.FM. Porównaj narzędzia w pilotażu i sprawdź, czy zapisy spełniają Twoje własne wymagania zgodności.
Ujawnienie: Cognillo sponsoruje M365.FM.
Następny krok
Wybierz jedną funkcję podlegającą regulacjom i zapisz, które pięć faktów audytor musiałby zobaczyć w jej testach. Następnie sprawdź najnowsze wykonanie testu względem tej listy i na podstawie wykrytych luk ustal własną zasadę dotyczącą zautomatyzowanych dowodów testowych na potrzeby audytów.