Dev, staging, produkcja: bezpieczne uruchamianie zautomatyzowanych testów w każdym z tych środowisk
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Jak bezpiecznie uruchamiać zautomatyzowane testy w środowiskach staging i produkcyjnym: co uruchamiać w którym środowisku, jak konfigurować adresy bazowe i sekrety oraz jak chronić rzeczywiste dane klientów.
Automatically translated with AI from the original post. Read the English original
Aby bezpiecznie uruchamiać zautomatyzowane testy w środowiskach staging i produkcyjnym, przypisz każdemu środowisku inne zadanie: pełny zestaw testów regresji na stagingu, a na produkcji wyłącznie niewielki zestaw testów tylko do odczytu. Ten przewodnik jest przeznaczony dla liderów QA, których proszono o częstsze testowanie bez ryzyka dla rzeczywistych klientów i rzeczywistych danych. Dowiesz się, do czego służy każde środowisko, co uruchamiać w którym z nich, jak konfigurować adresy URL i sekrety, jak traktować dane testowe i jakie zabezpieczenia wdrożyć. Przykład z fikcyjnymi liczbami pokazuje podział, który może skopiować mały zespół.
Najważniejsze wnioski
- Każde środowisko ma swoje zadanie: środowisko deweloperskie zapewnia szybkie sprzężenie zwrotne, staging jest ostatnią kontrolą przed wdrożeniem, a produkcja to system działający na żywo, od którego zależą rzeczywiści użytkownicy.
- Pełny zestaw testów regresji, w tym testy destrukcyjne, uruchamiaj na stagingu, a na produkcji ogranicz się do małego zestawu testów dymnych tylko do odczytu oraz zaplanowanych monitorów.
- Każde środowisko powinno mieć własny adres bazowy, własne limity czasu i własną politykę ponawiania, a poświadczenia trzymaj poza kodem testów i poza repozytorium.
- Na stagingu używaj danych syntetycznych lub zanonimizowanych, a na produkcji dedykowanych kont testowych, które nie wpływają na rozliczenia, analitykę ani raporty dla klientów.
- Najpierw zbuduj zabezpieczenia: monitorowanie, plan wycofania zmian, akcje tylko do odczytu i flagi funkcji. Nigdy nie traktuj produkcji jako pierwszej linii obrony.
Do czego służy każde środowisko
Przewodnik Flagsmith dotyczący najlepszych praktyk dla środowisk testowych opisuje cztery środowiska.
- Deweloperskie stawia szybkie sprzężenie zwrotne przed realizmem. Deweloperzy pracują lokalnie lub we wspólnej piaskownicy.
- Testowe lub QA to kontrolowana przestrzeń do testów funkcjonalnych, integracyjnych i regresji na konkretnej wersji kompilacji.
- Staging jest skonfigurowany tak, aby jak najbardziej odpowiadać produkcji, i służy jako ostatnia kontrola przed wdrożeniem.
- Produkcja to środowisko na żywo, z którym wchodzą w interakcje użytkownicy.
Razem tworzą one ścieżkę wydania przez zarządzanie cyklem życia aplikacji: kod przechodzi z jednego środowiska do następnego, a każdy etap to szansa na tanie wykrycie problemów.
Ten sam przewodnik zwraca uwagę na dwie kwestie istotne dla automatyzacji. Po pierwsze, im bardziej środowisko testowe odpowiada produkcji, tym większe zaufanie można mieć do jego wyników, a zgodność powinna obejmować systemy operacyjne, wersje zależności i konfigurację sieci, a nie tylko kod aplikacji. Po drugie, środowiska testowe nie powinny współdzielić baz danych, poświadczeń ani infrastruktury z produkcją ani między sobą. Test, który dotyka niewłaściwej bazy danych, to najszybsza droga do przekształcenia przebiegu testów w incydent.
W potoku DevOps każde wdrożenie może uruchamiać inny zestaw zautomatyzowanych testów. Po scaleniu zmian wdrożenie do środowiska testowego uruchamia szybkie kontrole. Wdrożenie na kolejny etap, staging, uruchamia pełny zestaw testów, a wydanie czeka na wynik. Zautomatyzowane testy na każdym etapie dają szybkie sprzężenie zwrotne, a przejście do następnego etapu automatyzujesz dopiero wtedy, gdy kontrole zakończą się powodzeniem. Podejście to sprawdza się niezależnie od tego, czy testy interfejsu używają Selenium, Playwright czy innego narzędzia.
Jak uruchamiać automatyczne testy na środowisku testowym i produkcyjnym
Artykuł TestDino Playwright Staging vs Production: What to Run Where przedstawia wyraźny podział i sprawdza się w przypadku każdego narzędzia.
Na środowisku testowym (staging) uruchamiaj pełny zestaw testów regresji. Obejmuje on testy destrukcyjne, które usuwają konta lub czyszczą koszyki, testy wydajności i obciążenia, testy regresji wizualnej oraz testy migracji bazy danych. W przypadku usług zewnętrznych używaj poświadczeń sandboxowych lub trybu testowego. Środowisko testowe to miejsce dla każdego testu, który zapisuje dane lub symuluje przypadek brzegowy.
Na środowisku produkcyjnym uruchamiaj mały zestaw testów dymnych (smoke) obejmujący krytyczne ścieżki, które autor artykułu szacuje na mniej więcej pięć do dziesięciu przepływów, a także syntetyczne monitory działające według harmonogramu, mniej więcej co pięć do piętnastu minut. Dodaj kontrole stanu API tylko do odczytu i podobne lekkie sprawdzenia. Zasada z artykułu jest rygorystyczna: każdy test uruchamiany na działającym systemie musi być tylko do odczytu albo korzystać wyłącznie z odizolowanych kont testowych.
Taki podział dobrze pasuje do idei testowania end-to-end. Scenariusze w przeglądarce są wolne i czasem niestabilne, dlatego długą listę testów zostaw na środowisku testowym, a na działającym systemie uruchamiaj tylko kilka najważniejszych scenariuszy. Oznaczaj testy etykietami, na przykład jako smoke lub destructive, aby uruchomienie produkcyjne wykluczało grupę destrukcyjną na podstawie reguły, a nie pamięci.
Konfiguruj każde środowisko bez ujawniania sekretów
Traktuj każde środowisko jako osobną konfigurację. TestDino sugeruje zdefiniowanie w Playwright osobnego projektu dla każdego środowiska, z własnym adresem bazowym, limitem czasu i liczbą ponowień. W jego przykładzie środowisko testowe dopuszcza ponowienia, a produkcyjne ich nie dopuszcza, a na produkcji ślady i nagrania wideo są zapisywane wyłącznie w przypadku błędu. Ta idea sprawdza się również w innych narzędziach.
Zasady dotyczące konfiguracji i sekretów:
- Nie przechowuj poświadczeń w plikach konfiguracyjnych. Wczytuj wartości специficzne dla środowiska z plików środowiskowych wykluczonych z kontroli wersji, a w repozytorium zapisuj wyłącznie plik-szablon z listą nazw zmiennych.
- Używaj magazynu sekretów platformy CI w potokach. Artykuł zaleca pobieranie sekretów z ustawień środowiska CI zamiast z plików.
- Waliduj zmienne przed uruchomieniem. Brak adresu bazowego powoduje mylące błędy, dlatego przed startem pierwszego testu sprawdź, czy ustawiono każdą wymaganą zmienną.
- Zapisz zakres testów produkcyjnych w konfiguracji. Filtruj testy produkcyjne w konfiguracji, a nie tylko za pomocą flag wiersza poleceń, o których ktoś może zapomnieć.
- Wersjonuj definicję środowiska. Flagsmith radzi zarządzać konfiguracją środowiska w systemie kontroli wersji, aby niezarejestrowane zmiany nie powodowały rozbieżności i niewyjaśnionych awarii.
Każde środowisko powinno mieć osobne konto, a każde konto – najmniejszy zakres uprawnień, jakiego wymagają jego testy.
Dane testowe: syntetyczne na środowisku testowym, odizolowane na produkcji
Dane to drugie miejsce, w którym bezpieczne i niebezpieczne testowanie się rozchodzą.
- Środowisko testowe: używaj danych syntetycznych, zanonimizowanych lub wygenerowanych wstępnie. Flagsmith radzi odwzorowywać rzeczywiste scenariusze za pomocą danych syntetycznych, maskować lub anonimizować wszelkie dane produkcyjne, które kopiujesz, oraz regularnie odświeżać dane testowe zamiast pozwalać, by się zdezaktualizowały.
- Produkcja: środowisko zawiera rzeczywiste i wrażliwe dane klientów. TestDino zaleca dedykowane konta testowe wyłączone z rozliczeń i analityki, które nigdy nie pojawiają się w raportach widocznych dla klientów. Jeśli aplikacja przetwarza dane regulowane, sugeruje dedykowane dzierżawy testowe z danymi syntetycznymi.
- Unikalne dane w każdym przebiegu: generuj unikalne wartości dla każdego uruchomienia, na przykład z użyciem znacznika czasu, i przygotowuj stan przez wywołanie API zamiast przez interfejs ekranowy.
- Sprzątanie: jeśli test musi utworzyć rekord, usuń go po zakończeniu za pomocą wywołania API.
Przewodnik BugBug o testowaniu produkcyjnym ostrzega przed nieodwracalnymi szkodami. Wśród przykładów tego, czego nie robić, wymienia przypadki brzegowe płatności z prawdziwymi kartami, migracje danych bez kopii zapasowych oraz testowanie granic uprawnień na prawdziwych użytkownikach.
Zabezpieczenia przed testowaniem w działającym systemie
Centralna zasada BugBug mówi, że testowanie produkcyjne ma sens tylko wtedy, gdy najpierw wdroży się zabezpieczenia. Jego lista jest krótka i praktyczna:
- Monitorowanie, dzięki któremu awarie są szybko wykrywane, także te, które same testy wywołują.
- Operacje tylko do odczytu tam, gdzie to możliwe, na przykład sprawdzenie strony zamiast wysłania formularza. Zatrzymaj się przed działaniami końcowymi, takimi jak złożenie zamówienia.
- Flagi funkcji, dzięki którym zmianę udostępnisz niewielkiej grupie, stopniowo zwiększysz jej zasięg i wyłączysz bez ponownego wdrażania. Przewodnik ostrzega też przed zapomnianymi flagami, które zamieniają się w dług technologiczny.
- Plan wycofania zmian określony przed testem, ponieważ wycofywanie zmian powinno być nudne, a nie heroiczne.
- Wykrywanie, a nie diagnozowanie. Używaj testów produkcyjnych do sygnalizowania problemu, a przyczynę źródłową znajduj w innym środowisku.
Przewodnik jasno określa granice: produkcja jest ostatnią pętlą informacji zwrotnej, a nie pierwszą linią obrony, a testowanie na produkcji nie jest pretekstem do pominięcia QA.
Przykład: podział zestawu 120 testów
Liczby są wymyślone.
Zespół ma 120 testów przeglądarkowych i jedno środowisko testowe (staging). Obecnie cały zestaw jest uruchamiany na stagingu przed każdym wydaniem, a po publikacji wydania nie uruchamia się nic.
Kierownik QA tworzy trzy grupy. Wszystkie 120 testów pozostaje na stagingu, w tym 18 oznaczonych jako destrukcyjne. Grupa smoke, złożona z 8 testów tylko do odczytu, obejmuje logowanie, wyszukiwanie, otwieranie faktury i pobieranie raportu. Uruchamia się ją na systemie produkcyjnym po każdym wydaniu, a następnie co 15 minut, przy użyciu dedykowanego konta testowego bez dostępu do rozliczeń. Trzecia grupa, obejmująca 4 kontrole stanu API, działa co 5 minut.
Dwa tygodnie później grupa smoke zawodzi o 2:00 w nocy, ponieważ wygasło hasło do konta testowego. Alert trafia do inżyniera dyżurnego, który z logu widzi, że przyczyną jest konto, a nie aplikacja. Zespół przenosi hasło do magazynu sekretów CI z datą rotacji. Żaden klient nie odczuł skutków, a zespół przekonał się, że testy produkcyjne wymagają właściciela.
Częste błędy
- Uruchamianie pełnego zestawu na produkcji. Testy destrukcyjne i zapisujące dane należą do stagingu.
- Współdzielenie bazy danych lub danych uwierzytelniających między środowiskami. Jeden błędny adres URL może wtedy naruszyć prawdziwe dane.
- Zapisywanie haseł lub tokenów w repozytorium testów. Używaj magazynu sekretów i pliku z symbolami zastępczymi.
- Używanie prawdziwych kont klientów jako kont testowych. Używaj dedykowanych kont, które nie wpływają na rozliczenia i analitykę.
- Pomijanie planu wycofania zmian. Zdecyduj, jak cofniesz błędną zmianę, zanim ją przetestujesz.
- Dopuszczanie do rozjazdu stagingu z produkcją. Testy zaliczone w innej konfiguracji mówią niewiele.
Jak oprogramowanie może pomóc
Zacznij od tego, co oferują system CI i framework testowy: projekty dla poszczególnych środowisk, magazyn sekretów, zaplanowane uruchomienia i tagi. Dodaj narzędzie monitorujące, które zgłasza nieudane kontrole produkcyjne. Niektóre platformy testowe łączą te elementy w jedno. Genta by Cognillo to jeden z przykładów: według dostawcy obsługuje środowiska, takie jak development, staging i production, z zaszyfrowanymi zmiennymi, zaplanowanymi uruchomieniami i dziennikiem audytu. To stwierdzenia dostawcy, które nie zostały sprawdzone przez M365.FM. Porównaj je z innymi opcjami w pilotażu i sprawdź, jak każde narzędzie przechowuje sekrety i kto może je odczytać.
Ujawnienie: Cognillo sponsoruje M365.FM.
Następny krok
Wypisz swoje środowiska i zapisz przy każdym z nich, które testy mogą na nim działać, z jakiego konta korzystają i gdzie przechowywane są sekrety. Następnie przenieś jeden test destrukcyjny poza produkcję i wykorzystaj tę listę do uruchamiania zautomatyzowanych testów na stagingu i produkcji z jasnymi zasadami.