Dev, staging, production: автоматизовані тести в кожному середовищі безпечно
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Як безпечно запускати автоматизовані тести в staging і production: що і де запускати, як налаштувати базові URL і секрети та як захистити реальні дані клієнтів.
Automatically translated with AI from the original post. Read the English original
Щоб безпечно запускати автоматизовані тести в staging і production, кожному середовищу призначте різне завдання: повний регресійний набір у staging і лише невеликий набір лише для читання в production. Цей посібник призначений для QA-лідів, яких просять тестувати частіше, не ризикуючи реальними клієнтами та реальними даними. Ви дізнаєтеся, для чого потрібне кожне середовище, що і де запускати, як налаштовувати URL і секрети, як поводитися з тестовими даними та які запобіжні механізми варто встановити. Наведений приклад з вигаданими цифрами показує розподіл, який може скопіювати невелика команда.
Головне
- Кожне середовище має своє завдання: development дає швидкий зворотний зв'язок, staging є фінальною перевіркою перед релізом, а production є живою системою, від якої залежать реальні користувачі.
- Повний регресійний набір, включно з деструктивними тестами, запускайте в staging, а в production обмежтеся невеликим smoke-набором лише для читання та плановими моніторами.
- Дайте кожному середовищу власний базовий URL, таймаути та політику повторних спроб, а облікові дані тримайте поза кодом тестів і поза репозиторієм.
- У staging використовуйте синтетичні або замасковані дані, а в production — окремі тестові облікові записи, які не враховуються в білінгу, аналітиці та звітах для клієнтів.
- Спочатку налаштуйте запобіжні механізми: моніторинг, план відкату, дії лише для читання та feature flags. Ніколи не вважайте production своєю першою лінією захисту.
Для чого потрібне кожне середовище
У посібнику Flagsmith щодо найкращих практик для тестових середовищ описано чотири середовища.
- Development ставить швидкий зворотний зв'язок вище за реалістичність. Розробники працюють локально або в спільній пісочниці.
- Testing або QA — це контрольоване середовище для функціональних, інтеграційних і регресійних тестів збірки.
- Staging налаштовано максимально близько до production і воно слугує фінальною перевіркою перед релізом.
- Production — це живе середовище, з яким взаємодіють користувачі.
Разом вони утворюють шлях релізу через управління життєвим циклом застосунку: код переходить з одного середовища в наступне, і кожен крок — це можливість дешево знайти проблеми.
Той самий посібник наводить два міркування, важливі для автоматизації. По-перше, що ближче тестове середовище до production, то більше довіри можна покласти на його результати, і відповідність має охоплювати операційні системи, версії залежностей і мережеву конфігурацію, а не лише код застосунку. По-друге, тестові середовища не повинні спільно використовувати бази даних, облікові дані чи інфраструктуру з production або між собою. Тест, який звертається до не тієї бази даних, — найшвидший спосіб перетворити запуск тестів на інцидент.
У DevOps-конвеєрі кожне розгортання може запускати різний набір автоматизованих тестів. Після злиття розгортання в тестове середовище виконує швидкі перевірки. Розгортання на наступний етап, staging, запускає повний набір, а реліз чекає на результат. Автоматизоване тестування на кожному етапі дає швидкий зворотний зв'язок, і перехід від одного етапу до наступного автоматизуйте лише тоді, коли перевірки пройдені. Той самий підхід працює незалежно від того, використовують UI-тести Selenium, Playwright чи інший інструмент.
Як запускати автоматизовані тести на staging і в production
Стаття TestDino Playwright Staging vs Production: What to Run Where чітко розділяє ці етапи, і цей поділ підходить для будь-якого інструмента.
На staging запускайте повний набір регресійних тестів. Сюди входять деструктивні тести, які видаляють облікові записи або очищують кошики, тести продуктивності та навантаження, візуальні регресійні тести і тести міграції баз даних. Для сторонніх сервісів використовуйте облікові дані пісочниці або тестового режиму. Staging підходить для кожного тесту, який записує дані або імітує граничний випадок.
У production запускайте невеликий димовий набір критичних сценаріїв, за оцінкою статті приблизно п'ять–десять потоків, а також синтетичний моніторинг за розкладом, приблизно кожні п'ять–п'ятнадцять хвилин. Додайте перевірки стану API лише для читання та подібні легкі перевірки. Правило статті суворе: кожен тест на робочій системі має бути лише для читання або використовувати повністю ізольовані тестові облікові записи.
Такий поділ добре узгоджується з ідеєю наскрізного тестування. Сценарії в браузері повільні й іноді нестабільні, тому довгий список залиште для стейджингу, а на живій системі запускайте лише кілька найважливіших сценаріїв. Позначайте тести, наприклад як smoke або destructive, щоб під час прогону в продакшені групу destructive можна було виключати за правилом, а не покладаючись на пам'ять.
Налаштування кожного середовища без витоку секретів
Розглядайте кожне середовище як окрему конфігурацію. TestDino пропонує визначати окремий проєкт для кожного середовища в Playwright, кожен із власною базовою URL-адресою, тайм-аутом і кількістю повторних спроб. У її прикладі на staging повторні спроби дозволені, а в production ні, і в production трасування та відео записуються лише у разі помилки. Цей підхід працює і в інших інструментах.
Правила для конфігурації та секретів:
- Не зберігайте облікові дані у файлах конфігурації. Завантажуйте значення для конкретного середовища з файлів середовища, які виключені з системи контролю версій, а в репозиторій додавайте лише файл-заповнювач зі списком назв змінних.
- Використовуйте сховище секретів вашої CI-платформи в конвеєрах. Стаття рекомендує брати секрети з налаштувань середовища CI, а не з файлів.
- Перевіряйте змінні перед запуском. Відсутня базова URL-адреса спричиняє заплутані помилки, тож перевірте, що кожна обов'язкова змінна задана, перш ніж почнеться перший тест.
- Опишіть обсяг production у конфігурації. Фільтруйте тести для production у конфігурації, а не лише прапорцями командного рядка, які хтось може забути.
- Версіонуйте опис середовища. Flagsmith радить керувати конфігурацією середовища через систему контролю версій, щоб неосновні зміни не призводили до розбіжностей і незрозумілих збоїв.
Для кожного середовища використовуйте окремий обліковий запис і надавайте кожному з них найменший доступ, який потрібен його тестам.
Тестові дані: синтетичні на staging, ізольовані в production
Дані – це друге місце, де безпечне й небезпечне тестування розходяться.
- Staging: використовуйте синтетичні, знеособлені або засіяні дані. Flagsmith радить відтворювати реальні сценарії за допомогою синтетичних даних, маскувати або знеособлювати будь-які робочі дані, які ви копіюєте, і оновлювати тестові дані за розкладом, а не дозволяти їм застаріти.
- Production: тут містяться реальні та чутливі дані клієнтів. TestDino радить використовувати виділені тестові облікові записи, які виключені з білінгу й аналітики та ніколи не з'являються у звітах для клієнтів. Якщо застосунок обробляє регульовані дані, вона пропонує окремі тестові клієнти з синтетичними даними.
- Унікальні дані для кожного запуску: генеруйте унікальні значення для кожного запуску, наприклад із міткою часу, і налаштовуйте стан через виклик API, а не через екран.
- Очищення: якщо тест має створити запис, видаляйте його після завершення через виклик API.
Посібник BugBug про тестування в production попереджає про незворотну шкоду. Серед прикладів того, чого не слід робити, – граничні випадки оплати реальними картками, міграції даних без резервних копій і перевірка меж дозволів на реальних користувачах.
Запобіжники перед тестуванням на робочій системі
Основне правило BugBug полягає в тому, що тестування в production працює лише тоді, коли спочатку налаштовано запобіжники. Їхній список короткий і практичний:
- Моніторинг, щоб збої помічали швидко, зокрема ті, які спричиняють самі тести.
- Дії лише для читання там, де це можливо, наприклад перевірка сторінки замість надсилання форми. Зупиняйтеся перед остаточними діями, як-от оформлення замовлення.
- Feature flags дозволяють показати зміну невеликій групі, поступово розширювати аудиторію та вимикати її без повторного розгортання. У посібнику також попереджають про забуті прапорці, які перетворюються на технічний борг.
- План відкату, визначений до тестування, адже відкат має бути рутинною операцією, а не героїчним вчинком.
- Виявлення, а не діагностика. Використовуйте тести в промисловому середовищі, щоб помітити проблему, а першопричину шукайте в іншому середовищі.
Посібник чітко окреслює межі: промислове середовище є останньою ланкою зворотного зв'язку, а не першою лінією захисту, а тестування в промисловому середовищі не є приводом пропускати QA.
Приклад: розподіл для набору з 120 тестів
Цифри вигадані.
У команди є 120 браузерних тестів і одне середовище staging. Сьогодні весь набір запускається на staging перед кожним релізом, а після виходу релізу нічого не запускається.
QA-лід формує три групи. Усі 120 тестів залишаються на staging, зокрема 18, позначених як деструктивні. Група smoke з 8 тестів лише для читання охоплює вхід, пошук, відкриття рахунку та завантаження звіту. Вона запускається в робочій системі після кожного релізу, а потім кожні 15 хвилин, використовуючи окремий тестовий обліковий запис без доступу до білінгу. Третя група з 4 перевірок стану API виконується кожні 5 хвилин.
Через два тижні група smoke о 2:00 ночі зривається, бо минув термін дії пароля тестового облікового запису. Сповіщення отримує інженер чергового чергування, який з журналу бачить, що причина в обліковому записі, а не в застосунку. Команда переносить пароль до сховища секретів CI з датою ротації. Жоден клієнт не постраждав, а команда усвідомила, що за тести в промисловому середовищі має відповідати конкретна людина.
Типові помилки
- Повний набір у промисловому середовищі. Деструктивні тести та тести, що змінюють дані, належать до staging.
- Спільна база даних або облікові дані для кількох середовищ. Одна помилкова URL-адреса тоді зачіпає реальні дані.
- Збереження паролів або токенів у репозиторії тестів. Використовуйте сховище секретів і файл-заглушку.
- Використання реальних облікових записів клієнтів як тестових. Використовуйте окремі облікові записи, які не потрапляють до білінгу та аналітики.
- Пропуск плану відкату. Вирішіть, як скасуєте невдалу зміну, до того, як її протестуєте.
- Дрейф staging від промислового середовища. Тести, що проходять на іншій конфігурації, мало про що говорять.
Як може допомогти програмне забезпечення
Почніть із того, що пропонують ваша CI-система та фреймворк тестування: проєкти для кожного середовища, сховище секретів, заплановані запуски та теги. Додайте інструмент моніторингу, який сповіщає про невдалі перевірки в промисловому середовищі. Деякі платформи для тестування поєднують ці складові. Genta by Cognillo є одним із прикладів: за словами постачальника, вона підтримує такі середовища, як development, staging і production, із зашифрованими змінними, плановими запусками та журналом аудиту. Це твердження постачальника, які M365.FM не перевіряв. Порівняйте її з іншими варіантами в пілотному проєкті та перевірте, як кожен інструмент зберігає секрети і хто може їх читати.
Розкриття інформації: Cognillo спонсорує M365.FM.
Наступний крок
Складіть перелік своїх середовищ і запишіть для кожного, які тести в ньому можна запускати, який обліковий запис використовувати та де зберігаються секрети. Потім винесіть один деструктивний тест із промислового середовища та використовуйте цей перелік, щоб запускати автоматизовані тести на staging і в промисловому середовищі за чіткими правилами.