M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Dev, staging, production: автоматизовані тести в кожному середовищі безпечно

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Як безпечно запускати автоматизовані тести в staging і production: що і де запускати, як налаштувати базові URL і секрети та як захистити реальні дані клієнтів.

Automatically translated with AI from the original post. Read the English original

Щоб безпечно запускати автоматизовані тести в staging і production, кожному середовищу призначте різне завдання: повний регресійний набір у staging і лише невеликий набір лише для читання в production. Цей посібник призначений для QA-лідів, яких просять тестувати частіше, не ризикуючи реальними клієнтами та реальними даними. Ви дізнаєтеся, для чого потрібне кожне середовище, що і де запускати, як налаштовувати URL і секрети, як поводитися з тестовими даними та які запобіжні механізми варто встановити. Наведений приклад з вигаданими цифрами показує розподіл, який може скопіювати невелика команда.

Головне

  • Кожне середовище має своє завдання: development дає швидкий зворотний зв'язок, staging є фінальною перевіркою перед релізом, а production є живою системою, від якої залежать реальні користувачі.
  • Повний регресійний набір, включно з деструктивними тестами, запускайте в staging, а в production обмежтеся невеликим smoke-набором лише для читання та плановими монітора­ми.
  • Дайте кожному середовищу власний базовий URL, таймаути та політику повторних спроб, а облікові дані тримайте поза кодом тестів і поза репозиторієм.
  • У staging використовуйте синтетичні або замасковані дані, а в production — окремі тестові облікові записи, які не враховуються в білінгу, аналітиці та звітах для клієнтів.
  • Спочатку налаштуйте запобіжні механізми: моніторинг, план відкату, дії лише для читання та feature flags. Ніколи не вважайте production своєю першою лінією захисту.

Для чого потрібне кожне середовище

У посібнику Flagsmith щодо найкращих практик для тестових середовищ описано чотири середовища.

  • Development ставить швидкий зворотний зв'язок вище за реалістичність. Розробники працюють локально або в спільній пісочниці.
  • Testing або QA — це контрольоване середовище для функціональних, інтеграційних і регресійних тестів збірки.
  • Staging налаштовано максимально близько до production і воно слугує фінальною перевіркою перед релізом.
  • Production — це живе середовище, з яким взаємодіють користувачі.

Разом вони утворюють шлях релізу через управління життєвим циклом застосунку: код переходить з одного середовища в наступне, і кожен крок — це можливість дешево знайти проблеми.

Той самий посібник наводить два міркування, важливі для автоматизації. По-перше, що ближче тестове середовище до production, то більше довіри можна покласти на його результати, і відповідність має охоплювати операційні системи, версії залежностей і мережеву конфігурацію, а не лише код застосунку. По-друге, тестові середовища не повинні спільно використовувати бази даних, облікові дані чи інфраструктуру з production або між собою. Тест, який звертається до не тієї бази даних, — найшвидший спосіб перетворити запуск тестів на інцидент.

У DevOps-конвеєрі кожне розгортання може запускати різний набір автоматизованих тестів. Після злиття розгортання в тестове середовище виконує швидкі перевірки. Розгортання на наступний етап, staging, запускає повний набір, а реліз чекає на результат. Автоматизоване тестування на кожному етапі дає швидкий зворотний зв'язок, і перехід від одного етапу до наступного автоматизуйте лише тоді, коли перевірки пройдені. Той самий підхід працює незалежно від того, використовують UI-тести Selenium, Playwright чи інший інструмент.

Як запускати автоматизовані тести на staging і в production

Стаття TestDino Playwright Staging vs Production: What to Run Where чітко розділяє ці етапи, і цей поділ підходить для будь-якого інструмента.

На staging запускайте повний набір регресійних тестів. Сюди входять деструктивні тести, які видаляють облікові записи або очищують кошики, тести продуктивності та навантаження, візуальні регресійні тести і тести міграції баз даних. Для сторонніх сервісів використовуйте облікові дані пісочниці або тестового режиму. Staging підходить для кожного тесту, який записує дані або імітує граничний випадок.

У production запускайте невеликий димовий набір критичних сценаріїв, за оцінкою статті приблизно п'ять–десять потоків, а також синтетичний моніторинг за розкладом, приблизно кожні п'ять–п'ятнадцять хвилин. Додайте перевірки стану API лише для читання та подібні легкі перевірки. Правило статті суворе: кожен тест на робочій системі має бути лише для читання або використовувати повністю ізольовані тестові облікові записи.

Такий поділ добре узгоджується з ідеєю наскрізного тестування. Сценарії в браузері повільні й іноді нестабільні, тому довгий список залиште для стейджингу, а на живій системі запускайте лише кілька найважливіших сценаріїв. Позначайте тести, наприклад як smoke або destructive, щоб під час прогону в продакшені групу destructive можна було виключати за правилом, а не покладаючись на пам'ять.

Налаштування кожного середовища без витоку секретів

Розглядайте кожне середовище як окрему конфігурацію. TestDino пропонує визначати окремий проєкт для кожного середовища в Playwright, кожен із власною базовою URL-адресою, тайм-аутом і кількістю повторних спроб. У її прикладі на staging повторні спроби дозволені, а в production ні, і в production трасування та відео записуються лише у разі помилки. Цей підхід працює і в інших інструментах.

Правила для конфігурації та секретів:

  1. Не зберігайте облікові дані у файлах конфігурації. Завантажуйте значення для конкретного середовища з файлів середовища, які виключені з системи контролю версій, а в репозиторій додавайте лише файл-заповнювач зі списком назв змінних.
  2. Використовуйте сховище секретів вашої CI-платформи в конвеєрах. Стаття рекомендує брати секрети з налаштувань середовища CI, а не з файлів.
  3. Перевіряйте змінні перед запуском. Відсутня базова URL-адреса спричиняє заплутані помилки, тож перевірте, що кожна обов'язкова змінна задана, перш ніж почнеться перший тест.
  4. Опишіть обсяг production у конфігурації. Фільтруйте тести для production у конфігурації, а не лише прапорцями командного рядка, які хтось може забути.
  5. Версіонуйте опис середовища. Flagsmith радить керувати конфігурацією середовища через систему контролю версій, щоб неосновні зміни не призводили до розбіжностей і незрозумілих збоїв.

Для кожного середовища використовуйте окремий обліковий запис і надавайте кожному з них найменший доступ, який потрібен його тестам.

Тестові дані: синтетичні на staging, ізольовані в production

Дані – це друге місце, де безпечне й небезпечне тестування розходяться.

  • Staging: використовуйте синтетичні, знеособлені або засіяні дані. Flagsmith радить відтворювати реальні сценарії за допомогою синтетичних даних, маскувати або знеособлювати будь-які робочі дані, які ви копіюєте, і оновлювати тестові дані за розкладом, а не дозволяти їм застаріти.
  • Production: тут містяться реальні та чутливі дані клієнтів. TestDino радить використовувати виділені тестові облікові записи, які виключені з білінгу й аналітики та ніколи не з'являються у звітах для клієнтів. Якщо застосунок обробляє регульовані дані, вона пропонує окремі тестові клієнти з синтетичними даними.
  • Унікальні дані для кожного запуску: генеруйте унікальні значення для кожного запуску, наприклад із міткою часу, і налаштовуйте стан через виклик API, а не через екран.
  • Очищення: якщо тест має створити запис, видаляйте його після завершення через виклик API.

Посібник BugBug про тестування в production попереджає про незворотну шкоду. Серед прикладів того, чого не слід робити, – граничні випадки оплати реальними картками, міграції даних без резервних копій і перевірка меж дозволів на реальних користувачах.

Запобіжники перед тестуванням на робочій системі

Основне правило BugBug полягає в тому, що тестування в production працює лише тоді, коли спочатку налаштовано запобіжники. Їхній список короткий і практичний:

  • Моніторинг, щоб збої помічали швидко, зокрема ті, які спричиняють самі тести.
  • Дії лише для читання там, де це можливо, наприклад перевірка сторінки замість надсилання форми. Зупиняйтеся перед остаточними діями, як-от оформлення замовлення.
  • Feature flags дозволяють показати зміну невеликій групі, поступово розширювати аудиторію та вимикати її без повторного розгортання. У посібнику також попереджають про забуті прапорці, які перетворюються на технічний борг.
  • План відкату, визначений до тестування, адже відкат має бути рутинною операцією, а не героїчним вчинком.
  • Виявлення, а не діагностика. Використовуйте тести в промисловому середовищі, щоб помітити проблему, а першопричину шукайте в іншому середовищі.

Посібник чітко окреслює межі: промислове середовище є останньою ланкою зворотного зв'язку, а не першою лінією захисту, а тестування в промисловому середовищі не є приводом пропускати QA.

Приклад: розподіл для набору з 120 тестів

Цифри вигадані.

У команди є 120 браузерних тестів і одне середовище staging. Сьогодні весь набір запускається на staging перед кожним релізом, а після виходу релізу нічого не запускається.

QA-лід формує три групи. Усі 120 тестів залишаються на staging, зокрема 18, позначених як деструктивні. Група smoke з 8 тестів лише для читання охоплює вхід, пошук, відкриття рахунку та завантаження звіту. Вона запускається в робочій системі після кожного релізу, а потім кожні 15 хвилин, використовуючи окремий тестовий обліковий запис без доступу до білінгу. Третя група з 4 перевірок стану API виконується кожні 5 хвилин.

Через два тижні група smoke о 2:00 ночі зривається, бо минув термін дії пароля тестового облікового запису. Сповіщення отримує інженер чергового чергування, який з журналу бачить, що причина в обліковому записі, а не в застосунку. Команда переносить пароль до сховища секретів CI з датою ротації. Жоден клієнт не постраждав, а команда усвідомила, що за тести в промисловому середовищі має відповідати конкретна людина.

Типові помилки

  • Повний набір у промисловому середовищі. Деструктивні тести та тести, що змінюють дані, належать до staging.
  • Спільна база даних або облікові дані для кількох середовищ. Одна помилкова URL-адреса тоді зачіпає реальні дані.
  • Збереження паролів або токенів у репозиторії тестів. Використовуйте сховище секретів і файл-заглушку.
  • Використання реальних облікових записів клієнтів як тестових. Використовуйте окремі облікові записи, які не потрапляють до білінгу та аналітики.
  • Пропуск плану відкату. Вирішіть, як скасуєте невдалу зміну, до того, як її протестуєте.
  • Дрейф staging від промислового середовища. Тести, що проходять на іншій конфігурації, мало про що говорять.

Як може допомогти програмне забезпечення

Почніть із того, що пропонують ваша CI-система та фреймворк тестування: проєкти для кожного середовища, сховище секретів, заплановані запуски та теги. Додайте інструмент моніторингу, який сповіщає про невдалі перевірки в промисловому середовищі. Деякі платформи для тестування поєднують ці складові. Genta by Cognillo є одним із прикладів: за словами постачальника, вона підтримує такі середовища, як development, staging і production, із зашифрованими змінними, плановими запусками та журналом аудиту. Це твердження постачальника, які M365.FM не перевіряв. Порівняйте її з іншими варіантами в пілотному проєкті та перевірте, як кожен інструмент зберігає секрети і хто може їх читати.

Розкриття інформації: Cognillo спонсорує M365.FM.

Наступний крок

Складіть перелік своїх середовищ і запишіть для кожного, які тести в ньому можна запускати, який обліковий запис використовувати та де зберігаються секрети. Потім винесіть один деструктивний тест із промислового середовища та використовуйте цей перелік, щоб запускати автоматизовані тести на staging і в промисловому середовищі за чіткими правилами.

Entities in this article

End-to-end testing Application lifecycle management (ALM) Genta Automation

Related articles

RSS