Разработка, staging, production: безопасный запуск автотестов в каждой среде
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Как безопасно запускать автоматические тесты в staging и production: что и где запускать, как настроить базовые URL и секреты и как защитить реальные данные клиентов.
Automatically translated with AI from the original post. Read the English original
Чтобы безопасно запускать автоматические тесты в staging и production, дайте каждой среде свою задачу: полный регрессионный набор в staging и только небольшой набор только для чтения в production. Это руководство для QA-лидов, которых просят тестировать чаще, не рискуя реальными клиентами и реальными данными. Вы узнаете, для чего нужна каждая среда, что и где запускать, как настраивать URL и секреты, как работать с тестовыми данными и какие защитные механизмы установить. Пример с вымышленными цифрами показывает разделение, которое может повторить небольшая команда.
Ключевые выводы
- У каждой среды своя задача: разработка дает быструю обратную связь, staging — финальная проверка перед релизом, а production — живая система, от которой зависят реальные пользователи.
- Полный регрессионный набор, включая деструктивные тесты, запускайте в staging, а в production оставляйте небольшой smoke-набор только для чтения и плановые мониторы.
- Для каждой среды задавайте собственный базовый URL, таймауты и политику повторных попыток, а учетные данные держите вне тестового кода и репозитория.
- В staging используйте синтетические или обезличенные данные, а в production — выделенные тестовые учетные записи, которые не попадают в биллинг, аналитику и клиентские отчеты.
- Сначала создайте защитные механизмы: мониторинг, план отката, действия только для чтения и feature flags. Никогда не считайте production своей первой линией обороны.
Для чего нужна каждая среда
В руководстве Flagsmith по лучшим практикам для тестовых сред описаны четыре среды.
- Разработка ставит быструю обратную связь выше реалистичности. Разработчики работают локально или в общей песочнице.
- Тестирование, или QA, — это контролируемая среда для функциональных, интеграционных и регрессионных тестов сборки.
- Staging настроена так, чтобы максимально повторять production, и служит финальной проверкой перед релизом.
- Production — это живая среда, с которой взаимодействуют пользователи.
Вместе они образуют путь релиза через управление жизненным циклом приложений: код переходит из одной среды в другую, и каждый шаг — это возможность недорого найти проблемы.
В том же руководстве сделаны два важных для автоматизации замечания. Во-первых, чем ближе тестовая среда к production, тем больше доверия заслуживают ее результаты, и соответствие должно касаться операционных систем, версий зависимостей и сетевой конфигурации, а не только кода приложения. Во-вторых, тестовые среды не должны делить базы данных, учетные данные или инфраструктуру ни с production, ни друг с другом. Тест, который обращается к не той базе данных, — самый быстрый способ превратить прогон тестов в инцидент.
В конвейере DevOps каждое развертывание может запускать свой набор автоматических тестов. После слияния развертывание в тестовую среду запускает быстрые проверки. Развертывание на следующий этап, в staging, запускает полный набор, и релиз ждет результата. Автоматическое тестирование на каждом этапе дает быструю обратную связь, а переход с одного этапа на другой автоматизируется только при успешных проверках. Этот подход работает независимо от того, используют ли UI-тесты Selenium, Playwright или другой инструмент.
Как запускать автоматические тесты в staging и production
В статье TestDino Playwright Staging vs Production: What to Run Where есть чёткое разделение, и оно подходит для любого инструмента.
В staging запускайте полный набор регрессионных тестов. Сюда входят деструктивные тесты, которые удаляют учётные записи или очищают корзины, тесты производительности и нагрузочные тесты, визуальные регрессионные тесты и тесты миграций базы данных. Для сторонних сервисов используйте учётные данные песочницы или тестового режима. Staging предназначен для всех тестов, которые записывают данные или имитируют пограничный случай.
В production запускайте небольшой smoke-набор критических сценариев, по мнению автора статьи, примерно из пяти–десяти потоков, а также синтетический мониторинг по расписанию, примерно каждые пять–пятнадцать минут. Добавьте проверки работоспособности API только на чтение и другие лёгкие проверки. Правило статьи строгое: каждый тест на боевой системе должен быть только на чтение или использовать полностью изолированные тестовые учётные записи.
Такое разделение соответствует идее [[end-to-end testing]] end-to-end testing. Браузерные сценарии медленные и иногда нестабильные, поэтому длинный список оставляйте для staging, а на боевой системе запускайте только несколько самых важных сценариев. Помечайте тесты, например как smoke или destructive, чтобы прогон в production исключал деструктивную группу по правилу, а не по памяти.
Настройка каждого окружения без утечки секретов
Рассматривайте каждое окружение как отдельную конфигурацию. TestDino предлагает определять в Playwright отдельный проект для каждого окружения, с собственным базовым URL, таймаутом и количеством повторов. В его примере в staging повторы разрешены, а в production нет, и трассировки и видео в production записываются только при сбое. Этот подход работает и в других инструментах.
Правила для конфигурации и секретов:
- Не храните учётные данные в конфигурационных файлах. Загружайте значения для конкретного окружения из файлов окружения, которые исключены из системы контроля версий, а в репозиторий коммитьте только файл-шаблон со списком имён переменных.
- Используйте хранилище секретов CI-платформы в пайплайнах. Статья рекомендует брать секреты из настроек окружения CI, а не из файлов.
- Проверяйте переменные перед запуском. Отсутствующий базовый URL приводит к запутанным ошибкам, поэтому убедитесь, что все обязательные переменные заданы, до старта первого теста.
- Задавайте область тестов production в конфигурации. Фильтруйте тесты для production в конфигурации, а не только флагами командной строки, которые кто-то может забыть.
- Версионируйте описание окружений. Flagsmith советует управлять конфигурацией окружений под контролем версий, чтобы неотслеживаемые изменения не приводили к расхождениям и необъяснимым сбоям.
Используйте отдельную учётную запись для каждого окружения и выдавайте каждой учётной записи минимальные разрешения, которые нужны её тестам.
Тестовые данные: синтетические в staging, изолированные в production
Данные — второе место, где безопасное и небезопасное тестирование расходятся.
- Staging: используйте синтетические, обезличенные или заранее подготовленные данные. Flagsmith советует моделировать реальные сценарии на синтетических данных, маскировать или обезличивать любые производственные данные, которые вы копируете, и регулярно обновлять тестовые данные по расписанию, чтобы они не устаревали.
- Production: здесь находятся реальные и чувствительные данные клиентов. TestDino рекомендует выделенные тестовые учётные записи, которые исключены из биллинга и аналитики и никогда не появляются в отчётах для клиентов. Если приложение работает с регулируемыми данными, он предлагает выделенные тестовые клиенты с синтетическими данными.
- Уникальные данные для каждого прогона: генерируйте уникальные значения для каждого запуска, например с помощью отметки времени, и подготавливайте состояние через вызов API, а не через экран.
- Очистка: если тесту нужно создать запись, удалите её потом через вызов API.
Руководство BugBug по production testing содержит предупреждение о необратимом вреде. В числе примеров того, чего делать не стоит, есть граничные случаи оплаты реальными картами, миграции данных без резервных копий и проверка границ разрешений с реальными пользователями.
Защитные механизмы перед тестированием на боевой системе
Главное правило BugBug состоит в том, что тестирование production работает только тогда, когда сначала настроены защитные механизмы. Его список короткий и практичный:
- Мониторинг, чтобы сбои обнаруживались быстро, включая сбои, которые вызывают сами тесты.
- Действия только для чтения там, где это возможно, например проверка страницы вместо отправки формы. Остановитесь до финальных действий, таких как оформление заказа.
- Feature flags позволяют показать изменение небольшой группе, постепенно расширять аудиторию и отключить функцию без повторного развёртывания. В руководстве также предупреждают о забытых флагах, которые превращаются в технический долг.
- План отката, определённый до тестирования, потому что откаты должны быть рутинной операцией, а не подвигом.
- Обнаружение, а не диагностика. Используйте тесты в продакшене, чтобы выявить проблему, а первопричину ищите в другой среде.
В руководстве ограничения сформулированы прямо: продакшен — это финальный контур обратной связи, а не первая линия защиты, и тестирование в продакшене не является поводом пропускать QA.
Пример: разделение набора из 120 тестов
Цифры условные.
У команды 120 браузерных тестов и одна тестовая среда (staging). Сегодня весь набор запускается на staging перед каждым релизом, а после выхода релиза ничего не запускается.
QA-лид формирует три группы. Все 120 тестов остаются на staging, включая 18, помеченных как деструктивные. Группа smoke из 8 тестов только для чтения охватывает вход, поиск, открытие счёта и загрузку отчёта. Она запускается в боевой системе после каждого релиза, а затем каждые 15 минут, используя выделенную тестовую учётную запись без доступа к биллингу. Третья группа из 4 проверок работоспособности API запускается каждые 5 минут.
Через две недели группа smoke падает в 2 часа ночи, потому что истёк срок действия пароля тестовой учётной записи. Оповещение получает дежурный инженер, который по журналу видит, что причина в учётной записи, а не в приложении. Команда переносит пароль в хранилище секретов CI с датой ротации. Ни один клиент не пострадал, а команда усвоила, что у тестов в продакшене должен быть владелец.
Распространённые ошибки
- Запуск полного набора в продакшене. Деструктивные тесты и тесты с записью данных место имеют в staging.
- Общая база данных или общие учётные данные для разных сред. Одна неверная ссылка тогда затронет реальные данные.
- Хранение паролей или токенов в репозитории тестов. Используйте хранилище секретов и файл-заглушку.
- Использование реальных учётных записей клиентов в качестве тестовых. Используйте выделенные учётные записи, которые не попадают в биллинг и аналитику.
- Пропуск плана отката. Решите, как вы отмените неудачное изменение, до того как его протестируете.
- Расхождение staging с продакшеном. Тесты, которые проходят на другой конфигурации, мало что говорят.
Как может помочь программное обеспечение
Начните с того, что предлагают ваша CI-система и фреймворк для тестирования: проекты для каждой среды, хранилище секретов, запуск по расписанию и теги. Добавьте инструмент мониторинга, который оповещает о падении проверок в продакшене. Некоторые платформы для тестирования объединяют эти компоненты. Genta by Cognillo — один из примеров: по словам поставщика, она поддерживает такие среды, как development, staging и production, с зашифрованными переменными, запуском по расписанию и журналом аудита. Это заявления поставщика, которые M365.FM не проверяла. Сравните её с другими вариантами в пилотном проекте и проверьте, как каждый инструмент хранит секреты и кто может их читать.
Раскрытие информации: Cognillo спонсирует M365.FM.
Следующий шаг
Составьте список своих сред и для каждой запишите, какие тесты в ней могут запускаться, какую учётную запись они используют и где хранятся секреты. Затем вынесите один деструктивный тест из продакшена и используйте этот список, чтобы запускать автоматизированные тесты в staging и production по чётким правилам.