Нестабильные сквозные тесты: почему они падают и как сократить их число
By Mirko Peters · · Updated
Нестабильные сквозные тесты проходят и падают без каких-либо изменений в коде. Разберём пять типичных причин, как исправить ожидания и тестовые данные и что делать с тестами, которые пока не удаётся починить.
Automatically translated with AI from the original post. Read the English original
Нестабильные сквозные тесты — это автоматизированные тесты браузера, которые на одном запуске проходят, а на следующем падают без каких-либо изменений в коде, тесте или окружении. Это руководство предназначено для руководителей QA и инженеров по автоматизации, которые тратят больше времени на перезапуск красных сборок, чем на исправление ошибок. Вы узнаете, почему эти тесты нестабильны, каковы пять типичных причин, как исправить самую частую из них (ожидание) и как управлять тестами, которые пока не удаётся починить. Пример с условными цифрами показывает, как найти первопричину за три шага.
Ключевые выводы
- Нестабильный тест то проходит, то падает без каких-либо изменений в коде, тесте или окружении, поэтому падение ничего не говорит вам, пока вы не повторите запуск.
- Google сообщил, что примерно 1,5 процента его запусков тестов давали нестабильный результат, а почти 16 процентов тестов демонстрировали ту или иную нестабильность. Значит, нестабильность — нормальное явление при большом масштабе, и к ней нужно готовиться заранее.
- Пять типичных причин: общее состояние, время, удалённые сервисы, системные часы и утечки ресурсов. При этом в браузерных тестах первым делом стоит проверять именно время.
- Замените фиксированные паузы ожиданием видимого условия и выдавайте каждому тесту собственные данные, чтобы тесты не мешали друг другу.
- Помещайте нестабильный тест в карантин как временную меру, но ограничивайте, сколько тестов может там находиться и как долго, иначе набор регрессионных тестов постепенно теряет ценность.
Почему нестабильные тесты так вредят
Тест нестабилен, если его результат невоспроизводим. В статье Мартина Фаулера о недетерминированности в тестах недетерминированный тест определяется как тот, который «проходит иногда и иногда падает» «без заметных изменений в коде, тестах или окружении».
Вред наносится через потерю доверия. Если красная сборка может означать как настоящую ошибку, так и шум, люди учатся её игнорировать. Тогда реальный дефект проскальзывает в продуктив. Команды также теряют время: каждое падение нужно перезапустить, прежде чем кто-либо скажет, важно ли оно. Нестабильный набор тестов замедляет и конвейер CI, поскольку каждый упавший запуск ждёт повтора и блокирует очередь слияний позади себя.
Цифры из крупных систем показывают, что это норма, а не редкость. В статье из блога Google Testing, Flaky Tests at Google and How We Mitigate Them, говорится, что около 1,5 процента всех запусков тестов давали нестабильный результат, а почти 16 процентов тестов так или иначе были нестабильными. Там же сказано, что примерно 84 процента переходов из состояния «пройден» в состояние «провален» связаны с нестабильным тестом, а в среднем в проекте около 1 000 отдельных тестов. Ваши цифры будут другими, но вывод остаётся тем же: в масштабе нестабильность тестов неизбежна, поэтому нужен процесс.
Особенно уязвимо сквозное тестирование в браузере. Каждый тест зависит от браузера, сети, развёрнутого приложения, тестовых учётных записей и часто от сторонних сервисов. Чем больше движущихся частей, тем больше возможностей для изменений. Поэтому сквозные тесты обычно менее стабильны, чем модульные, у которых движущихся частей гораздо меньше.
Пять типичных причин нестабильности сквозных тестов
Фаулер в своей статье называет пять распространённых причин. Каждая из них применима к тестам браузера.
- Отсутствие изоляции. Тесты используют общее состояние, например записи в базе данных или открытый сеанс пользователя, поэтому один тест меняет то, что видит другой. Решение: заново создавать начальное состояние для каждого теста или очищать его после выполнения.
- Асинхронное поведение. Страница требует времени на ответ, а тест действует слишком рано или слишком поздно. Фаулер советует никогда не использовать голые паузы (sleep) для ожидания асинхронных ответов, а применять обратный вызов или опрос.
- Удалённые сервисы. Живая песочница платёжной системы, почтовый сервис или поставщик удостоверений работает медленно или недоступен. Решение: заменить внешнюю систему тестовым двойником там, где тесту не нужна реальная.
- Время. Тесты, которые читают системные часы, ведут себя по-разному в полночь, в конце месяца или при переходе между часовыми поясами. Решение: управлять часами внутри теста.
- Утечки ресурсов. Тест оставляет подключение или сеанс открытым, и позже несвязанный с ним тест падает, когда ресурс заканчивается.
В публикации Google перечислены также параллелизм, зависимость от недетерминированного или неопределённого поведения, нестабильный сторонний код и проблемы инфраструктуры. Рассматривайте оба списка как чек-лист, когда ищете первопричину падающего теста.
Сначала исправьте ожидания
В браузерных тестах первым обычно подозревают тайминг. Тест, который нажимает кнопку до того, как она готова, или проверяет сообщение до его появления, пройдёт на быстрой машине и упадёт на загруженной.
Фиксированная пауза вроде «подождать 5 секунд» — худший вариант. Она тратит время, когда страница быстрая, и всё равно падает, когда страница медленная. Фаулер описывает опрос как регулярную проверку, а не однократный взгляд, и говорит, что временные ограничения никогда не должны быть жёстко заданы в тесте.
Современные инструменты уже включают это. В документации Playwright по actionability перечислены проверки, которые выполняются перед действием: элемент должен быть видимым, стабильным (его положение не меняется между кадрами анимации), доступным для нажатия, способным принять событие в точке клика и, для ввода текста, редактируемым. Playwright ждёт, пока проверки не пройдут, или завершается ошибкой тайм-аута. На странице с рекомендациями добавлено, что веб-ориентированные утверждения (web-first assertions) повторяются до выполнения условия.
Практические правила:
- Ожидайте условие, которое пользователь мог бы увидеть, например заголовок или строку таблицы, а не определённое количество секунд.
- Предпочитайте селектор на основе роли, текста или идентификатора теста длинным путям CSS или XPath, которые ломаются при изменении макета страницы.
- Задайте один достаточно большой тайм-аут на весь шаг вместо множества коротких пауз.
- Проверяйте результат утверждением, которое повторяется.
Изолируйте тестовые данные и тестовую среду
Второй важный рычаг — данные. Дайте каждому тесту собственную учётную запись, собственный заказ или собственную папку. Не позволяйте двум тестам редактировать одну и ту же запись. Если тесты выполняются параллельно, общие данные гарантируют случайные сбои.
Посмотрите также на среду. Общая среда staging, в которую другие команды развёртывают изменения во время вашего прогона, вызовет сбои, которые никакое исправление теста не устранит. Согласуйте окна развёртывания или запускайте набор тестов на выделенной среде.
Если шаг зависит от внешнего сервиса, спросите себя, связан ли тест с этим сервисом. Если нет, замените его заглушкой. Оставьте небольшое количество тестов, которые используют реальный сервис, и выделите их в отдельную группу.
Наконец, сделайте так, чтобы каждый сбой легко было диагностировать. Сохраняйте журнал, снимок экрана и трассировку каждого упавшего запуска теста в вашем конвейере CI. В документации Playwright с рекомендациями предлагается собирать трассировку при первом повторе упавшего теста, чтобы воспроизвести произошедшее вместо догадок. Имея журнал и трассировку, нестабильный тест превращается в понятную проблему процесса, которую можно исправить, например в тайм-аут на одном медленном шаге интерфейса.
Что делать с тестами, которые пока не удаётся исправить
Некоторым нестабильным тестам требуется больше времени, чем у вас есть, а некоторые зависят от кода, которым вы не владеете. Тогда управляйте ими открыто и сохраняйте доверие к стабильным результатам тестов.
- Карантин. Фаулер описывает перенос недетерминированных тестов в отдельный набор, чтобы здоровые тесты продолжали давать надёжную обратную связь. Он добавляет, что тесты на карантине всё равно нужно быстро исправлять, и что следует ограничивать их количество и срок пребывания там.
- Повторный запуск с записью. Google описывает повторный запуск упавших тестов и пометку теста как нестабильного, так что он сообщает о сбое только после трёх неудач подряд. В публикации это названо далеко не идеальным решением и отмечено, что оно легко может скрыть реальное состязание (race condition) или другую ошибку в тестируемом коде.
- Отслеживайте нестабильность тестов во времени. Google также описывает инструменты, которые фиксируют изменения уровня нестабильности тестов. Даже простой список тестов с долей успешных запусков показывает, куда смотреть в первую очередь.
Какой бы вариант вы ни выбрали, сделайте список нестабильных тестов видимым, назначьте каждому тесту владельца и установите срок.
Пример: поиск причины в три шага
Цифры вымышленные.
В наборе 200 браузерных тестов. За две недели 14 из них хотя бы раз упали без изменения кода. Это 7% тестов.
- Сгруппируйте по причине. Команда изучает логи сбоев и распределяет 14 тестов по группам. Восемь падают по таймауту на кнопке, четыре падают, потому что два теста редактируют одну и ту же запись клиента, а два падают только после развертывания в staging.
- Исправьте самую большую группу. Команда заменяет фиксированные паузы (sleep) в восьми тестах, зависящих от времени, ожиданием видимых условий. Семь тестов перестают падать.
- Исправьте следующую группу. Каждый тест, который редактировал общего клиента, теперь создает собственного клиента. Четыре теста перестают падать.
После третьего шага остаются три нестабильных теста. Команда помещает два теста, связанных с развертыванием, в карантин и назначает каждому владельца и срок в две недели. Доля нестабильных тестов в наборе снижается с 7% до 1,5%, и команда перепроверяет ее каждую неделю.
Распространённые ошибки
- Добавление пауз. Они на время скрывают проблему и замедляют каждый запуск.
- Повторные запуски всего подряд и игнорирование проблемы. Повторные запуски без учета скрывают реальные дефекты, а первопричина остается на месте.
- Совместное использование тестовых данных несколькими тестами. При параллельных запусках это превращается в случайные сбои.
- Тестирование сторонних сервисов в каждом тесте. Заменяйте их заглушками там, где сам сервис не является предметом проверки.
- Неограниченный рост карантина. Карантин без владельца превращается в кладбище тестов.
- Сначала винить инструмент. Проверьте тайминги, данные и окружение, прежде чем менять фреймворк.
Как может помочь программное обеспечение
Начните с того, что предлагает ваш фреймворк: автоматическое ожидание, трассировки и повторные запуски в CI. Добавьте панель с отказами по тестам и по причинам, чтобы закономерности были видны. Сначала достаточно и таблицы. Инструменты, которые используют ИИ-агента для запуска тестов по шагам, описанным обычным языком, могут снизить часть проблем с таймингами, поскольку агент сам решает, сколько ждать. Однако у них есть свои риски, например неверно понятые инструкции. Опробуйте их на нескольких тестах и сравните долю нестабильных запусков, прежде чем принимать решение.
Следующий шаг
На этой неделе составьте список десяти самых ненадежных тестов, назначьте каждому вероятную причину из пяти перечисленных выше и сначала исправьте проблемы с ожиданием. Затем еженедельно отслеживайте долю нестабильных сквозных тестов и защитите ценность набора регрессионного тестирования, ограничив размер карантина.