M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Нестабільні наскрізні тести: чому вони падають і як їх скоротити

By · · Updated

Нестабільні наскрізні тести проходять і падають без жодних змін у коді. Дізнайтеся про п'ять типових причин, як виправити очікування й тестові дані та що робити з тестами, які ви поки не можете виправити.

Automatically translated with AI from the original post. Read the English original

Нестабільні наскрізні тести — це автоматизовані тести браузера, які на одному запуску проходять, а на наступному падають, хоча код, тест і середовище не змінилися. Цей посібник призначений для QA-лідів та інженерів автоматизації, які витрачають більше часу на повторні запуски червоних збірок, ніж на виправлення помилок. Ви дізнаєтеся, чому ці тести нестабільні, які п'ять типових причин існують, як виправити найгіршу з них (очікування) і як керувати тестами, які поки що не можна виправити. Розглянутий приклад з вигаданими цифрами показує, як знайти першопричину за три кроки.

Головне

  • Нестабільний тест інколи проходить, інколи падає без жодних змін у коді, тесті чи середовищі, тому падіння нічого не говорить, поки ви не повторите запуск.
  • Google повідомив, що близько 1,5 відсотка його тестових запусків були нестабільними, а майже 16 відсотків тестів демонстрували певну нестабільність. Отже, нестабільність є нормою у великому масштабі та потребує плану.
  • П'ять типових причин: спільний стан, таймінги, віддалені сервіси, системний годинник і витоки ресурсів. Таймінги — це перше, що варто перевірити в тестах браузера.
  • Замінюйте фіксовані паузи очікуванням видимої умови, а кожному тесту давайте власні дані, щоб тести не заважали одне одному.
  • Тимчасово відокремлюйте нестабільний тест у карантин, але обмежте кількість таких тестів і час їх перебування там, інакше регресійний набір поступово втратить цінність.

Чому нестабільні тести завдають такої шкоди

Тест є нестабільним, коли його результат не відтворюється. У статті Мартіна Фаулера про недетермінованість у тестах недетермінований тест визначається як такий, що «інколи проходить, а інколи падає», «без помітних змін у коді, тестах чи середовищі».

Шкода спричиняється втратою довіри. Якщо червона збірка може означати як справжню помилку, так і шум, люди починають ігнорувати червоні збірки. Тоді справжній дефект проходить непоміченим. Команди також марнують час: кожне падіння потребує повторного запуску, перш ніж хтось зможе сказати, чи це важливо. Нестабільний набір тестів сповільнює і CI-конвеєр, адже кожен невдалий запуск чекає на повтор і блокує чергу злиття, що стоїть за ним.

Цифри з великих систем показують, що це норма, а не виняток. У дописі блогу Google Testing Blog Flaky Tests at Google and How We Mitigate Them повідомляється, що близько 1,5 відсотка всіх тестових запусків давали нестабільний результат, а майже в 16 відсотків тестів була та чи інша міра нестабільності. Там також зазначено, що близько 84 відсотків переходів від успіху до падіння, які вони спостерігали, пов'язані з нестабільним тестом, а середній проєкт містить близько 1 000 окремих тестів. Ваші цифри будуть іншими, але висновок залишається тим самим: у великому масштабі нестабільність — це неминучість, тому потрібен процес.

Наскрізне тестування в браузері особливо вразливе. Кожен тест залежить від браузера, мережі, розгорнутого застосунку, тестових облікових записів і часто від сторонніх сервісів. Більше рухомих частин означає більше можливостей для відхилень. Тому наскрізні тести зазвичай стабільні менше, ніж модульні, які мають значно менше рухомих частин.

П'ять типових причин нестабільних наскрізних тестів

Фаулер у своїй статті називає п'ять поширених причин. Кожна з них стосується тестів браузера.

  1. Відсутність ізоляції. Тести використовують спільний стан, наприклад записи в базі даних або увійдений сеанс, тож один тест змінює те, що бачить інший. Виправлення: відновлювати початковий стан для кожного тесту або прибирати за собою після нього.
  2. Асинхронна поведінка. Сторінці потрібен час, щоб відповісти, а тест діє надто рано або надто пізно. Фаулер радить ніколи не використовувати голі затримки (sleep) для очікування асинхронних відповідей, а натомість застосовувати колбек або опитування.
  3. Віддалені сервіси. Жива пісочниця платежів, поштовий сервіс або провайдер ідентифікації працюють повільно або недоступні. Виправлення: замінити віддалену систему тестовим дублером там, де тесту не потрібна справжня.
  4. Час. Тести, які читають системний годинник, поводяться інакше опівночі, наприкінці місяця або між часовими поясами. Виправлення: керувати годинником у самому тесті.
  5. Витоки ресурсів. Тест залишає відкритим з'єднання або сеанс, і пізніше не пов'язаний із ним тест падає, коли ресурс вичерпується.

Публікація Google додає конкурентність, залежність від недетермінованої або невизначеної поведінки, нестабільний код сторонніх бібліотек і проблеми інфраструктури. Розглядайте обидва списки як контрольний перелік, коли шукаєте першопричину падіння тесту.

Спочатку виправте очікування

У тестах браузера першим підозрюваним зазвичай є час. Тест, що натискає кнопку до того, як вона готова, або перевіряє повідомлення до його появи, пройде на швидкій машині й упаде на зайнятій.

Фіксована пауза на кшталт «чекати 5 секунд» — найгірше рішення. Вона марнує час, коли сторінка швидка, і все одно падає, коли сторінка повільна. Фаулер описує опитування як регулярну перевірку, а не одноразовий погляд, і каже, що обмеження часу ніколи не мають бути буквальними значеннями в тесті.

Сучасні інструменти вбудовують це. Документація Playwright про actionability перелічує перевірки, які виконуються перед дією: елемент має бути видимим, стабільним (його положення не змінюється між кадрами анімації), увімкненим, здатним отримувати події в точці клацання, а для введення тексту — доступним для редагування. Playwright чекає, доки перевірки пройдуть, або завершується з помилкою тайм-ауту. Його сторінка найкращих практик додає, що веб-орієнтовані твердження повторюються, доки умова не виконається.

Практичні правила:

  • Чекайте на умову, яку бачив би користувач, наприклад заголовок або рядок, а не на певну кількість секунд.
  • Надавайте перевагу селектору на основі ролі, тексту або тестового ідентифікатора, а не довгим шляхам CSS або XPath, які ламаються, коли змінюється макет сторінки.
  • Встановіть один достатньо великий тайм-аут для всього кроку замість багатьох коротких пауз.
  • Перевіряйте результат твердженням, яке повторюється.

Ізолюйте тестові дані та тестове середовище

Другий великий важіль — дані. Дайте кожному тесту власний обліковий запис, власне замовлення або власну папку. Не дозволяйте двом тестам редагувати один і той самий запис. Якщо тести мають виконуватися паралельно, спільні дані гарантують випадкові збої.

Перегляньте також середовище. Спільна система staging, до якої інші команди розгортають зміни посеред вашого запуску, спричинятиме збої, які жодне виправлення тесту не усуне. Узгодьте вікна розгортання або запускайте набір тестів на окремому середовищі.

Якщо крок залежить від зовнішнього сервісу, запитайте себе, чи тест стосується саме цього сервісу. Якщо ні, замініть його заглушкою. Залиште невелику кількість тестів, які використовують справжній сервіс, і виділіть їх в окрему групу.

Нарешті, зробіть кожну помилку легкою для діагностики. Зберігайте журнал, знімок екрана та трасування кожного невдалого запуску тесту у вашому конвеєрі CI. Сторінка найкращих практик Playwright радить збирати трасування під час першого повторного запуску невдалого тесту, щоб ви могли відтворити, що сталося, а не здогадуватися. Із журналом і трасуванням нестабільний тест перетворюється на зрозумілу проблему робочого процесу, яку можна виправити, наприклад тайм-аут на одному повільному кроці інтерфейсу.

Що робити з тестами, які ще не можна виправити

Деяким нестабільним тестам потрібно більше часу, ніж у вас є, а деякі залежать від коду, яким ви не володієте. Тоді керуйте ними відкрито та підтримуйте довіру до стабільних результатів тестів.

  • Карантин. Фаулер описує перенесення недетермінованих тестів в окремий набір, щоб здорові тести далі давали надійний зворотний зв'язок. Він додає, що тести в карантині все одно треба виправляти швидко, і варто обмежувати їхню кількість або час, який вони можуть там перебувати.
  • Повторний запуск із записом. Google описує повторний запуск невдалих тестів і позначення тесту як нестабільного, щоб він повідомляв про збій лише після трьох невдач поспіль. Публікація називає це навряд чи досконалим рішенням і попереджає, що це легко може приховати справжню гонку або іншу помилку в тестованому коді.
  • Відстежуйте нестабільність із часом. Google також описує інструменти, які виявляють зміни в рівні нестабільності тесту. Навіть простий список тестів із часткою успішних запусків показує, з чого почати.

Який би варіант ви не обрали, зробіть список нестабільних тестів видимим, призначте кожному тесту відповідального та встановіть дату.

Приклад: пошук причини у три кроки

Цифри вигадані.

Набір містить 200 браузерних тестів. Протягом двох тижнів 14 із них щонайменше раз завершилися з помилкою без змін у коді. Це 7 відсотків тестів.

  1. Групуйте за причиною. Команда читає журнали помилок і розподіляє 14 тестів. Вісім завершуються з помилкою тайм-ауту на кнопці, чотири падають через те, що два тести редагують один і той самий запис клієнта, а два падають лише після розгортання на стейджингу.
  2. Виправте найбільшу групу. Команда замінює фіксовані паузи (sleep) у восьми тестах, пов’язаних із таймінгом, на очікування видимих умов. Сім тестів перестають падати.
  3. Виправте наступну групу. Кожен тест, який раніше редагував спільного клієнта, тепер створює власного. Чотири тести перестають падати.

Після третього кроку лишається три нестабільні тести. Команда ізолює два тести, пов’язані з розгортанням, і призначає кожному відповідального з дедлайном два тижні. Частка нестабільних тестів у наборі знижується з 7 до 1,5 відсотка, і команда перевіряє її щотижня.

Типові помилки

  • Додавання пауз (sleep). Вони ненадовго приховують проблему й уповільнюють кожен запуск.
  • Повторний запуск усього без аналізу. Повтори без фіксації приховують справжні дефекти, а першопричина лишається на місці.
  • Спільні тестові дані між тестами. Паралельні запуски перетворюють це на випадкові збої.
  • Звернення до сторонніх сервісів у кожному тесті. Замініть їх заглушками там, де сам сервіс не є предметом перевірки.
  • Необмежене зростання карантину. Карантин без відповідального перетворюється на кладовище тестів.
  • Спершу звинувачувати інструмент. Перевірте таймінг, дані та середовище, перш ніж змінювати фреймворк.

Як може допомогти програмне забезпечення

Почніть із того, що пропонує ваш фреймворк: автоматичне очікування, трасування та повторні запуски в CI. Додайте панель із помилками за тестами та причинами, щоб закономірності були видимими. Спершу достатньо й таблиці. Інструменти, які використовують ШІ-агента для запуску тестів за кроками, описаними простою мовою, можуть зменшити частину проблем із таймінгом, адже агент сам вирішує, як довго чекати. Водночас вони мають власні ризики, наприклад неправильне тлумачення інструкцій. Випробуйте їх на кількох тестах і порівняйте частку нестабільних запусків, перш ніж ухвалювати рішення.

Наступний крок

Складіть список десяти найненадійніших тестів цього тижня, призначте кожному ймовірну причину з п’яти наведених вище і спершу виправте проблеми з очікуванням. Далі відстежуйте частку нестабільних наскрізних тестів щотижня та захищайте цінність набору регресійного тестування, встановивши ліміт на карантин.

Entities in this article

End-to-end testing Regression testing AI agent

Related articles

RSS