M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Самовосстанавливающиеся тесты: что означает этот термин и где он перестаёт работать

By · · Updated

Самовосстанавливающаяся автоматизация тестов исправляет сломанные локаторы во время выполнения. Разберём, как это работает, что не может исправить, как может скрывать ошибки и какие ограничения стоит установить.

Automatically translated with AI from the original post. Read the English original

Самовосстанавливающаяся автоматизация тестов означает, что инструмент сам исправляет сломанный локатор, и UI-тест продолжает работать после безобидного изменения, например переименования ID. Это руководство адресовано инженерам по автоматизации тестирования, которые слышали этот термин на презентации продавца и хотят получить трезвый ответ. Вы узнаете, как работает восстановление, что оно может исправить, а что нет, как оно может скрыть реальный дефект и какие правила делают его безопасным. Пример с выдуманными цифрами показывает и пользу, и риск.

Ключевые выводы

  • Самовосстановление означает, что когда сохранённый локатор перестаёт совпадать, инструмент находит UI-элемент по другим признакам, и тест продолжает работу вместо того, чтобы упасть.
  • Оно работает почти только с локаторами, а не с проверками, сценариями тестов, бизнес-правилами или проблемами с таймингом, поэтому покрывает узкую часть поддержки тестов.
  • Главный риск — маскированная регрессия: инструмент адаптируется к изменённому элементу, который на самом деле является дефектом, и тест проходит, хотя пользовательский опыт сломан.
  • Документация поставщиков указывает, что восстановление происходит во время выполнения, а скрипт остаётся без изменений, поэтому самовосстановленные локаторы всё равно нужно проверять и записывать обратно в код.
  • Безопасное использование означает логирование каждого восстановления, регулярную проверку журнала, запрет на изменение проверок инструментом и контроль резких скачков процента успешных прогонов.

Что такое самовосстанавливающийся тест на практике

UI-тест находит каждый элемент страницы с помощью локатора. Локатор — это правило, например «элемент с ID btn-pay» или «кнопка с названием Pay». В традиционной автоматизации тестов человек редактирует скрипты каждый раз, когда правило перестаёт работать. В большом наборе тестов одна переработка интерфейса может сделать красными сотни шагов. При каждом падении теста QA-инженеру нужно разбираться в причине, и команда тратит дни на исправления или возвращается к ручному тестированию.

Самовосстановление — это идея, согласно которой инструмент сам исправляет это правило, поэтому самовосстанавливающийся тест переживает изменение, которое сломало бы традиционный тест. В статье BugBug Self Healing Test Automation: Hype & Reality оно определяется как механизмы, которые автоматически корректируют способ, которым тест идентифицирует элементы интерфейса, когда исходный локатор перестаёт работать.

Самовосстановление не означает, что инструмент понимает ваш продукт. Оно означает, что инструмент пытается найти тот же элемент заново по другим признакам и продолжает прогон. Считайте самовосстанавливающийся тест средством исправления одного узкого типа поломок: изменений интерфейса, которые не затрагивают поведение.

Как работает восстановление локаторов

Детали различаются в зависимости от тестового фреймворка и продукта, но большинство механизмов самовосстановления следуют одной схеме.

  1. Обучение. Во время успешных прогонов теста инструмент запоминает несколько признаков для каждого элемента. BugBug описывает это как «отпечаток»: атрибуты вроде ID, текста, классов, ARIA-меток и положения в структуре страницы.
  2. Обнаружение. Когда сохранённый локатор ничего не находит, инструмент не падает сразу.
  3. Поиск. Он просматривает страницу в поисках элемента, который больше всего похож на запомненный. Более сильные и стабильные признаки имеют больший вес, а более слабые используются как запасной вариант.
  4. Продолжение и отчёт. Он использует найденное совпадение, завершает прогон и записывает в журнал, что сделал.

Документация BrowserStack по своей функции самовосстановления с Playwright описывает тот же порядок действий. Восстановление запускается тогда, когда исходный локатор больше не находит элемент, и для него нужен хотя бы один более ранний успешный запуск с тем же идентификатором элемента. Там также сказано, что восстановление происходит во время выполнения и позволяет одному запуску завершиться успешно, а сам скрипт при этом не меняется. Страница советует перенести восстановленный локатор обратно в тест. В ней перечислены и ограничения: восстановление добавляет дополнительный анализ во время запуска, поддержка Playwright описана как ограниченная, а если элемент действительно исчез, восстановить тест невозможно.

Некоторые новые инструменты используют самовосстановление на основе ИИ: модель, часто построенная на основе генеративного ИИ, выбирает замену элемента вместо фиксированного правила оценки. Руководство T-Plan отмечает, что восстановление с помощью ИИ вносит в тестирование вероятностное поведение и что надёжная автоматизация по возможности должна оставаться детерминированной. BugBug добавляет, что восстановление не предполагает, что ИИ-агент переписывает логику теста или действительно понимает приложение.

Маркетинг часто утверждает, что восстановление выполняет тестирование с ИИ. На практике ИИ в тестировании охватывает широкий спектр задач: от простого подсчёта схожести до модели, которая ранжирует подходящие элементы. Спросите поставщика, что именно решает ИИ и показывает ли журнал, почему было принято такое решение. Если ИИ выберет не тот элемент, дефект может остаться незамеченным, поэтому выбор ИИ требует такой же проверки, как и любое другое восстановление.

Преимущества самовосстановления и то, что оно не исправит

Восстановление лучше всего помогает при косметических изменениях:

  • Разработчик переименовывает ID или CSS-класс, а поведение остаётся прежним.
  • Сдвиг макета перемещает кнопку в другое место.
  • Обновление библиотеки компонентов меняет разметку, но не внешний вид экрана.

В таких случаях польза реальна: меньше затрат на сопровождение тестов, а безобидные изменения интерфейса больше не приводят к сбоям сразу в большом количестве тестовых случаев.

Возможности самовосстановления инструмента вписываются в более широкую стратегию автоматизации тестирования, наряду с исследовательским тестированием, для непрерывного тестирования. Они защищают покрытие тестами пользовательского интерфейса от постоянных изменений UI. Модульные тесты и тестирование API не используют локаторы экрана, поэтому им восстановление вообще не нужно.

Оно не помогает с большинством других причин падения тестов. BugBug утверждает, что восстановление применимо почти исключительно к локаторам, а не к проверкам утверждений, ожидаемым значениям, сценариям тестов или бизнес-правилам. Оно не решает проблемы с таймингом и плохой архитектурой тестов. Если ваша проблема в нестабильных ожиданиях или общих данных, сначала рассмотрите нестабильные тесты как отдельную тему, потому что восстановление их не вылечит. В той же статье сказано, что восстановление плохо справляется с ролевыми системами, динамическими панелями, многошаговыми транзакциями и экранами с большим количеством условий, и что чем больше контекста нужно для идентификации элемента, тем сложнее становится восстановление.

Хорошие локаторы и стабильные идентификаторы тестов также предотвращают многие поломки до того, как потребуется восстановление. В рекомендациях Playwright предлагается использовать локаторы, отражающие то, что видит пользователь, например роль и текст, а не хрупкие пути CSS или XPath. Этот совет полезен и для наборов тестов на Selenium.

Самовосстанавливающаяся автоматизация тестирования и риск скрытых регрессий

Самый важный риск сформулировать просто. Инструмент самовосстановления, который адаптируется, может адаптироваться и к дефекту.

Руководство T-Plan по самовосстанавливающейся автоматизации тестирования называет это скрытой регрессией: фреймворк может автоматически адаптироваться к изменённому элементу, который на самом деле является дефектом, и тест проходит, хотя качество пользовательского опыта ухудшилось. Там добавлено, что это создаёт ложную уверенность и снижает доверие к автоматизации. Также отмечено, что системы самовосстановления могут выбрать неправильный элемент-замену, что чем агрессивнее восстановление, тем выше риск неверного сопоставления, и что некоторые сбои должны оставаться видимыми.

Представьте кнопку «Сохранить» в тестируемом приложении, которую после неудачного слияния заменяет кнопка «Удалить» на том же месте. Тест, который ищет «кнопку в нижней части формы», может переключиться на новую кнопку, нажать её и продолжить работу. Набор тестов остаётся зелёным, а ошибка уходит в продакшн.

Поэтому рост доли успешных прохождений не всегда хорош. Если доля успешных тестов выросла после релиза интерфейса без соответствующих изменений в тестах, сначала проверьте журнал самовосстановления, и только потом радуйтесь.

Защитные меры, которые делают использование безопасным

Руководства T-Plan и BugBug дают похожие советы. Они относятся как к самостоятельно реализованному самовосстановлению, так и к покупному инструменту:

  1. Журналируйте каждое исправление. Фиксируйте старый локатор, новый локатор, степень уверенности в совпадении и то, что инструмент изменил на странице.
  2. Проверяйте по расписанию. Не допускайте бесконечной тихой адаптации. После каждого релиза просматривайте журнал исправлений и подтверждайте или отклоняйте каждую запись.
  3. Используйте режим предложений, если это возможно. Пусть инструмент предлагает исправление, а принимает его человек.
  4. Никогда не позволяйте ему менять проверки. Самовосстановление может менять способ поиска элемента. Оно никогда не должно менять то, что ожидает тест, а это и есть смысл теста.
  5. Переносите исправления в скрипты. Поскольку самовосстановление только исправляет текущий запуск, обновите скрипт более удачным локатором.
  6. Ограничивайте область применения. Не каждый элемент должен восстанавливаться сам по себе. Критические сценарии, например оплата, могут требовать более строгих проверок, например визуального тестирования, которое проверяет, как выглядит страница.
  7. Следите за динамикой. Внезапный рост доли успешных прохождений требует объяснения, поскольку автоматизация с самовосстановлением может сделать набор тестов выглядящим здоровее, чем он есть на самом деле.

Пример: рефакторинг оформления заказа с самовосстановлением и без него

Цифры условные.

У команды есть 400 автоматизированных тестов, которые работают в браузере. Рефакторинг фронтенда переименовывает идентификаторы на странице оформления заказа. Без самовосстановления 60 тестов падают из-за локаторов, и каждое падение нужно разбирать. Инженеру нужно около двух дней, чтобы их исправить, и все это время у команды нет надёжного результата регрессионного тестирования.

При включённом самовосстановлении инструмент исправляет локаторы во время выполнения тестов, поэтому каждый тест продолжает работу, и 55 из этих 60 тестов проходят с исправленными локаторами. Руководитель QA видит каждое исправление в отчёте. Пять тестов всё равно падают, потому что их элементы были удалены намеренно. Инженер тратит полдня на эти пять и ещё час на чтение журнала исправлений.

В журнале два исправления выглядят неверными. В тесте редактирования адреса инструмент нажал «Удалить адрес» там, где тест ожидал «Сохранить адрес». Тест проверял только то, что страница всё ещё загружается, поэтому он прошёл. Инженер исправляет оба локатора и добавляет более строгую проверку: сохранённый адрес появляется в списке.

Результат: около двух дней работы по исправлению сокращаются примерно до одного дня. Экономия реальна, но возникает только потому, что человек прочитал журнал. Без такой проверки два теста остались бы зелёными, проверяя не то, что нужно.

Распространённые ошибки

  • Считать самовосстановление заменой хорошим локаторам. Стабильные локаторы по роли, тексту или идентификатору теста предотвращают поломки и ничего не стоят.
  • Позволять ему работать молча. Если никто не читает журнал, неверные исправления накапливаются незамеченными.
  • Ожидать, что оно исправит нестабильные тесты. Проблемы с таймингами и нестабильные тестовые данные требуют других решений.
  • Использовать его для критических проверок без дополнительных мер защиты. Добавляйте визуальное регрессионное тестирование или проверки данных в сценариях оплаты и разрешений.
  • Верить заявленному поставщиком снижению трудозатрат на поддержку тестов без пилотного проекта. Измерьте реальный эффект на своём наборе тестов, прежде чем брать на себя обязательства.

Как может помочь программное обеспечение

Многие фреймворки для автоматизации тестирования, облачные платформы и другие инструменты автоматизации сегодня предлагают самовосстановление в разных формах: простые резервные локаторы, оценку схожести и выбор элементов на основе ИИ. Сравнивайте их по перечисленным выше критериям, а не по названию. Спросите, показывает ли платформа самовосстановления каждое исправление, позволяет ли его подтвердить и экспортировать как изменение скрипта. Обычный набор Selenium или Playwright с продуманно подобранными локаторами и привычкой регулярно проверять результаты — полноценная альтернатива любому инструменту самовосстановления. Проведите пилот на одном нестабильном участке и сравните время поддержки, прежде чем принимать решение. Инструменты на основе ИИ-агентов, которые часто называют агентным ИИ и которые работают по шагам, описанным обычным языком, поднимают те же вопросы о проверке.

Следующий шаг

Выберите одну часть вашего набора сквозного тестирования, которая ломается чаще всего, включите там самовосстановление на один релиз и проверьте каждое исправление вручную. Затем решите, заслуживает ли автоматизация тестов с самовосстановлением более широкой роли в вашем наборе, исходя из того, сколько исправлений оказалось верными.

Entities in this article

End-to-end testing AI agent Generative AI

Related articles

RSS