M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Какие регрессионные тесты автоматизировать в первую очередь? Руководство по выбору

By · · Updated

Какие тесты автоматизировать в первую очередь? Начните с регрессионных тестов, которые критичны для бизнеса, запускаются часто и стабильны. Чтобы решить, используйте пять критериев и простую матрицу оценок.

Automatically translated with AI from the original post. Read the English original

Какие тесты автоматизировать в первую очередь? Начните с регрессионных тестов, которые покрывают критичные для бизнеса сценарии, запускаются при каждой сборке, редко меняются и дольше всего повторять вручную. Это руководство для руководителей QA с небольшой командой и длинным списком ручных проверок, которым нужен обоснованный порядок. Вы увидите пять критериев отбора, список того, что пока оставить вручную, и простую матрицу оценок. Пример с условными цифрами ранжирует пять тестов-кандидатов, так что вы сможете повторить этот метод.

Ключевые выводы

  • Первыми автоматизируйте регрессионные тесты, которые покрывают критичные для бизнеса сценарии, запускаются часто, редко меняются и требуют больше всего времени для ручного повторения.
  • Ранжируйте функции по стоимости сбоя: вероятность и серьёзность дефекта определяют, какой тест заслуживает автоматизации раньше остальных.
  • Пока оставляйте вручную одноразовые, нестабильные, исследовательские и юзабилити-проверки, поскольку их автоматизация может обойтись дороже, чем ручной запуск.
  • Взвешенная оценка от 1 до 5 по критичности, частоте, стабильности, ручным усилиям и нестабильности теста превращает спор в ранжированный список.
  • Предпочитайте самый нижний уровень тестирования, который работает, а сквозные браузерные тесты оставляйте для сценариев, где необходима полная проверка.

Почему важен порядок автоматизации

Автоматизация требует усилий, и эти усилия окупаются только тогда, когда тест запускается много раз. Тест, который запускается при каждой сборке, окупается быстро. Тест, который запускается один раз, не окупается никогда.

В agile-командах с короткими спринтами времени редко хватает, чтобы автоматизировать всё. Автоматизация тестирования — это инвестиция, поэтому думайте о её окупаемости (ROI): ручные часы, которые экономит каждый автоматизированный тест-кейс, минус часы на написание и поддержку его тестовых скриптов. Порядок автоматизации определяет, насколько быстро окупится ваша инвестиция. Команда, которая автоматизирует десять малоценных проверок, а оформление заказа оставляет вручную, потратила усилия не на то.

В руководстве Ranorex по выбору того, что автоматизировать, регрессионное тестирование стоит на первом месте в списке приоритетов, поскольку частые повторные запуски умножают экономию. Там также советуют ранжировать функции по стоимости сбоя и в первую очередь добавлять в регрессионный набор тесты для самых рискованных функций.

В статье TestDevLab о приоритизации тест-кейсов для регрессионного тестирования описана та же идея — приоритизация на основе рисков: ранжирование тест-кейсов по таким факторам, как вероятность сбоя и серьёзность последствий. Авторы советуют начинать с высокорисковых и критичных функций, а затем переходить к функциям с меньшим риском. Там также сказано, что часто обновляемые функции и сложные функции, включающие несколько компонентов, заслуживают более раннего тестирования.

Практический вывод: автоматизируйте по риску и по частоте запуска теста, а не по списку функций или простоте реализации.

Короткая стратегия автоматизации называет кандидатов, инструменты, владельца и дату пересмотра. Большинство лучших практик автоматизации тестирования начинаются одинаково: сначала решите, что автоматизировать, и только потом выбирайте инструмент.

Какие тесты автоматизировать в первую очередь: пять критериев

В руководстве Katalon по выбору регрессионных тест-кейсов сказано, что сильные кандидаты для автоматизации соответствуют большинству из набора условий. Ниже пять, которые важнее всего для небольшой команды.

  1. Критично для бизнеса. Тест покрывает ключевой для выручки, чувствительный с точки зрения безопасности или базовый сценарий, например вход в систему, оформление заказа или платежи. Если это ломается, клиенты замечают первыми.
  2. Запускается часто. Тест выполняется при каждом pull request, каждой ночной сборке или каждом релизе.
  3. Стабильный. Функциональность редко меняется, поэтому тесту не придётся постоянно переписываться.
  4. Дорогой при ручном запуске. Тест однообразный, медленный и подвержен человеческим ошибкам. Повторяющиеся проверки и проверки на основе данных хорошо подходят для автоматизации, потому что одни и те же шаги выполняются с множеством входных данных, и здесь автоматизированное тестирование экономит больше всего времени.
  5. Понятный результат. У теста есть объективный результат «прошёл» или «не прошёл», который легко проверить, например по экрану, ответу API или состоянию системы. Покрывайте в тестовых данных только важные граничные случаи, а не каждый возможный ввод.

Тест, который соответствует четырём или пяти пунктам, попадает в начало очереди. Тест, который соответствует одному или двум, ждёт своей очереди.

Katalon добавляет замечание о слоях: выбирайте самый нижний слой, который справляется с задачей, и автоматизируйте нестабильные сценарии интерфейса только тогда, когда сквозная проверка действительно необходима. Если правило можно проверить модульным тестом или вызовом API, такая проверка обычно быстрее и стабильнее, чем тест в браузере. Медленные UI-тесты оставляйте для немногих сценариев, которым они действительно нужны. Сквозное end-to-end тестирование на уровне браузера сохраняйте для пользовательских путей, где нужно доказать прохождение всей цепочки экранов.

Выстройте порядок по пирамиде тестирования и вашему конвейеру

Выбор определяет, что автоматизировать. Слои определяют, где это делать. В «Practical Test Pyramid» Мартина Фаулера Practical Test Pyramid рекомендуется писать много маленьких быстрых модульных тестов, некоторое количество более крупных тестов и очень мало высокоуровневых. Его правило выбора уровня полезно и для ранжированного списка: если тест верхнего уровня обнаруживает ошибку, а ни один тест нижнего уровня не падает, напишите тест нижнего уровня. Опускайте тесты как можно ниже и удаляйте высокоуровневые тесты, которые дублируют то, что уже покрыто нижними уровнями.

Поэтому, прежде чем писать браузерный тест для элемента из списка, задайте два вопроса. Может ли модульный или интеграционный тест доказать то же правило быстрее? Не стали ли какие-то автоматизированные тест-кейсы избыточными? Это наши вопросы, построенные на правиле Фаулера, а не контрольный список из источников.

Далее разместите каждый тест в конвейере. Ranorex описывает смоук-тесты как небольшое подмножество регрессионных тестов, которое запускается с каждой новой сборкой, а Katalon называет каждый pull request, ночную сборку и релиз точками, в которых запускаются сильные кандидаты. Практичное разделение, которое является нашим собственным предложением, таково: небольшой смоук-набор на каждой сборке и более полный набор автоматизированных тестов каждую ночь или при релизе. Исследовательское тестирование оставьте в руках QA-команды и пересматривайте план каждый квартал.

Что пока оставить ручным тестированием

Отказ тоже входит в план. Ranorex перечисляет случаи, когда автоматизация не окупается:

  • Одноразовые тесты. Автоматизация теста может занять больше времени, чем его однократный ручной запуск. Тесты, которые войдут в регрессионный набор или основаны на данных, одноразовыми не считаются.
  • Нестабильная функциональность. Пока требование экспериментальное или находится в разработке, тестируйте его вручную.
  • Тесты без понятного результата «прошёл» или «не прошёл». Автоматизируйте только тогда, когда результат объективен.
  • Исследовательское и юзабилити-тестирование. Ranorex утверждает, что такие тесты не могут и не должны автоматизироваться, потому что они опираются на человеческое суждение.

Функции, которые сопротивляются автоматизации, например CAPTCHA, требуют собственного плана. Ranorex предлагает отключать их в тестовой среде, добавлять обход для разработчиков или приостанавливать тест, пока тестировщик выполнит проверку вручную.

Ручной режим не означает «забыто». Внесите такие тесты в список с датой пересмотра, чтобы функция, которая стабилизировалась, могла перейти в автоматизацию.

Оцените кандидатов с помощью простой матрицы

Когда два теста выглядят одинаково важными, балл делает решение видимым. Katalon рекомендует оценивать каждый тест от 1 до 5 по взвешенным факторам: умножать каждый балл на его вес и складывать результаты. В качестве примера Katalon приводит такие веса: критичность для бизнеса 0,3, частота выполнения 0,2, стабильность 0,2, сэкономленные ручные усилия 0,15 и показатель нестабильности 0,15, где более высокий балл означает меньший риск нестабильности. Рекомендуемые пороги: 4,0 и выше — автоматизировать, от 3,0 до 3,9 — вернуться позже, ниже 3,0 — оставить ручным или исследовательским тестированием.

Эти веса можно использовать как есть или изменить. Важно не точное число, а то, что команда согласовывает факторы до того, как начинает спорить об отдельных тестах.

Откуда берутся баллы? Katalon отмечает, что данные продуктивной среды и прошлые инциденты показывают, какие пути важнее всего. TestDevLab описывает приоритизацию на основе истории, которая ранжирует тесты по их прошлой результативности в поиске дефектов. Заполните колонку критичности данными из списка инцидентов и обращений в поддержку, а колонки частоты и нестабильности — данными из истории сборок. Балл, основанный на данных, легче защитить, чем балл, основанный на мнении. Пересмотрите рейтинг со всей командой и отслеживайте покрытие тестами ключевых сценариев простым подсчётом: сколько из ваших десяти самых важных сценариев имеют автоматизированный тест-кейс?

Пример: ранжирование пяти тестов-кандидатов

Баллы условные, веса — те же, что указаны выше.

Ведущий QA должен расставить по приоритету пять ручных проверок. Каждый фактор оценивается от 1 до 5.

  1. Экспорт счетов. Критичность 5, частота 5, стабильность 4, усилия 4, показатель нестабильности 3. Балл: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Автоматизировать в первую очередь.
  2. Сброс пароля. Критичность 5, частота 3, стабильность 5, усилия 3, показатель нестабильности 4. Балл: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Автоматизировать следующим.
  3. Фильтр отчёта. Критичность 3, частота 4, стабильность 4, усилия 4, показатель нестабильности 4. Балл: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Вернуться к нему в следующем квартале.
  4. Новая компоновка дашборда. Критичность 3, частота 3, стабильность 1, усилия 3, показатель нестабильности 2. Балл: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Оставить ручным, пока дизайн не устоится.
  5. Загрузка фото профиля. Критичность 2, частота 2, стабильность 3, усилия 2, показатель нестабильности 2. Балл: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Оставить ручным.

В результате получается ранжированный список: экспорт счетов, затем сброс пароля, а фильтр отчёта — в резерве. Ведущий начинает с небольшой архитектуры автоматизации, общих тестовых данных и этих первых тест-кейсов, а затем наращивает автоматизированный набор. Владелец продукта видит причины, и когда дашборд перестанет меняться, его балл стабильности вырастет и он сможет подняться выше в списке.

Распространённые ошибки

  • Автоматизация самых простых тестов в первую очередь. Простые тесты часто имеют низкое влияние, поэтому набор растёт, но не защищает то, что важно.
  • Автоматизация нестабильной функциональности. Тесты ломаются при каждом изменении, и команда перестаёт им доверять.
  • Подсчёт тестов вместо их влияния. Большой набор проверок с низкой ценностью обходится в поддержке дороже, чем экономит.
  • Запуск каждой проверки на уровне браузера. Если правило может проверить модульный тест или проверка API, обычно его дешевле оставить на этом уровне.
  • Игнорирование ручного тестирования, которое всё ещё важно. Исследовательские проверки и оценка удобства использования остаются за тестировщиками, а тестированию программного обеспечения нужны оба вида работ.
  • Никогда не пересматривать ранжирование. Использование, влияние и стабильность меняются, поэтому список нужно проверять каждый квартал.

Как может помочь программное обеспечение

Чтобы начать, достаточно таблицы с пятью критериями и весами. Добавьте колонку с датой последнего пересмотра. Инструмент управления тестированием, если он у вас есть, также может показать, how often каждый тест запускается и как часто падает, — эти данные питают оценки частоты и нестабильности. Данные о прошлых дефектах из системы учёта заявок показывают, какие области ломаются чаще всего. Инструменты тестирования браузера, скриптовые они или на естественном языке, имеют значение только тогда, когда ранжирование показало, какие сценарии заслуживают теста. Выбирайте инструмент после того, как список готов, а не до.

Следующий шаг

Составьте список двадцати самых трудоёмких ручных регрессионных проверок, оцените каждую по пяти факторам и отсортируйте результат. Затем автоматизируйте первые три и используйте этот ранжированный список, чтобы ответить на вопрос, какие тесты автоматизировать в первую очередь, на следующем плановом собрании.

Entities in this article

Regression testing End-to-end testing Unit testing

Related articles

RSS