Как написать тест-кейс простым английским, который может выполнить ИИ-агент
By Mirko Peters · · Updated
Пишите тест-кейсы простым английским, которые может выполнить ИИ-агент: одно поведение на тест, одно действие на шаг, названные элементы и понятный, проверяемый ожидаемый результат.
Automatically translated with AI from the original post. Read the English original
Чтобы написать тест-кейсы простым английским, которые может выполнить ИИ-агент, держите каждый тест на одном поведении, каждый шаг — на одном действии, а каждую проверку — на одном результате, который виден на экране. Это руководство для QA-лидов и тестировщиков, которые хотят перейти от сценариев к письменным инструкциям и при этом получать надёжные результаты. Вы узнаете пять частей тест-кейса, правила, которые делают шаг выполнимым, метод превращения критериев приёмки в тесты и пример, который можно взять за основу.
Ключевые выводы
- Тест-кейс на простом английском состоит из пяти частей: названия, предусловий, шагов, ожидаемого результата и тестовых данных. ИИ-агенту нужны все пять, расписанные явно.
- Описывайте одно поведение на тест и одно действие на шаг, потому что разработчики инструментов сообщают, что инструкции из одного шага выполняются наиболее точно.
- Называйте каждый элемент так, как его видит пользователь, например кнопку «Log In», а не «кнопку» или «поле».
- Для каждого теста задавайте ожидаемый результат, который можно проверить на экране, например заголовок или сумму, а не формулировку «убедиться, что всё работает».
- Прежде чем доверять успешному прохождению, прочитайте, что сгенерировал агент, и перепишите любой шаг, который он понял не так, как вы имели в виду.
Пять частей тест-кейса на простом английском
Хороший тест-кейс читается как короткая история, которую может проследить любой член команды. В тестировании ПО умение писать эффективные тест-кейсы — базовый навык QA, и мануальные тестировщики всегда писали их простым языком. Новым является то, что теперь ИИ-агент может выполнять шаги теста. Это особенно важно для end-to-end testing, где тест проводит пользователя через весь рабочий процесс в браузере. Для ИИ-агента каждая часть должна быть явной, потому что агент не может переспросить, что вы имели в виду.
- Название. Одна строка, описывающая поведение, например «Клиент может сбросить забытый пароль». Название — первое, что видит читатель в отчёте.
- Предусловия. Состояние, в котором должен находиться продукт до начала теста, например «Учётная запись клиента существует, и клиент вышел из системы».
- Шаги. Что делает пользователь, по одному действию в строке.
- Ожидаемый результат. Что пользователь должен увидеть после выполнения, сформулированное так, чтобы это можно было проверить на экране.
- Тестовые данные. Точные значения, которые используются, например адрес электронной почты или номер заказа.
Общий шаблон делает тест-кейсы всех тестировщиков одинаковыми по структуре, а набор тестов с единым шаблоном гораздо легче проверять. Тест-кейсу также нужен способ проверить результат, поэтому ожидаемый результат так важен.
Это та же структура, которую использует разработка через поведение (behavior-driven development). В языке Gherkin, как описано на Automation Panda, Given задаёт исходное состояние, When выполняет тестируемое действие, а Then описывает ожидаемый результат. Использовать эти ключевые слова необязательно. Однако три роли по-прежнему полезны.
Правила, которые делают шаг выполнимым для ИИ-агента
Разработчики инструментов публикуют рекомендации по написанию инструкций, которые может выполнить ИИ-агент. В документации BrowserStack для их агента тестирования на естественном языке есть правила, которые подходят большинству инструментов:
- Начинайте с глагола действия. «Click the Submit button» — понятно. «The submit button» — это не инструкция.
- Используйте одно намерение в каждой команде. Разбивайте многошаговые задачи на отдельные шаги.
- Называйте конкретный элемент. Пишите «the Log In button», а не «the button».
- Сначала прокрутите страницу, если нужный элемент за пределами экрана. Добавьте шаг до действия.
На той же странице сказано, что надёжность падает по мере усложнения команд и что инструкции из одного шага самые точные. От себя добавлю три правила из практики:
- Используйте слова с экрана. Если на кнопке написано «Sign in», не пишите «Log in».
- Указывайте значения прямо в шаге. Пишите «Type ana@example.com into the Email field», а не «enter a valid email».
- Избегайте местоимений и расплывчатых слов. «It», «there», «properly» и «correctly» скрывают решение, которое агенту придётся угадывать.
Как пошагово писать тест-кейсы простым английским
Следуйте этому методу, чтобы превратить требование в тест-кейс.
- Начните с одного критерия приёмки. Возьмите одно предложение из пользовательской истории, например «A customer who forgets a password can set a new one by email».
- Выберите одно поведение. Каждый тест-кейс проверяет одно поведение. В руководстве Automation Panda по написанию хорошего Gherkin это сформулировано как «One Scenario, One Behavior»: сценарий с несколькими парами When-Then нужно разделить.
- Опишите исходное состояние. Описывайте его как состояние, а не как действия по настройке. «A customer account exists» лучше, чем десять шагов, которые создают этот аккаунт.
- Опишите действия пользователя. Каждое действие — одна короткая строка с глаголом и названным элементом.
- Опишите ожидаемый результат. Укажите, что должно появиться: заголовок, сообщение, значение. Используйте точный текст.
- Добавьте данные. Поместите значения в шаги или в небольшую таблицу под тестом.
- Прочитайте вслух. Если новый коллега не смог бы выполнить тест вручную, агент тоже будет с ним мучиться.
В том же руководстве советуют держать сценарии короткими, до десяти шагов. Длинный тест-кейс часто оказывается несколькими тест-кейсами, склеенными вместе. Варианты одного поведения, например три неверных пароля, относятся в таблицу данных, а не в три копии одних и тех же шагов.
Пример: тест сброса пароля до и после
Детали вымышленные.
До (слишком расплывчато). «Check that password reset works.» У агента нет исходного состояния, действий и результата для проверки. Он может пройти тест по неверной причине.
После (пригодно для запуска).
- Заголовок: Клиент может запросить ссылку для сброса пароля.
- Предусловие: Учётная запись клиента существует для ana@example.com, и клиент вышел из системы.
- Шаг 1: Open the Sign in page.
- Шаг 2: Нажмите ссылку «Forgot password».
- Шаг 3: Введите ana@example.com в поле Email.
- Шаг 4: Нажмите кнопку «Send reset link».
- Ожидаемый результат: The page shows the message «Check your email».
Версия «после» содержит одно поведение, пять коротких действий и один видимый результат. Если вашему продукту также нужно, чтобы ссылка из письма работала, напишите второй тест-кейс для этого поведения. Не расширяйте первый.
Теперь запустите его и прочитайте лог. Допустим, агент правильно нажал «Forgot password», но ввёл адрес в поле поиска. Лог покажет ошибку, и вы переписываете шаг 3 так: «Type ana@example.com into the Email field on the reset form». Команда Cypress рекомендует ту же привычку для своего инструмента на простом английском: проверяйте каждый сгенерированный шаг и переходите к фиксированному коду, когда нужен стабильный тест.
Варианты: используйте таблицу данных, а не копии
Многие тест-кейсы проверяют одно и то же поведение с разными значениями. Форма регистрации должна отклонять адрес без знака @, адрес без домена и адрес с пробелом. Не пишите три тест-кейса с одинаковыми шагами.
В руководстве Automation Panda отмечено, что в Gherkin нет шага «Or». Для вариаций одного и того же поведения оно рекомендует Scenario Outline с таблицей Examples и советует включать только нужные вариации, так как лишние строки увеличивают время выполнения. Ту же идею можно применить и в обычном английском языке. Запишите шаги один раз с плейсхолдером, например «Type {email} into the Email field», и добавьте под ними небольшую таблицу.
Пример таблицы (условный): {email} — «ana.example.com», ожидаемое сообщение — «Enter a valid email address»; {email} — «ana@», сообщение то же; {email} пусто, сообщение — «Email is required». Три строки, один набор шагов, три понятных результата. Если какая-то строка падает, отчёт показывает, какое значение нарушило правило.
Контрольный список перед запуском
Используйте этот список для каждого нового тест-кейса:
- Заголовок описывает одно поведение.
- Исходное состояние задаётся как состояние, а не как список кликов для настройки.
- Каждый шаг начинается с глагола и называет элемент так, как он отображается на экране.
- Все значения указаны явно.
- Ожидаемый результат можно увидеть, и он содержит точный текст или число.
- Шагов меньше десяти.
- Тест прочитал кто-то другой.
Распространённые ошибки
- Объединение нескольких поведений в одном тест-кейсе. Когда тест падает, неясно, какая часть сломалась.
- Описание того, как, вместо того, что. Десять шагов с нажатиями клавиш скрывают замысел. Формулируйте действие на уровне, на котором его выполнял бы пользователь.
- Пропуск ожидаемого результата. Тест-кейс без проверки может пройти, ничего не доказав.
- Использование внутренних имён. Идентификаторы тестов и CSS-классы меняются. Используйте надписи, которые видят пользователи.
- Поручение генеративному ИИ написать тесты и принятие их без чтения. Модель может придумать шаги, которых в вашем продукте нет.
- Оставление данных на волю случая. Если значение не указано, агент выберет его сам, и тест может не повториться.
Как может помочь программное обеспечение
Для старта достаточно общей таблицы или страницы в вики. Записывайте каждый тест в пятиэлементной форме и проверяйте его так же, как код. Если вы используете систему управления тестированием, храните один тест в одной записи и связывайте его с требованием. Инструмент тестирования на естественном языке затем читает тот же текст. Многие команды также ведут короткое руководство по стилю с перечисленными выше правилами, чтобы каждый новый тестировщик писал шаги одинаково.
Следующий шаг
Возьмите три критерия приёмки из текущего спринта и напишите для каждого тест-кейс по пяти элементам. Запустите их в выбранном вами инструменте, чтобы записать тест-кейсы на простом английском языке, которые может выполнить агент, затем исправьте каждый шаг, который журнал покажет как понятый неверно.