M365Con 2027 – бесплатная онлайн-конференция · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Как написать тест-кейс простым английским, который может выполнить ИИ-агент

By · · Updated

Пишите тест-кейсы простым английским, которые может выполнить ИИ-агент: одно поведение на тест, одно действие на шаг, названные элементы и понятный, проверяемый ожидаемый результат.

Automatically translated with AI from the original post. Read the English original

Чтобы написать тест-кейсы простым английским, которые может выполнить ИИ-агент, держите каждый тест на одном поведении, каждый шаг — на одном действии, а каждую проверку — на одном результате, который виден на экране. Это руководство для QA-лидов и тестировщиков, которые хотят перейти от сценариев к письменным инструкциям и при этом получать надёжные результаты. Вы узнаете пять частей тест-кейса, правила, которые делают шаг выполнимым, метод превращения критериев приёмки в тесты и пример, который можно взять за основу.

Ключевые выводы

  • Тест-кейс на простом английском состоит из пяти частей: названия, предусловий, шагов, ожидаемого результата и тестовых данных. ИИ-агенту нужны все пять, расписанные явно.
  • Описывайте одно поведение на тест и одно действие на шаг, потому что разработчики инструментов сообщают, что инструкции из одного шага выполняются наиболее точно.
  • Называйте каждый элемент так, как его видит пользователь, например кнопку «Log In», а не «кнопку» или «поле».
  • Для каждого теста задавайте ожидаемый результат, который можно проверить на экране, например заголовок или сумму, а не формулировку «убедиться, что всё работает».
  • Прежде чем доверять успешному прохождению, прочитайте, что сгенерировал агент, и перепишите любой шаг, который он понял не так, как вы имели в виду.

Пять частей тест-кейса на простом английском

Хороший тест-кейс читается как короткая история, которую может проследить любой член команды. В тестировании ПО умение писать эффективные тест-кейсы — базовый навык QA, и мануальные тестировщики всегда писали их простым языком. Новым является то, что теперь ИИ-агент может выполнять шаги теста. Это особенно важно для end-to-end testing, где тест проводит пользователя через весь рабочий процесс в браузере. Для ИИ-агента каждая часть должна быть явной, потому что агент не может переспросить, что вы имели в виду.

  1. Название. Одна строка, описывающая поведение, например «Клиент может сбросить забытый пароль». Название — первое, что видит читатель в отчёте.
  2. Предусловия. Состояние, в котором должен находиться продукт до начала теста, например «Учётная запись клиента существует, и клиент вышел из системы».
  3. Шаги. Что делает пользователь, по одному действию в строке.
  4. Ожидаемый результат. Что пользователь должен увидеть после выполнения, сформулированное так, чтобы это можно было проверить на экране.
  5. Тестовые данные. Точные значения, которые используются, например адрес электронной почты или номер заказа.

Общий шаблон делает тест-кейсы всех тестировщиков одинаковыми по структуре, а набор тестов с единым шаблоном гораздо легче проверять. Тест-кейсу также нужен способ проверить результат, поэтому ожидаемый результат так важен.

Это та же структура, которую использует разработка через поведение (behavior-driven development). В языке Gherkin, как описано на Automation Panda, Given задаёт исходное состояние, When выполняет тестируемое действие, а Then описывает ожидаемый результат. Использовать эти ключевые слова необязательно. Однако три роли по-прежнему полезны.

Правила, которые делают шаг выполнимым для ИИ-агента

Разработчики инструментов публикуют рекомендации по написанию инструкций, которые может выполнить ИИ-агент. В документации BrowserStack для их агента тестирования на естественном языке есть правила, которые подходят большинству инструментов:

  • Начинайте с глагола действия. «Click the Submit button» — понятно. «The submit button» — это не инструкция.
  • Используйте одно намерение в каждой команде. Разбивайте многошаговые задачи на отдельные шаги.
  • Называйте конкретный элемент. Пишите «the Log In button», а не «the button».
  • Сначала прокрутите страницу, если нужный элемент за пределами экрана. Добавьте шаг до действия.

На той же странице сказано, что надёжность падает по мере усложнения команд и что инструкции из одного шага самые точные. От себя добавлю три правила из практики:

  • Используйте слова с экрана. Если на кнопке написано «Sign in», не пишите «Log in».
  • Указывайте значения прямо в шаге. Пишите «Type ana@example.com into the Email field», а не «enter a valid email».
  • Избегайте местоимений и расплывчатых слов. «It», «there», «properly» и «correctly» скрывают решение, которое агенту придётся угадывать.

Как пошагово писать тест-кейсы простым английским

Следуйте этому методу, чтобы превратить требование в тест-кейс.

  1. Начните с одного критерия приёмки. Возьмите одно предложение из пользовательской истории, например «A customer who forgets a password can set a new one by email».
  2. Выберите одно поведение. Каждый тест-кейс проверяет одно поведение. В руководстве Automation Panda по написанию хорошего Gherkin это сформулировано как «One Scenario, One Behavior»: сценарий с несколькими парами When-Then нужно разделить.
  3. Опишите исходное состояние. Описывайте его как состояние, а не как действия по настройке. «A customer account exists» лучше, чем десять шагов, которые создают этот аккаунт.
  4. Опишите действия пользователя. Каждое действие — одна короткая строка с глаголом и названным элементом.
  5. Опишите ожидаемый результат. Укажите, что должно появиться: заголовок, сообщение, значение. Используйте точный текст.
  6. Добавьте данные. Поместите значения в шаги или в небольшую таблицу под тестом.
  7. Прочитайте вслух. Если новый коллега не смог бы выполнить тест вручную, агент тоже будет с ним мучиться.

В том же руководстве советуют держать сценарии короткими, до десяти шагов. Длинный тест-кейс часто оказывается несколькими тест-кейсами, склеенными вместе. Варианты одного поведения, например три неверных пароля, относятся в таблицу данных, а не в три копии одних и тех же шагов.

Пример: тест сброса пароля до и после

Детали вымышленные.

До (слишком расплывчато). «Check that password reset works.» У агента нет исходного состояния, действий и результата для проверки. Он может пройти тест по неверной причине.

После (пригодно для запуска).

  • Заголовок: Клиент может запросить ссылку для сброса пароля.
  • Предусловие: Учётная запись клиента существует для ana@example.com, и клиент вышел из системы.
  • Шаг 1: Open the Sign in page.
  • Шаг 2: Нажмите ссылку «Forgot password».
  • Шаг 3: Введите ana@example.com в поле Email.
  • Шаг 4: Нажмите кнопку «Send reset link».
  • Ожидаемый результат: The page shows the message «Check your email».

Версия «после» содержит одно поведение, пять коротких действий и один видимый результат. Если вашему продукту также нужно, чтобы ссылка из письма работала, напишите второй тест-кейс для этого поведения. Не расширяйте первый.

Теперь запустите его и прочитайте лог. Допустим, агент правильно нажал «Forgot password», но ввёл адрес в поле поиска. Лог покажет ошибку, и вы переписываете шаг 3 так: «Type ana@example.com into the Email field on the reset form». Команда Cypress рекомендует ту же привычку для своего инструмента на простом английском: проверяйте каждый сгенерированный шаг и переходите к фиксированному коду, когда нужен стабильный тест.

Варианты: используйте таблицу данных, а не копии

Многие тест-кейсы проверяют одно и то же поведение с разными значениями. Форма регистрации должна отклонять адрес без знака @, адрес без домена и адрес с пробелом. Не пишите три тест-кейса с одинаковыми шагами.

В руководстве Automation Panda отмечено, что в Gherkin нет шага «Or». Для вариаций одного и того же поведения оно рекомендует Scenario Outline с таблицей Examples и советует включать только нужные вариации, так как лишние строки увеличивают время выполнения. Ту же идею можно применить и в обычном английском языке. Запишите шаги один раз с плейсхолдером, например «Type {email} into the Email field», и добавьте под ними небольшую таблицу.

Пример таблицы (условный): {email} — «ana.example.com», ожидаемое сообщение — «Enter a valid email address»; {email} — «ana@», сообщение то же; {email} пусто, сообщение — «Email is required». Три строки, один набор шагов, три понятных результата. Если какая-то строка падает, отчёт показывает, какое значение нарушило правило.

Контрольный список перед запуском

Используйте этот список для каждого нового тест-кейса:

  • Заголовок описывает одно поведение.
  • Исходное состояние задаётся как состояние, а не как список кликов для настройки.
  • Каждый шаг начинается с глагола и называет элемент так, как он отображается на экране.
  • Все значения указаны явно.
  • Ожидаемый результат можно увидеть, и он содержит точный текст или число.
  • Шагов меньше десяти.
  • Тест прочитал кто-то другой.

Распространённые ошибки

  • Объединение нескольких поведений в одном тест-кейсе. Когда тест падает, неясно, какая часть сломалась.
  • Описание того, как, вместо того, что. Десять шагов с нажатиями клавиш скрывают замысел. Формулируйте действие на уровне, на котором его выполнял бы пользователь.
  • Пропуск ожидаемого результата. Тест-кейс без проверки может пройти, ничего не доказав.
  • Использование внутренних имён. Идентификаторы тестов и CSS-классы меняются. Используйте надписи, которые видят пользователи.
  • Поручение генеративному ИИ написать тесты и принятие их без чтения. Модель может придумать шаги, которых в вашем продукте нет.
  • Оставление данных на волю случая. Если значение не указано, агент выберет его сам, и тест может не повториться.

Как может помочь программное обеспечение

Для старта достаточно общей таблицы или страницы в вики. Записывайте каждый тест в пятиэлементной форме и проверяйте его так же, как код. Если вы используете систему управления тестированием, храните один тест в одной записи и связывайте его с требованием. Инструмент тестирования на естественном языке затем читает тот же текст. Многие команды также ведут короткое руководство по стилю с перечисленными выше правилами, чтобы каждый новый тестировщик писал шаги одинаково.

Следующий шаг

Возьмите три критерия приёмки из текущего спринта и напишите для каждого тест-кейс по пяти элементам. Запустите их в выбранном вами инструменте, чтобы записать тест-кейсы на простом английском языке, которые может выполнить агент, затем исправьте каждый шаг, который журнал покажет как понятый неверно.

Entities in this article

End-to-end testing AI agent Generative AI

Related articles

RSS