M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Як написати тест-кейс простою англійською, який може виконати AI-агент

By · · Updated

Пишіть тест-кейси простою англійською, які може виконати AI-агент: одна поведінка на тест, одна дія на крок, названі елементи та чіткий, перевірюваний очікуваний результат.

Automatically translated with AI from the original post. Read the English original

Щоб писати тест-кейси простою англійською, які може виконати AI-агент, зосередьте кожен тест на одній поведінці, кожен крок на одній дії, а кожну перевірку на одному результаті, який можна побачити на екрані. Цей посібник призначений для QA-лідів і тестувальників, які хочуть перейти від скриптів до письмових інструкцій і при цьому отримувати надійні результати. Ви дізнаєтеся про п'ять частин тест-кейсу, правила, що роблять крок придатним до виконання, метод перетворення критеріїв приймання на тести та робочий приклад, який можна скопіювати.

Головне

  • Тест-кейс простою англійською має п'ять частин: назву, передумови, кроки, очікуваний результат і тестові дані. AI-агенту потрібно, щоб усі п'ять були описані явно.
  • Пишіть одну поведінку на тест і одну дію на крок, адже розробники інструментів повідомляють, що інструкції з одним кроком є найточнішими.
  • Називайте кожен елемент так, як його бачить користувач, наприклад кнопка «Log In», а не «кнопка» чи «поле».
  • Для кожного тесту задавайте очікуваний результат, який можна перевірити на екрані, наприклад заголовок або суму, а не «переконайтеся, що все працює».
  • Перегляньте, що згенерував агент, перш ніж довіряти успішному проходженню, і переформулюйте будь-який крок, який він витлумачив не так, як ви мали на увазі.

П'ять частин тест-кейсу простою англійською

Добрий тест-кейс читається як коротка історія, яку може відстежити будь-хто в команді. У тестуванні програмного забезпечення написання ефективних тест-кейсів є ключовою навичкою QA, а мануальні тестувальники завжди писали їх простою мовою. Новим є те, що тепер AI-агент може виконувати кроки тесту. Це найважливіше для end-to-end тестування, де тест супроводжує користувача через увесь робочий процес у браузері. Для AI-агента кожна частина має бути явною, бо агент не може перепитати, що ви мали на увазі.

  1. Назва. Один рядок, що описує поведінку, наприклад «Клієнт може скинути забутий пароль». Назва – першe, що бачить читач у звіті.
  2. Передумови. Стан, у якому має перебувати продукт до початку тесту, наприклад «Обліковий запис клієнта існує, і клієнт вийшов із системи».
  3. Кроки. Що робить користувач, одна дія в одному рядку.
  4. Очікуваний результат. Що користувач має побачити після цього, сформульовано так, щоб це можна було перевірити на екрані.
  5. Тестові дані. Точні значення, які використовуються, наприклад адреса електронної пошти або номер замовлення.

Спільний шаблон підтримує однаковий формат тест-кейсів усіх тестувальників, а набір тестів з одним шаблоном значно легше переглядати. Тест-кейсу також потрібен спосіб перевірити результат, саме тому очікуваний результат є таким важливим.

Це та сама структура, яку використовує розробка через поведінку (behavior-driven development). У мові Gherkin, як пояснено на Automation Panda, Given описує початковий стан, When виконує дію, що тестується, а Then задає очікуваний результат. Ці ключові слова використовувати не обов'язково, але три ролі залишаються корисними.

Правила, які роблять крок придатним до виконання AI-агентом

Виробники інструментів публікують поради щодо написання інструкцій, які може виконати ШІ-агент. Документація BrowserStack для свого агента тестування природною мовою містить правила, що стосуються більшості інструментів:

  • Починайте з дієслова дії. «Click the Submit button» — зрозуміло. «The submit button» — це не інструкція.
  • Одна мета на одну команду. Розбивайте багатокрокові завдання на окремі кроки.
  • Називайте конкретний елемент. Пишіть «the Log In button», а не «the button».
  • Спершу прокрутіть, якщо ціль поза екраном. Додайте крок перед дією.

Та сама сторінка повідомляє, що надійність падає зі зростанням складності команд, і що однокрокові інструкції найточніші. Додамо три правила з практики:

  • Використовуйте слова, які є на екрані. Якщо на кнопці написано «Sign in», не пишіть «Log in».
  • Вказуйте значення прямо в кроці. Пишіть «Type ana@example.com into the Email field», а не «enter a valid email».
  • Уникайте займенників і розмитих слів. «It», «there», «properly» і «correctly» приховують рішення, яке агенту доведеться вгадувати.

Як покроково писати тест-кейси простою англійською мовою

Скористайтеся цим методом, щоб перетворити вимогу на тест-кейс.

  1. Почніть з одного критерію прийняття. Візьміть одне речення з користувацької історії, наприклад «A customer who forgets a password can set a new one by email».
  2. Оберіть одну поведінку. Кожен тест-кейс перевіряє одну поведінку. Посібник Automation Panda щодо написання хороших Gherkin-сценаріїв формулює це як «One Scenario, One Behavior» і стверджує, що сценарій із кількома парами When-Then слід розділити.
  3. Опишіть початковий стан. Описуйте його як стан, а не як дії з налаштування. «A customer account exists» краще, ніж десять кроків, які створюють обліковий запис.
  4. Запишіть дії користувача. Кожна дія — це один короткий рядок із дієсловом і назвою елемента.
  5. Запишіть очікуваний результат. Вкажіть, що має з'явитися: заголовок, повідомлення, значення. Використовуйте точний текст.
  6. Додайте дані. Розмістіть значення в кроках або в невelikій таблиці під тестом.
  7. Прочитайте вголос. Якщо новий колега не зміг би виконати тест вручну, агенту теж буде важко.

Той самий посібник радить тримати сценарії короткими, з менш ніж десятьма кроками. Довгий тест-кейс часто є кількома тест-кейсами, з'єднаними разом. Варіації однієї поведінки, наприклад три некоректні паролі, належать до таблиці даних, а не до трьох копій однакових кроків.

Приклад: тест скидання пароля, до і після

Деталі вигадані.

До (занадто розмито). «Check that password reset works.» Агент не має ні початкового стану, ні дій, ні результату для перевірки. Він може пройти тест з неправильної причини.

Після (придатний до запуску).

  • Назва: Клієнт може запросити посилання для скидання пароля.
  • Передумова: Для ana@example.com існує обліковий запис клієнта, і клієнт вийшов із системи.
  • Крок 1: Відкрийте сторінку Sign in.
  • Крок 2: Натисніть посилання «Forgot password».
  • Крок 3: Введіть ana@example.com у поле Email.
  • Крок 4: Натисніть кнопку «Send reset link».
  • Очікуваний результат: Сторінка показує повідомлення «Check your email».

Версія «після» має одну поведінку, п'ять коротких дій і один видимий результат. Якщо вашому продукту також потрібно, щоб посилання з листа працювало, напишіть другий тест-кейс для цієї поведінки. Не розширюйте перший.

Тепер запустіть його і прочитайте журнал. Припустімо, агент натиснув «Forgot password» правильно, але ввів адресу в поле пошуку. Журнал показує помилку, і ви переписуєте крок 3 так: «Type ana@example.com into the Email field on the reset form». Команда Cypress рекомендує ту саму звичку для свого інструменту простою англійською: перевіряйте кожен згенерований крок і переходьте до фіксованого коду, коли потрібен стабільний тест.

Варіації: використовуйте таблицю даних, а не копії

Багато тест-кейсів перевіряють одну й ту саму поведінку з різними значеннями. Форма реєстрації має відхиляти адресу електронної пошти без символу @, без домену та з пробілами. Не пишіть три тест-кейси з однаковими кроками.

Посібник Automation Panda зазначає, що в Gherkin немає кроку «Or». Для варіацій однієї поведінки він рекомендує Scenario Outline з таблицею Examples і радить включати лише ті варіації, які вам справді потрібні, бо зайві рядки збільшують час виконання. Ту саму ідею можна застосувати і в звичайній англійській мові. Напишіть кроки один раз із заповнювачем, наприклад «Type {email} into the Email field», і додайте під ними невелику таблицю.

Приклад таблиці (вигаданий): {email} дорівнює «ana.example.com», а очікуване повідомлення – «Enter a valid email address»; {email} дорівнює «ana@», а повідомлення те саме; {email} порожнє, а повідомлення – «Email is required». Три рядки, один набір кроків, три чіткі результати. Якщо один рядок не проходить, звіт показує, яке значення порушило правило.

Чек-лист перевірки перед запуском

Використовуйте цей список для кожного нового тест-кейсу:

  • Назва описує одну поведінку.
  • Початковий стан описаний як стан, а не як перелік кліків для налаштування.
  • Кожен крок починається з дієслова і називає елемент так, як він відображається на екрані.
  • Усі значення записані повністю.
  • Очікуваний результат можна побачити, і він має точний текст або число.
  • Кроків менше десяти.
  • Тест прочитав ще хтось інший.

Типові помилки

  • Поєднання кількох поведінок в одному тест-кейсі. Коли тест падає, ви не знаєте, яка частина зламалася.
  • Опис того, як, а не того, що. Десять кроків натискань клавіш приховують задум. Описуйте дію на тому рівні, на якому її виконував би користувач.
  • Пропуск очікуваного результату. Тест-кейс без перевірки може пройти, нічого не довівши.
  • Використання внутрішніх назв. Ідентифікатори тестів і CSS-класи змінюються. Використовуйте мітки, які бачать користувачі.
  • Доручення генеративному ШІ написати тести та прийняття їх без перевірки. Модель може вигадати кроки, яких у вашому продукті немає.
  • Залишення даних на волю випадку. Якщо значення не вказано, агент вибере його сам, і тест може не відтворитися.

Як може допомогти програмне забезпечення

Для початку достатньо спільної таблиці або сторінки в wiki. Записуйте кожен тест у п'ятичастинній формі та перевіряйте його, як код. Якщо ви використовуєте інструмент керування тестуванням, зберігайте один тест в одному записі та пов'язуйте його з вимогою. Інструмент тестування природною мовою then читає той самий текст. Багато команд також ведуть короткий посібник зі стилю з наведеними вище правилами, щоб кожен новий тестувальник писав кроки однаково.

Наступний крок

Візьміть три критерії приймання з поточного спринту і напишіть для кожного тест-кейс у п'ятичастинній формі. Запустіть їх в обраному вами інструменті, щоб записати тест-кейси звичайною англійською мовою, які може виконати агент, а потім виправте кожен крок, який журнал покаже як неправильно інтерпретований.

Entities in this article

End-to-end testing AI agent Generative AI

Related articles

RSS