Як написати тест-кейс простою англійською, який може виконати AI-агент
By Mirko Peters · · Updated
Пишіть тест-кейси простою англійською, які може виконати AI-агент: одна поведінка на тест, одна дія на крок, названі елементи та чіткий, перевірюваний очікуваний результат.
Automatically translated with AI from the original post. Read the English original
Щоб писати тест-кейси простою англійською, які може виконати AI-агент, зосередьте кожен тест на одній поведінці, кожен крок на одній дії, а кожну перевірку на одному результаті, який можна побачити на екрані. Цей посібник призначений для QA-лідів і тестувальників, які хочуть перейти від скриптів до письмових інструкцій і при цьому отримувати надійні результати. Ви дізнаєтеся про п'ять частин тест-кейсу, правила, що роблять крок придатним до виконання, метод перетворення критеріїв приймання на тести та робочий приклад, який можна скопіювати.
Головне
- Тест-кейс простою англійською має п'ять частин: назву, передумови, кроки, очікуваний результат і тестові дані. AI-агенту потрібно, щоб усі п'ять були описані явно.
- Пишіть одну поведінку на тест і одну дію на крок, адже розробники інструментів повідомляють, що інструкції з одним кроком є найточнішими.
- Називайте кожен елемент так, як його бачить користувач, наприклад кнопка «Log In», а не «кнопка» чи «поле».
- Для кожного тесту задавайте очікуваний результат, який можна перевірити на екрані, наприклад заголовок або суму, а не «переконайтеся, що все працює».
- Перегляньте, що згенерував агент, перш ніж довіряти успішному проходженню, і переформулюйте будь-який крок, який він витлумачив не так, як ви мали на увазі.
П'ять частин тест-кейсу простою англійською
Добрий тест-кейс читається як коротка історія, яку може відстежити будь-хто в команді. У тестуванні програмного забезпечення написання ефективних тест-кейсів є ключовою навичкою QA, а мануальні тестувальники завжди писали їх простою мовою. Новим є те, що тепер AI-агент може виконувати кроки тесту. Це найважливіше для end-to-end тестування, де тест супроводжує користувача через увесь робочий процес у браузері. Для AI-агента кожна частина має бути явною, бо агент не може перепитати, що ви мали на увазі.
- Назва. Один рядок, що описує поведінку, наприклад «Клієнт може скинути забутий пароль». Назва – першe, що бачить читач у звіті.
- Передумови. Стан, у якому має перебувати продукт до початку тесту, наприклад «Обліковий запис клієнта існує, і клієнт вийшов із системи».
- Кроки. Що робить користувач, одна дія в одному рядку.
- Очікуваний результат. Що користувач має побачити після цього, сформульовано так, щоб це можна було перевірити на екрані.
- Тестові дані. Точні значення, які використовуються, наприклад адреса електронної пошти або номер замовлення.
Спільний шаблон підтримує однаковий формат тест-кейсів усіх тестувальників, а набір тестів з одним шаблоном значно легше переглядати. Тест-кейсу також потрібен спосіб перевірити результат, саме тому очікуваний результат є таким важливим.
Це та сама структура, яку використовує розробка через поведінку (behavior-driven development). У мові Gherkin, як пояснено на Automation Panda, Given описує початковий стан, When виконує дію, що тестується, а Then задає очікуваний результат. Ці ключові слова використовувати не обов'язково, але три ролі залишаються корисними.
Правила, які роблять крок придатним до виконання AI-агентом
Виробники інструментів публікують поради щодо написання інструкцій, які може виконати ШІ-агент. Документація BrowserStack для свого агента тестування природною мовою містить правила, що стосуються більшості інструментів:
- Починайте з дієслова дії. «Click the Submit button» — зрозуміло. «The submit button» — це не інструкція.
- Одна мета на одну команду. Розбивайте багатокрокові завдання на окремі кроки.
- Називайте конкретний елемент. Пишіть «the Log In button», а не «the button».
- Спершу прокрутіть, якщо ціль поза екраном. Додайте крок перед дією.
Та сама сторінка повідомляє, що надійність падає зі зростанням складності команд, і що однокрокові інструкції найточніші. Додамо три правила з практики:
- Використовуйте слова, які є на екрані. Якщо на кнопці написано «Sign in», не пишіть «Log in».
- Вказуйте значення прямо в кроці. Пишіть «Type ana@example.com into the Email field», а не «enter a valid email».
- Уникайте займенників і розмитих слів. «It», «there», «properly» і «correctly» приховують рішення, яке агенту доведеться вгадувати.
Як покроково писати тест-кейси простою англійською мовою
Скористайтеся цим методом, щоб перетворити вимогу на тест-кейс.
- Почніть з одного критерію прийняття. Візьміть одне речення з користувацької історії, наприклад «A customer who forgets a password can set a new one by email».
- Оберіть одну поведінку. Кожен тест-кейс перевіряє одну поведінку. Посібник Automation Panda щодо написання хороших Gherkin-сценаріїв формулює це як «One Scenario, One Behavior» і стверджує, що сценарій із кількома парами When-Then слід розділити.
- Опишіть початковий стан. Описуйте його як стан, а не як дії з налаштування. «A customer account exists» краще, ніж десять кроків, які створюють обліковий запис.
- Запишіть дії користувача. Кожна дія — це один короткий рядок із дієсловом і назвою елемента.
- Запишіть очікуваний результат. Вкажіть, що має з'явитися: заголовок, повідомлення, значення. Використовуйте точний текст.
- Додайте дані. Розмістіть значення в кроках або в невelikій таблиці під тестом.
- Прочитайте вголос. Якщо новий колега не зміг би виконати тест вручну, агенту теж буде важко.
Той самий посібник радить тримати сценарії короткими, з менш ніж десятьма кроками. Довгий тест-кейс часто є кількома тест-кейсами, з'єднаними разом. Варіації однієї поведінки, наприклад три некоректні паролі, належать до таблиці даних, а не до трьох копій однакових кроків.
Приклад: тест скидання пароля, до і після
Деталі вигадані.
До (занадто розмито). «Check that password reset works.» Агент не має ні початкового стану, ні дій, ні результату для перевірки. Він може пройти тест з неправильної причини.
Після (придатний до запуску).
- Назва: Клієнт може запросити посилання для скидання пароля.
- Передумова: Для ana@example.com існує обліковий запис клієнта, і клієнт вийшов із системи.
- Крок 1: Відкрийте сторінку Sign in.
- Крок 2: Натисніть посилання «Forgot password».
- Крок 3: Введіть ana@example.com у поле Email.
- Крок 4: Натисніть кнопку «Send reset link».
- Очікуваний результат: Сторінка показує повідомлення «Check your email».
Версія «після» має одну поведінку, п'ять коротких дій і один видимий результат. Якщо вашому продукту також потрібно, щоб посилання з листа працювало, напишіть другий тест-кейс для цієї поведінки. Не розширюйте перший.
Тепер запустіть його і прочитайте журнал. Припустімо, агент натиснув «Forgot password» правильно, але ввів адресу в поле пошуку. Журнал показує помилку, і ви переписуєте крок 3 так: «Type ana@example.com into the Email field on the reset form». Команда Cypress рекомендує ту саму звичку для свого інструменту простою англійською: перевіряйте кожен згенерований крок і переходьте до фіксованого коду, коли потрібен стабільний тест.
Варіації: використовуйте таблицю даних, а не копії
Багато тест-кейсів перевіряють одну й ту саму поведінку з різними значеннями. Форма реєстрації має відхиляти адресу електронної пошти без символу @, без домену та з пробілами. Не пишіть три тест-кейси з однаковими кроками.
Посібник Automation Panda зазначає, що в Gherkin немає кроку «Or». Для варіацій однієї поведінки він рекомендує Scenario Outline з таблицею Examples і радить включати лише ті варіації, які вам справді потрібні, бо зайві рядки збільшують час виконання. Ту саму ідею можна застосувати і в звичайній англійській мові. Напишіть кроки один раз із заповнювачем, наприклад «Type {email} into the Email field», і додайте під ними невелику таблицю.
Приклад таблиці (вигаданий): {email} дорівнює «ana.example.com», а очікуване повідомлення – «Enter a valid email address»; {email} дорівнює «ana@», а повідомлення те саме; {email} порожнє, а повідомлення – «Email is required». Три рядки, один набір кроків, три чіткі результати. Якщо один рядок не проходить, звіт показує, яке значення порушило правило.
Чек-лист перевірки перед запуском
Використовуйте цей список для кожного нового тест-кейсу:
- Назва описує одну поведінку.
- Початковий стан описаний як стан, а не як перелік кліків для налаштування.
- Кожен крок починається з дієслова і називає елемент так, як він відображається на екрані.
- Усі значення записані повністю.
- Очікуваний результат можна побачити, і він має точний текст або число.
- Кроків менше десяти.
- Тест прочитав ще хтось інший.
Типові помилки
- Поєднання кількох поведінок в одному тест-кейсі. Коли тест падає, ви не знаєте, яка частина зламалася.
- Опис того, як, а не того, що. Десять кроків натискань клавіш приховують задум. Описуйте дію на тому рівні, на якому її виконував би користувач.
- Пропуск очікуваного результату. Тест-кейс без перевірки може пройти, нічого не довівши.
- Використання внутрішніх назв. Ідентифікатори тестів і CSS-класи змінюються. Використовуйте мітки, які бачать користувачі.
- Доручення генеративному ШІ написати тести та прийняття їх без перевірки. Модель може вигадати кроки, яких у вашому продукті немає.
- Залишення даних на волю випадку. Якщо значення не вказано, агент вибере його сам, і тест може не відтворитися.
Як може допомогти програмне забезпечення
Для початку достатньо спільної таблиці або сторінки в wiki. Записуйте кожен тест у п'ятичастинній формі та перевіряйте його, як код. Якщо ви використовуєте інструмент керування тестуванням, зберігайте один тест в одному записі та пов'язуйте його з вимогою. Інструмент тестування природною мовою then читає той самий текст. Багато команд також ведуть короткий посібник зі стилю з наведеними вище правилами, щоб кожен новий тестувальник писав кроки однаково.
Наступний крок
Візьміть три критерії приймання з поточного спринту і напишіть для кожного тест-кейс у п'ятичастинній формі. Запустіть їх в обраному вами інструменті, щоб записати тест-кейси звичайною англійською мовою, які може виконати агент, а потім виправте кожен крок, який журнал покаже як неправильно інтерпретований.