Можно ли использовать ИИ для написания тест-кейсов по пользовательским историям? На что смотреть в первую очередь
By Mirko Peters · · Updated
Можно ли генерировать тест-кейсы по пользовательским историям с помощью ИИ? Исследования показывают быстрые черновики с пробелами. Что проверить в первую очередь: покрытие, неоднозначность, граничные случаи и придуманные тесты.
Automatically translated with AI from the original post. Read the English original
Можно ли генерировать тест-кейсы по пользовательским историям с помощью ИИ? Да, и делается это за секунды, но черновик нужно внимательно проверить, прежде чем он попадёт в набор тестов. Это руководство для руководителей QA, которые хотят попробовать такой подход без потери качества. Вы узнаете, что выяснили два опубликованных исследования, какие проблемы возникают снова и снова, и получите чек-лист для проверки черновика. Пример с вымышленными цифрами показывает, как проверка меняет пакет сгенерированных тест-кейсов.
Ключевые выводы
- ИИ может составить черновик тест-кейсов по пользовательским историям за секунды или минуты. Эксперимент Thoughtworks показал высокое покрытие заявленных критериев приёмки, однако качество зависело от того, насколько понятна история.
- В том же эксперименте неоднозначность была обнаружена примерно в 27 процентах сгенерированных кейсов, а около 6 процентов кейсов оказались некорректными, поэтому проверка обязательна.
- В исследованиях описаны четыре повторяющиеся проблемы: нерелевантные или придуманные кейсы, избыточные кейсы, пропущенные граничные случаи и входные данные, которые описаны не полностью.
- Проверяйте каждый черновик по критериям приёмки, удаляйте дубликаты, добавляйте граничные случаи и негативные сценарии и переписывайте расплывчатые шаги.
- Относитесь к модели как к помощнику, который готовит черновики, а ответственность за то, что попадает в набор регрессионных тестов, оставляйте за человеком.
Можно ли генерировать тест-кейсы по пользовательским историям с помощью ИИ? Что показали исследования
В статье Thoughtworks AI generated test cases from user stories: an experimental research study описан небольшой эксперимент. Три инженера QA со стажем от трёх до пяти лет написали ручные тест-кейсы для девяти пользовательских историй. Затем инструменты генеративного ИИ, в основном GitHub Copilot с ChatGPT для сравнения, создали тест-кейсы для тех же историй на основе доработанных промптов.
В среднем сгенерированные кейсы покрывали 98,67 процента критериев приёмки и были единообразны по структуре. В статье сообщается о примерно 4 процентах дублирования, около 6 процентах некорректных тест-кейсов и показателе неоднозначности около 27 процентов. Также отмечается, что генерация занимает секунды или минуты вместо часов.
Слабые стороны были не менее очевидны. Качество сильно зависело от качества и конкретности исходных данных. Инструментам было сложно справляться со сложной бизнес-логикой, без явных указаний они находили мало граничных случаев и почти не занимались нефункциональным тестированием, если их об этом не просили. Авторы называют свою гипотезу частично подтверждённой, считают человеческий контроль по-прежнему необходимым и отмечают, что выборка из девяти пользовательских историй невелика.
Второй материал — исследование на arXiv под названием Automatic High-Level Test Case Generation using Large Language Models. Оно посвящено не пользовательским историям, а сценариям использования (use cases), поэтому рассматривайте его как смежный результат. Авторы собрали набор данных из 1 067 сценариев использования и 3 606 тест-кейсов из 168 проектов. В ходе оценки людьми GPT-4o получила 3,91 балла за полноту и 3,98 за релевантность, тогда как тест-кейсы, написанные людьми, получили 4,04 и 4,30. Авторы сочли результат удовлетворительным, но отметили, что автоматически созданные тест-кейсы необходимо полностью проверить людьми.
Что показывают цифры и чего они не показывают
Относитесь к процентам с осторожностью. Оба исследования сами указывают на свои ограничения. В эксперименте Thoughtworks использовались девять пользовательских историй, конкретные инструменты и их версии, а оценка была частично субъективной. Кроме того, эксперимент не измерял производительность в долгосрочной перспективе. В нём также сказано, что ChatGPT справлялся лучше, чем GitHub Copilot, там, где требовалась детальная интерпретация промпта, поэтому результаты зависят от инструмента и от промпта.
В статье на arXiv 26 оценщиков-людей лишь умеренно согласовывались друг с другом: коэффициент каппа Коэна составил 0,42, а участники были выборкой по удобству. Авторы также пишут, что автоматическая оценка сходства не может надёжно выявить пропущенные граничные или негативные случаи. Поэтому они и призывают к оценке людьми.
К высокому показателю покрытия тоже нужно отнестись критически. Он измеряет критерии, которые были записаны. Он не может показать правила, которые никто не записал в историю, а именно в таких скрытых правилах часто и прячутся дефекты.
Четыре повторяющиеся проблемы
В статье на arXiv названы четыре повторяющиеся проблемы, и результаты Thoughtworks указывают в том же направлении:
- Нерелевантные кейсы. Авторы связывают их с галлюцинациями ИИ: модель выдаёт правдоподобно звучащую, но неверную информацию. Один из примеров — тест для функции, которую приложение не поддерживало.
- Избыточные кейсы. Некоторые кейсы повторяют другие с незначительным изменением.
- Пропущенные граничные случаи. Модели пропускали случаи, которые включали тестировщики-люди, например отклонение неподдерживаемого типа файла.
- Слабая спецификация входных данных. В некоторых сгенерированных кейсах не хватало входных полей, необходимых для теста.
Ни одна из этих проблем не делает черновик бесполезным. Они лишь подсказывают, на что смотреть.
Что проверять в первую очередь: контрольный список для ревью
Thoughtworks рекомендует перед использованием в продуктиве проверять результат по критериям приёмки, отмечать неясную логику и убеждаться в покрытии граничных случаев. Превратите это в контрольный список для каждой партии:
- Покрытие. Есть ли у каждого критерия приёмки хотя бы один тест-кейс? Выпишите критерии и отмечайте их по мере проверки.
- Придуманные тесты. Соответствует ли каждый кейс чему-то в истории? Удаляйте кейсы для функций, которых не существует.
- Дубликаты. Объединяйте кейсы, которые проверяют одно и то же поведение на одних и тех же данных.
- Конкретные шаги. Называет ли каждый шаг элемент и данные? Переписывайте расплывчатые формулировки вроде «введите корректные данные».
- Ожидаемые результаты. Можно ли увидеть каждый ожидаемый результат на экране или в записи?
- Граничные случаи и негативные сценарии. Добавьте пустой ввод, неверный формат, предельные значения и сбои разрешений.
- Нефункциональные требования. Добавьте проверки производительности, доступности и безопасности, которые подразумевает история, поскольку модель может их пропустить.
Для большой партии сначала проверьте выборку. Прочитайте первые десять кейсов целиком. Если многие из них не проходят контрольный список, исправьте историю или промпт, прежде чем читать дальше, потому что тот же недостаток повторится в остальных. Это рабочее правило, а не результат исследований.
Генерация тест-кейсов с помощью ИИ встраивается в тестирование ПО как этап подготовки черновиков, который идёт до автоматизации тестов. Команда QA может использовать ИИ, чтобы создать тест-кейсы для каждого тестового сценария в истории, проверить покрытие тестами по критериям приёмки, а затем решить, какие кейсы превратить в автоматизированные тесты. Инструмент ИИ делает рутинную работу по написанию, а дизайн тестов остаётся за командой QA. При таком подходе тесты создаются быстрее, и при этом не снижается качество набора тестов.
Такая проверка требует участия человека (human-in-the-loop). Тестировщик не переписывает черновик заново. Он оценивает его, и именно эта оценка — та часть работы, которую модель не может выполнить за него.
Сделайте входные данные понятнее для ИИ
Thoughtworks сообщает, что промпт эволюционировал от простого запроса к такому, где модели задавалась роль и предлагалось при необходимости использовать формат Given, When, Then. Там же сказано, что для сложных сценариев покрытие потребовало значительной работы над промптом. Помогают три привычки:
- Пишите явные критерии приёмки. Если история расплывчата, расплывчатыми будут и кейсы. Сначала доработайте историю.
- Добавляйте контекст. Укажите роль пользователя, область продукта и правила, которые модель не может угадать.
- Запрашивайте структуру. Используйте ИИ с чётким форматом: для каждого кейса запросите название, предусловия, шаги, данные и ожидаемый результат, и попросите ИИ перечислить свои допущения.
Не включайте в промпт секреты и данные клиентов. Используйте вымышленные примерные значения.
Пример: проверка одной партии
Цифры условные.
Команда передаёт ИИ-ассистенту десять пользовательских историй. Через несколько минут он возвращает 60 тест-кейсов. QA-лидер проверяет их вместе с владельцем продукта.
- 6 кейсов являются дубликатами, поэтому команда их удаляет.
- 5 кейсов проверяют поведение, которого у продукта нет, поэтому их тоже удаляют. Остаётся 49.
- 7 из оставшихся 49 кейсов содержат расплывчатые шаги или результаты, поэтому команда их переписывает.
- Не хватает 9 граничных и негативных сценариев, поэтому команда добавляет их вручную.
Итоговый набор содержит 58 тест-кейсов. Проверка заняла около трёх часов, тогда как написание всех 58 с нуля могло бы занять целый день. Команда сохраняет заметки по проверке, фиксирует, какие типы кейсов были отклонены, и использует их, чтобы улучшить промпт к следующему спринту. Выигрыш реален, но он достигается благодаря проверке, а не только модели.
Распространённые ошибки
- Принимать партию, не читая её. Дубликаты и придуманные кейсы попадают в набор и подрывают доверие к нему.
- Оценивать успех по количеству кейсов. Больше кейсов не означает большего покрытия.
- Подавать модели расплывчатые истории. Плохой вход даёт плохой результат.
- Забывать о граничных сценариях и нефункциональных проверках. Исследования показывают, что модели склонны их пропускать.
- Помещать в промпты личные данные. Используйте вымышленные значения и следуйте политике работы с данными.
- Пропускать связь с критериями приёмки. Без неё нельзя показать, что покрыто.
Как может помочь программное обеспечение
Таблица или инструмент управления тестированием могут хранить критерии, сгенерированные кейсы и статус проверки рядом друг с другом. Отмечайте каждый кейс как принятый, переписанный или отклонённый и ведите подсчёт, чтобы через несколько спринтов вы знали собственный процент отклонений. Инструмент код-ревью или общий документ помогает тестировщикам и владельцам продукта проверять вместе. Если вы используете ИИ-ассистента, выбирайте такой, который позволяет контролировать промпт и видеть его полный вывод. Для кейсов на уровне браузера инструмент end-to-end testing на простом языке может затем выполнить утверждённые шаги. Перед внедрением опробуйте подход в одной команде.
Следующий шаг
Возьмите одну готовую пользовательскую историю, попросите ИИ-инструмент сгенерировать тест-кейсы и проверьте черновик по приведённому выше чек-листу. Посчитайте, что вы удалили, переписали и добавили, и используйте эти цифры, чтобы решить, насколько далеко ваша команда может доверить ИИ генерацию тест-кейсов из пользовательских историй.