Чи може ШІ писати тест-кейси на основі користувацьких історій? Що перевірити насамперед
By Mirko Peters · · Updated
Чи може ШІ генерувати тест-кейси з користувацьких історій? Дослідження показують швидкі чернетки з прогалинами. Ось що перевірити насамперед: покриття, неоднозначність, граничні випадки та вигадані тести.
Automatically translated with AI from the original post. Read the English original
Чи може ШІ генерувати тест-кейси з користувацьких історій? Так, і робить це за лічені секунди, але чернетку потрібно ретельно перевірити, перш ніж вона потрапить до набору тестів. Цей посібник для QA-лідів, які хочуть спробувати такий підхід без зниження якості. Ви побачите, що встановили два опубліковані дослідження, які проблеми повторюються і який контрольний список використати для перевірки чернетки. Розібраний приклад із вигаданими цифрами показує, як перевірка змінює партію згенерованих тест-кейсів.
Головне
- ШІ може створити чернетки тест-кейсів з користувацьких історій за секунди або хвилини. Експеримент Thoughtworks показав високе покриття заявлених критеріїв приймання, але якість залежала від того, наскільки чіткою була історія.
- Той самий експеримент виміряв неоднозначність приблизно у 27 відсотках згенерованих кейсів і приблизно 6 відсотків некоректних кейсів, тож перевірка є обов'язковою.
- Дослідження описують чотири проблеми, що повторюються: нерелевантні або вигадані кейси, надлишкові кейси, відсутні граничні випадки та вхідні дані, які описані не повністю.
- Перевіряйте кожну чернетку на відповідність критеріям приймання, видаляйте дублікати, додавайте граничні випадки та негативні сценарії і переписуйте кожен нечіткий крок.
- Сприймайте модель як помічника, що створює чернетки, а відповідальність за те, що потрапляє до регресійного набору, залишайте за людиною.
Чи може ШІ генерувати тест-кейси з користувацьких історій? Що показали дослідження
Стаття Thoughtworks AI generated test cases from user stories: an experimental research study описує невеликий експеримент. Три QA-інженери з досвідом від трьох до п'яти років написали мануальні тест-кейси для дев'яти користувацьких історій. Потім інструменти генеративного ШІ, переважно GitHub Copilot, а для порівняння ChatGPT, згенерували тест-кейси для тих самих історій за допомогою вдосконалених промптів.
У середньому згенеровані кейси покривали 98,67 відсотка критеріїв приймання і були узгодженими за структурою. У статті вказано приблизно 4 відсотки дублювання, приблизно 6 відсотків некоректних тест-кейсів і показник неоднозначності приблизно 27 відсотків. Там також зазначено, що генерація займає секунди або хвилини замість годин.
Слабкості були не менш очевидними. Якість сильно залежала від якості й конкретності вхідних даних. Інструменти погано справлялися зі складною бізнес-логікою, знаходили мало граничних випадків без явних вказівок і майже не покривали нефункціональне тестування, якщо його не запитати. Автори називають свою гіпотезу частково підтвердженою, вважають людський нагляд необхідним і зазначають, що вибірка з дев'яти користувацьких історій мала.
Друга праця, препринт arXiv під назвою Automatic High-Level Test Case Generation using Large Language Models, розглядає не користувацькі історії, а сценарії використання, тому сприймайте її як пов'язаний результат. Автори зібрали набір даних із 1067 сценаріїв використання та 3606 тест-кейсів із 168 проєктів. В оцінці людьми GPT-4o отримав 3,91 балів за повноту та 3,98 за релевантність, тоді як тест-кейси, написані людьми, отримали 4,04 і 4,30. Автори визнали результат задовільним, але зазначили, що для автоматично згенерованих тест-кейсів необхідна повна оцінка людиною.
Що показують цифри і чого вони не показують
Будьте уважні з відсотками. Обидва дослідження самі називають свої обмеження. Експеримент Thoughtworks використовував дев'ять користувацьких історій, конкретні інструменти та їхні версії, частково суб'єктивну оцінку і не вимірював продуктивність у довгостроковій перспективі. Там також зафіксовано, що ChatGPT працював краще за GitHub Copilot там, де потрібна була детальна інтерпретація промпту, отже результати залежать від інструмента і від промпту.
У праці arXiv 26 оцінювачів-людей лише помірно погоджувалися між собою: коефіцієнт каппа Коена становив 0,42, а учасники були вибіркою зручності. Автори також зазначають, що автоматичний показник схожості не може надійно виявити відсутні граничні або негативні випадки. Саме тому вони закликають до оцінки людиною.
До показника високого покриття теж варто поставитися критично. Він вимірює критерії, які були записані. Він не може показати правила, яких ніхто не записав у історію, а саме в цих прихованих правилах часто й ховаються дефекти.
Чотири проблеми, які повторюються
У праці arXiv названо чотири повторювані проблеми, і результати Thoughtworks вказують у той самий бік:
- Нерелевантні кейси. Автори пов'язують їх із галюцинаціями ШІ: модель видає правдоподібно звучну, але неправильну інформацію. Один із прикладів — тест для функції, яку застосунок не підтримував.
- Дублювальні кейси. Деякі кейси повторюють інший із незначною зміною.
- Пропущені граничні випадки. Моделі не помічали випадки, які включали тестувальники-люди, наприклад відхилення непідтримуваного типу файлу.
- Слабка специфікація вхідних даних. Деякі згенеровані кейси не містили полів введення, потрібних для тесту.
Жодна з цих проблем не робить чернетку марною. Вони лише підказують, на що дивитися.
Що перевірити насамперед: контрольний список для перевірки
Thoughtworks рекомендує перед використанням у продуктиві переглядати результат, перевіряючи його за критеріями прийняття, позначаючи незрозумілу логіку і перевіряючи покриття граничних випадків. Перетворіть це на контрольний список для кожної партії:
- Покриття. Чи має кожен критерій прийняття принаймні один тест-кейс? Випишіть критерії і позначайте їх по одному.
- Вигадані тести. Чи відповідає кожен кейс чомусь із історії? Видаліть кейси для функцій, яких не існує.
- Дублікати. Об'єднайте кейси, які перевіряють ту саму поведінку на тих самих даних.
- Конкретні кроки. Чи називає кожен крок елемент і дані? Перепишіть розмиті формулювання на кшталт «введіть коректні дані».
- Очікувані результати. Чи можна побачити кожен очікуваний результат на екрані або в записі?
- Граничні випадки і негативні сценарії. Додайте порожнє введення, неправильний формат, межі значень і відмови через дозволи.
- Нефункціональні вимоги. Додайте перевірки продуктивності, доступності та безпеки, які випливають з історії, оскільки модель може їх пропустити.
Для великої партії спершу перегляньте вибірку. Прочитайте повністю перші десять кейсів. Якщо багато з них не проходять контрольний список, виправте історію або промпт, перш ніж читати далі, бо той самий недолік повторюватиметься в решті. Це робоче правило, а не результат досліджень.
Генерація тест-кейсів за допомогою ШІ вписується в тестування програмного забезпечення як етап чернетки, що передує автоматизації тестів. QA-команда може використати ШІ, щоб створити тест-кейси для кожного тестового сценарію в історії, перевірити покриття тестами за критеріями прийняття, а потім вирішити, які кейси перетворити на автоматизовані тести. Інструмент ШІ виконує механічну роботу з написання, а QA-команда зберігає за собою дизайн тестів. Так можна генерувати тести швидше, не знижуючи якості набору.
Ця перевірка є роботою з людиною в циклі. Тестувальник не переписує чернетку наново. Він її оцінює, і саме цього судження модель не може замінити.
Полегшіть ШІ роботу з вхідними даними
Thoughtworks повідомляє, що промпт еволюціонував від простого запиту до такого, який задавав моделі роль і просив за потреби використовувати формат Given, When, Then. Там же зазначено, що покриття складних сценаріїв потребувало значної роботи над промптом. Допомагають три звички:
- Записуйте чіткі критерії приймання. Якщо історія розмита, і кейси будуть розмитими. Спочатку виправте історію.
- Додавайте контекст. Назвіть роль користувача, область продукту та правила, які модель не може вгадати.
- Замовляйте структуру. Використовуйте ШІ з чітким форматом: попросіть для кожного кейсу назву, передумови, кроки, дані та очікуваний результат, а також попросіть ШІ перелічити свої припущення.
Тримайте промпт без секретів і даних клієнтів. Використовуйте вигадані приклади значень.
Приклад: перевірка однієї партії
Числа вигадані.
Команда передає ten користувацьких історій помічнику на базі ШІ. За кілька хвилин він повертає 60 тест-кейсів. QA-лідер перевіряє їх разом із власником продукту.
- 6 кейсів є дублікатами, тому команда їх видаляє.
- 5 кейсів перевіряють поведінку, якої в продукту немає, тому команда видаляє і їх. Залишається 49.
- 7 із 49 залишених кейсів мають розмиті кроки або результати, тому команда їх переписує.
- Бракує 9 граничних і негативних сценаріїв, тому команда додає їх вручну.
Фінальний набір містить 58 тест-кейсів. Перевірка зайняла близько трьох годин, тоді як написання всіх 58 з нуля могло б зайняти цілий день. Команда зберігає нотатки з перевірки, фіксує, які типи кейсів відхилено, і використовує це, щоб покращити промпт для наступного спринту. Виграш реальний, але він забезпечується перевіркою, а не лише моделлю.
Типові помилки
- Прийняття партії, не читаючи її. Дублікати та вигадані кейси потрапляють у набір і підривають довіру до нього.
- Оцінка успіху за кількістю кейсів. Більше кейсів не означає ширшого покриття.
- Подача моделі розмитих історій. Погані вхідні дані дають погані результати.
- Забуті граничні сценарії та нефункціональні перевірки. Дослідження показують, що моделі схильні їх пропускати.
- Розміщення приватних даних у промптах. Використовуйте вигадані значення і дотримуйтесь політики роботи з даними.
- Пропуск зв'язку з критеріями приймання. Без нього неможливо показати, що покрито.
Як може допомогти програмне забезпечення
Таблиця або ваш інструмент управління тестуванням може тримати критерії, згенеровані кейси та статус перевірки поруч. Позначайте кожен кейс як прийнятий, переписаний або відхилений, і ведіть підрахунки, щоб через кілька спринтів знати власний рівень відхилень. Інструмент перевірки коду або спільний документ допомагає тестувальникам і власникам продукту перевіряти разом. Якщо ви використовуєте помічника на базі ШІ, обирайте той, що дозволяє контролювати промпт і бачити повний результат. Для кейсів на рівні браузера інструмент наскрізного тестування з простою мовою може потім виконати схвалені кроки. Спочатку випробуйте підхід в одній команді, а вже потім впроваджуйте його ширше.
Наступний крок
Візьміть одну завершену користувацьку історію, попросіть інструмент ШІ згенерувати тест-кейси і перевірте чернетку за наведеним вище списком. Порахуйте, що ви видалили, переписали й додали, і використайте ці числа, щоб вирішити, наскільки далеко дозволити ШІ генерувати тест-кейси з користувацьких історій у вашій команді.