M365Con 2027 – безкоштовна онлайн-конференція · 11–22 Jan 2027 · 120 sessions→ m365con.net

Блог · Mirko Peters

Як у повторюваний спосіб тестувати AI-агентів і розширення Copilot

By · · Updated

Як у повторюваний спосіб тестувати AI-агентів: створити набір тестів, обрати оцінювачі, оцінити виклики інструментів і відстежувати регресії. Приклад із Copilot Studio для керівників QA.

Automatically translated with AI from the original post. Read the English original

Як тестувати AI-агентів — практичне питання для кожного керівника QA, якого просять це схвалити: той самий вхід може давати різні відповіді, тож звична звичка порівнювати результат з одним очікуваним значенням більше не працює. Цей посібник призначений для керівників QA, яким потрібен повторюваний метод для агентів, створених у Copilot Studio або інших інструментах. Ви дізнаєтеся, що ускладнює тестування агентів, багаторівневий підхід, як створити набір тестів, які оцінювачі використовувати і як зберігати порівнянність результатів у часі. Практичний приклад з умовними цифрами показує, як невелика команда все це збирає разом.

Головне

  • AI-агент дає різні відповіді на той самий вхід, тому повторюване тестування означає оцінювання за погодженими критеріями та порогами, а не збіг з одним точним рядком.
  • Розділіть тести агента на рівні: звичайні модульні тести для маршрутизації та розбору, оцінювання якості відповідей мовної моделі та наскрізні сценарії для багатокрокових процесів.
  • Добрий набір тестів починається з малого, охоплює реальні завдання користувачів, відомі помилки, граничні випадки та поведінку з високим ризиком і зберігається під контролем версій поруч із промптами.
  • Перевіряйте шлях, а не лише відповідь: правильно звучна відповідь, яка пропустила обов'язковий виклик інструмента, однаково є помилкою.
  • Запускайте кожен випадок кілька разів, порівнюйте частку помилок з базовим рівнем і зберігайте випадки, які обов'язково мають пройти, та заборонені дії як жорсткі обмеження.

Що ускладнює тестування AI-агентів

Класичний застосунок поводиться передбачувано: той самий вхід дає той самий результат. AI-агент працює на основі великої мовної моделі, тож його відповіді різняться, і він також вирішує, які інструменти викликати та в якому порядку. Отже, перевіряти треба дві речі: остаточну відповідь і шлях, яким агент до неї дійшов.

Мовні моделі можуть галюцинувати, тобто впевнено подавати неправильні факти, тому кожна система ШІ, яку ви випускаєте, потребує перевірок на це. Ризик зростає в агентних процесах, де AI-агент викликає API, читає файл або змінює запис від імені користувача. Тестування такого AI-агента охоплює більше, ніж слова, які він пише.

Стаття SitePoint про тестування AI-агентів у недетермінованому світі відкидає точне порівняння рядків для відповідей моделі, адже правильні відповіді можна сформулювати по-різному. Вона замінює питання «чи це ідентично?» на «чи це достатньо добре?». Цей зсув є основою тестування AI-агентів і впливає на те, як ви пишете очікувані результати, встановлюєте прохідні пороги та звітуєте про ризики.

Варіативність не робить тестування неможливим. Вона означає, що тестування агентів використовує діапазони, пороги та повторні запуски, тоді як простий код лишається під звичайними тестами.

Як тестувати AI-агентів у чотирьох рівнях

Та сама стаття SitePoint ділить тестування агентів на три рівні, а посібник LangChain про тестування LLM і AI-агентів додає четверту ідею — контрольні ворота перед релізом. Разом вони утворюють робочий план:

  1. Проста логіка. Маршрутизація інструментів, розбір вхідних даних, форматування та зміни стану — це звичайний код. Звичайні модульні тести з точними перевірками тут добре працюють, і SitePoint радить запускати їх при кожному коміті.
  2. Якість відповідей. Оцінюйте відповіді мовної моделі на відповідність фактам, релевантність і галюцинації. Ці перевірки повільніші й коштують грошей, якщо залучається модель-суддя, тому SitePoint радить запускати їх при злитті змін або за розкладом.
  3. Наскрізні сценарії. Проводьте багатоходові розмови та багатокрокове використання інструментів — від першого повідомлення користувача до фінального результату. Це аналог наскрізного тестування для ШІ-агентів, і саме цей рівень знаходить проблеми між окремими частинами.
  4. Релізні ворота. LangChain рекомендує запускати перевірки в конвеєрі доставки для кожної кандидатної зміни, із погодженими порогами якості, поведінки та продуктивності, як-от затримка і вартість.

Не пропускайте перший рівень лише через те, що ШІ-агент здається магією. Багато збоїв ШІ-агентів — це звичайні помилки в тому, як розбираються вхідні дані або який інструмент обрано, і їх недорого виявити.

Створіть набір тестів, який залишатиметься корисним

Тестовий набір, який часто називають eval-набором, — це центр роботи з оцінюванням ШІ. Порада LangChain — почати з невеликої кількості якісних кейсів, які охоплюють реальні завдання користувачів, відомі збої та поведінку з високим ризиком, а потім розширювати набір, коли реальні розмови виявляють нові проблеми. Включайте типові запити, адверсарні вхідні дані, граничні випадки та приклади, виправлені експертами предметної області. Кожен кейс може містити вхідні дані, еталонний результат, критерії оцінювання, обов’язкові або заборонені кроки та метадані для фільтрації.

SitePoint додає звичку, яка робить результати простежуваними: зберігайте набір даних у системі контролю версій і версіонуйте його разом із шаблонами промптів, щоб зміну оцінок можна було пов’язати з конкретною зміною в агенті.

Стартовий набір для QA-лідера може виглядати так:

  • Типові запитання формулюванням, яким люди справді користуються.
  • Відомі збої з попередніх інцидентів або скарг, які зберігаються як постійні регресійні кейси.
  • Граничні випадки, як-от нечіткі запитання, змішані мови, відсутня інформація та запити, які ШІ-агент має відхиляти.
  • Ризиковані запити, зокрема спроби prompt injection, запитання про дані, які користувач не повинен бачити, і запити на дії поза межами повноважень агента.
  • Обов’язкові кейси, де один збій блокує реліз.

Формулюйте очікуваний результат якомога точніше. Розмиті очікування дають шумні оцінки, незалежно від того, який інструмент їх виставляє.

Оберіть оцінювачів: код, модель-суддю чи людину

LangChain описує три типи оцінювачів, і кожен має своє місце:

  • Перевірки кодом підходять для детермінованих правил: валідний JSON, обов’язковий ідентифікатор облікового запису, конкретний виклик інструмента. Вони дешеві й відтворювані.
  • Модель-суддя оцінює якості, що потребують судження, як-от обґрунтованість, виконання інструкцій і виконання завдання. LangChain радить перевіряти оцінки моделі-судді на прикладах, перевірених людьми, перш ніж на них покладатися.
  • Перевірка людиною охоплює неоднозначні або ризикові кейси. Рецензенти позначають збої, і ці кейси можуть потрапити до тестового набору як майбутні регресійні тести.

Перевіряйте шлях, а не лише відповідь. LangChain називає це оцінюванням траєкторії: порядок інструментів, аргументи, кроки погодження та цикли. Його приклад — агент із поверненнями коштів, який має викликати пошук політики перед відповіддю. Правильно звучна відповідь без цього пошуку все одно є збоєм. Тому кожен тестовий кейс має фіксувати очікуваний виклик інструмента, а не лише очікуваний текст.

Оцінкам потрібні пороги. SitePoint радить мінімальне значення для кожної метрики замість одного точного цільового показника, а в його прикладах фігурують 0,85 для достовірності та 0,7 для релевантності відповіді. Розглядайте ці числа як приклади й встановлюйте власні, виходячи з ризиків.

Тестування агента Copilot Studio

Copilot Studio має вбудоване оцінювання, а сторінка Microsoft про створення тестового набору перелічує деталі, які потрібні QA-лідеру.

  • Набори тестів: один набір тестів з однією відповіддю містить до 100 тестових випадків. Можна швидко згенерувати набір із десяти запитань на основі опису агента, створити більше запитань із джерела знань або тем, повторно використати запитання з тестового чату, імпортувати файл CSV або TXT чи написати випадки вручну.
  • Методи тестування: загальна якість, безпека вмісту, порівняння змісту, використання інструментів, збіг ключових слів, схожість тексту, точний збіг і користувацькі критерії. Усі методи, крім загальної якості, потребують очікуваної відповіді, ключових слів або можливостей для кожного випадку.
  • Ідентифікація: автоматизоване тестування використовує автентифікацію користувача, який увійшов у систему, щоб отримати доступ до джерел знань та інструментів. Запускайте тести від імені того самого користувача щоразу, щоб результати залишалися порівнянними, і переконайтеся, що цей користувач має доступ до кожного джерела, яке потрібне агенту.
  • Обмеження: згенеровані набори не можуть виявити прогалини в інформації, адже вони спираються лише на те, що агент уже знає. Результати зберігаються 89 днів, тому експортуйте їх у CSV, щоб зберегти базову лінію.

Зі сторінки випливають два застереження. Згенеровані тестові випадки можуть містити конфіденційні дані, доступні підключеному обліковому запису, а інші автори, які мають доступ до агента, можуть переглядати пов’язані набори тестів, тож перевіряйте їх перед тим, як ділитися. Крім того, згенерований набір є відправною точкою, а не готовим набором. Додавайте вручну власні відомі помилки та ризиковані запити.

Зробіть результати відтворюваними

Відтворюваність забезпечують звички у процесі тестування, а не окрема функція:

  1. Запускайте кожен випадок більше одного разу. SitePoint радить щонайменше три запуски та середнє значення. LangChain радить порівнювати частоту відмов для змінних результатів.
  2. Порівнюйте з базовою лінією. Запустіть кандидатну та поточну версії на одному наборі тестів. LangChain попереджає, що краще середнє значення може приховувати регресію в одному критичному випадку, тому стежте за обов’язковими прикладами.
  3. Використовуйте жорсткі обмеження для заборонених дій. LangChain радить детерміновані перевірки з порогом нульових відмов для дій, які агент ніколи не повинен виконувати.
  4. Повторюйте тестування після кожної зміни та автоматизуйте його. Автоматизація в конвеєрі підтримує цю звичку. Зміна промпту вважається зміною коду, так само як зміна моделей, пошуку, визначень інструментів, пам’яті чи маршрутизації.
  5. Зберігайте докази. Експортуйте результати та зберігайте їх разом з версією набору тестів і версією агента.

Приклад: агент з політики відпусток

Цифри вигадані.

Команда створює агента Copilot Studio, який відповідає на запитання про політику відпусток. QA-лідер створює 40 тестових випадків. Двадцять два — типові запитання, вісім — відомі помилки з пілотного етапу, шість використовують незвичне формулювання, наприклад неясні дати, а чотири — ризиковані запити, зокрема запитання про відпустку іншого співробітника. Шість позначено як обов’язково пройти.

Лідер використовує збіг ключових слів для фіксованих фактів, наприклад кількості днів відпустки, порівняння змісту для пояснень і перевірку використання інструментів, яка показує, що агент викликає пошук за політикою перед відповіддю. Кожен випадок запускається тричі.

Під час першого повного запуску 34 з 40 випадків пройшли у всіх трьох запусках. Серед шести невдач два стосуються обов’язкового випадку, і в одному з них агент відповів, не викликавши пошук за політикою. Команда виправляє інструкцію, повторно запускає тести і досягає 38 з 40 з усіма зеленими обов’язковими випадками. Лідер експортує результати як базову лінію і встановлює правило: будь-яка зміна промпту чи моделі повторно запускає всі 40 випадків, а падіння будь-якого обов’язкового випадку блокує релiз у конвеєрі доставки.

Типові помилки

  • Точний збіг тексту. Правильні відповіді різняться, тому точний збіг створює хибні невдачі.
  • Оцінювання лише відповіді. Агент може отримати гарну на вигляд відповідь, пропустивши обов’язковий крок.
  • Одноразовий запуск кожного випадку. Один вдалий запуск мало що доводить.
  • Довіра лише згенерованому набору тестів. Він не може виявити прогалини в тому, про що агента ніколи не інформували.
  • Сліпа довіра моделі-арбітру. Перевіряйте її оцінки на прикладах, перевірених людиною.
  • Тестування лише базового сценарію. Включайте незвичне формулювання, ризиковані запити та відомі помилки.

Як може допомогти програмне забезпечення

Почніть з того, що пропонує ваша платформа для агентів. Copilot Studio має вбудоване оцінювання, а для власних агентів штучного інтелекту існують відкриті та комерційні фреймворки оцінювання. Обирайте інструмент тестування, який дозволяє версіонувати набори тестів, запускати кожен випадок кілька разів, перевіряти виклики інструментів і експортувати результати. Додайте свій конвеєр доставки як шлюз, а для відстеження випадків і їх відповідальних використовуйте таблицю або інструмент управління тестуванням. Перед стандартизацією проведіть пілотування на одному агенті ШІ.

Наступний крок

Напишіть десять тестових сценаріїв для одного ШІ-агента, який ви вже використовуєте: серед них три відомі збої та два ризиковані запити. Оцініть кожен сценарій тричі та збережіть результати як базовий рівень. Так тестування ШІ-агентів у вашій команді стане звичайним кроком, а не предметом суперечок.

Entities in this article

AI agent AI evaluation Copilot Studio End-to-end testing

Related articles

RSS