M365Con 2027 – 무료 온라인 컨퍼런스 · 11–22 Jan 2027 · 120 sessions→ m365con.net

블로그 · Mirko Peters

반복 가능한 방식으로 AI 에이전트와 Copilot 확장 기능을 테스트하는 방법

By · · Updated

반복 가능한 방식으로 AI 에이전트를 테스트하는 방법: 테스트 세트를 구성하고, 채점 기준(그레이더)을 고르고, 도구 호출을 평가하고, 회귀를 추적합니다. QA 리드를 위한 Copilot Studio 예시를 포함합니다.

Automatically translated with AI from the original post. Read the English original

AI 에이전트를 어떻게 테스트할지는 에이전트 도입을 승인해야 하는 QA 리드에게 매우 실질적인 질문입니다. 같은 입력에도 답변이 달라질 수 있어서, 출력을 하나의 기대값과 비교하던 기존 방식은 더 이상 통하지 않습니다. 이 가이드는 Copilot Studio나 다른 도구로 만든 에이전트에 대해 반복 가능한 방법이 필요한 QA 리드를 위한 것입니다. 에이전트를 테스트하기 어려운 이유, 계층별 접근 방식, 테스트 세트 구성법, 사용할 그레이더, 시간이 지나도 결과를 비교 가능하게 유지하는 방법을 다룹니다. 가상의 수치를 사용한 실제 예시로, 작은 팀이 이를 실제로 적용하는 과정을 보여 드립니다.

핵심 포인트

  • AI 에이전트는 같은 입력에도 서로 다른 답변을 내놓습니다. 따라서 반복 가능한 테스트란 하나의 정확한 문자열과 맞춰 보는 것이 아니라, 합의된 기준과 임계값에 따라 점수를 매기는 것을 뜻합니다.
  • 에이전트 테스트를 계층으로 나누십시오. 라우팅과 파싱에는 일반 단위 테스트를, 언어 모델 출력에는 품질 채점을, 여러 단계로 이루어진 흐름에는 엔드투엔드 시나리오를 적용합니다.
  • 좋은 테스트 세트는 작게 시작하며, 실제 사용자 작업, 알려진 실패, 엣지 케이스, 위험도가 높은 동작을 다룹니다. 그리고 프롬프트와 함께 버전 관리 아래에 보관합니다.
  • 응답뿐 아니라 경로도 확인하십시오. 그럴듯하게 들리는 정답이라도 필수 도구 호출을 건너뛰었다면 실패입니다.
  • 각 케이스를 여러 번 실행하고, 실패율을 기준선과 비교하며, 반드시 통과해야 하는 케이스와 금지된 동작은 필수 게이트로 유지하십시오.

AI 에이전트를 테스트하기 어려운 이유

기존 애플리케이션은 예측 가능하게 동작합니다. 같은 입력이면 같은 결과가 나옵니다. AI 에이전트는 대규모 언어 모델을 기반으로 동작하므로 답변이 달라지며, 어떤 도구를 어떤 순서로 호출할지도 스스로 결정합니다. 따라서 확인할 대상은 두 가지입니다. 최종 답변과, 그 답변에 이르기까지 에이전트가 거친 경로입니다.

언어 모델은 환각(hallucination), 즉 틀린 사실을 확신에 찬 어조로 말할 수 있습니다. 그래서 출시하는 모든 AI 시스템에는 이를 점검하는 절차가 필요합니다. 이 위험은 에이전트형 워크플로에서 더 커집니다. AI 에이전트가 사용자를 대신해 API를 호출하거나, 파일을 읽거나, 레코드를 변경하기 때문입니다. 이런 AI 에이전트를 테스트하려면 작성된 문장만 확인해서는 충분하지 않습니다.

비결정적 환경에서 AI 에이전트를 테스트하는 방법을 다룬 SitePoint 기사는 정답이 여러 방식으로 표현될 수 있으므로 모델 출력에 대한 정확한 문자열 일치를 배제합니다. "완전히 동일한가?"라는 질문을 "충분히 좋은가?"라는 질문으로 바꾸는 것입니다. 이 전환이 AI 에이전트 테스트의 핵심이며, 기대 결과를 작성하고, 통과 기준을 정하고, 위험을 보고하는 방식에 영향을 줍니다.

출력이 달라진다고 해서 테스트가 불가능한 것은 아닙니다. AI 에이전트 테스트는 범위, 임계값, 반복 실행을 사용하며, 일반 코드는 여전히 일반 테스트로 검증합니다.

AI 에이전트 테스트를 네 개 계층으로 나누는 방법

같은 SitePoint 기사는 에이전트 테스트를 세 개 계층으로 나누고, LLM과 AI 에이전트 테스트를 다룬 LangChain 가이드는 네 번째 개념인 릴리스 게이트를 더합니다. 두 자료를 함께 보면 실행 가능한 계획이 됩니다:

  1. 단순한 로직. 도구 라우팅, 파싱, 서식 지정, 상태 변경은 일반적인 코드입니다. 정확한 검증을 하는 일반 단위 테스트가 이 영역에 잘 맞으며, SitePoint는 이를 커밋마다 실행할 것을 권장합니다.
  2. 출력 품질. 언어 모델의 답변을 충실성, 관련성, 환각 여부 측면에서 평가합니다. 판단 모델이 개입하면 이 검사는 느리고 비용도 듭니다. 그래서 SitePoint는 병합 시점이나 일정에 맞춰 실행할 것을 권장합니다.
  3. 종단 간 시나리오. 사용자의 첫 메시지부터 최종 결과까지, 여러 차례 주고받는 대화와 여러 단계의 도구 사용을 실행합니다. 이는 AI 에이전트 버전의 종단 간 테스트에 해당하며, 구성 요소 사이에서 생기는 문제를 찾아내는 계층입니다.
  4. 릴리스 게이트. LangChain은 배포 파이프라인에서 후보 변경 사항마다 검사를 실행하고, 품질, 동작, 지연 시간이나 비용 같은 성능 측면에 대해 합의된 임곗값을 두라고 권장합니다.

AI 에이전트가 마법처럼 느껴진다고 해서 첫 번째 계층을 건너뛰지 마십시오. 많은 AI 에이전트 실패는 입력을 파싱하는 방식이나 도구를 선택하는 방식에서 생기는 단순한 버그이며, 이런 문제는 비용이 적게 들어 쉽게 잡을 수 있습니다.

오래 쓸 수 있는 테스트 세트 만들기

평가 세트(eval set)라고도 부르는 테스트 세트는 AI 평가 작업의 핵심입니다. LangChain의 조언은 실제 사용자 작업, 알려진 실패, 위험도가 높은 동작을 다루는 고품질 사례로 작게 시작한 뒤, 실제 대화에서 새로운 문제가 드러날 때마다 확장하라는 것입니다. 일반적인 요청, 적대적 입력, 예외 사례, 도메인 전문가가 수정한 예시를 포함하십시오. 각 사례에는 입력, 기준 출력, 평가 기준, 필수 또는 금지된 단계, 필터링용 메타데이터를 담을 수 있습니다.

SitePoint는 결과를 추적할 수 있게 하는 습관도 권장합니다. 데이터 세트를 소스 관리에 보관하고 프롬프트 템플릿과 함께 버전을 관리하면, 점수 변화를 에이전트의 특정 변경 사항과 연결할 수 있습니다.

QA 리드를 위한 시작용 세트는 다음과 같을 수 있습니다.

  • 사람들이 실제로 쓰는 표현으로 된 일반적인 질문.
  • 이전 장애나 불만에서 얻어 영구 회귀 사례로 보관하는 알려진 실패.
  • 모호한 질문, 여러 언어가 섞인 입력, 정보 누락, AI 에이전트가 거부해야 하는 요청 같은 예외 사례.
  • 프롬프트 인젝션 시도, 사용자가 볼 수 없어야 하는 데이터에 관한 질문, 에이전트 범위를 벗어난 작업 요청을 포함하는 위험 요청.
  • 하나라도 실패하면 릴리스를 막는 필수 통과 사례.

예상 결과는 가능한 한 정확하게 작성하십시오. 모호한 기대치는 어떤 채점 도구를 쓰든 잡음이 많은 점수를 만듭니다.

채점기 선택: 코드, 판단 모델 또는 사람

LangChain은 세 가지 종류의 채점기를 설명하며, 각각 쓰임새가 있습니다.

  • 코드 검사는 유효한 JSON, 필수 계정 ID, 특정 도구 호출처럼 결정론적 규칙에 적합합니다. 비용이 적게 들고 반복해도 결과가 일정합니다.
  • 판단 모델은 근거성, 지시 따르기, 작업 완료처럼 판단이 필요한 품질을 채점합니다. LangChain은 판단 모델의 점수를 신뢰하기 전에 사람이 검토한 예시와 비교해 검증하라고 조언합니다.
  • 사람의 검토는 모호하거나 위험도가 높은 사례를 맡습니다. 검토자가 실패를 표시한 사례는 향후 회귀 테스트로 테스트 세트에 추가할 수 있습니다.

답변만이 아니라 경로도 확인하십시오. LangChain은 이를 궤적 평가(trajectory evaluation)라고 부르며, 도구 순서, 인수, 승인 단계, 반복 루프를 살펴봅니다. 예를 들어 환불 에이전트는 답변하기 전에 정책 조회를 먼저 호출해야 합니다. 그럴듯하게 들리는 정답이라도 조회를 건너뛰었다면 여전히 실패입니다. 그래서 각 테스트 사례에는 예상 텍스트뿐 아니라 예상 도구 호출도 기록해야 합니다.

점수에는 임곗값이 필요합니다. SitePoint는 단일 정확 목표 대신 지표별 최소값을 설정할 것을 권장하며, 예시로 충실성 0.85, 답변 관련성 0.7을 제시합니다. 이 수치는 예시일 뿐이므로, 위험도에 따라 직접 설정하십시오.

Copilot Studio 에이전트 테스트하기

Copilot Studio에는 기본 제공 평가 기능이 있으며, 테스트 세트 만들기에 관한 Microsoft 페이지에 QA 리드에게 필요한 세부 정보가 정리되어 있습니다.

  • 테스트 세트: 단일 응답 테스트 세트에는 테스트 케이스를 최대 100개까지 담을 수 있습니다. 에이전트 설명을 바탕으로 질문 10개짜리 빠른 세트를 생성하거나, 지식 원본이나 주제에서 더 많은 질문을 생성할 수 있습니다. 테스트 채팅에서 질문을 재사용하거나, CSV 또는 TXT 파일을 가져오거나, 케이스를 직접 작성할 수도 있습니다.
  • 테스트 방법: 일반 품질, 콘텐츠 안전성, 의미 비교, 도구 사용, 키워드 일치, 텍스트 유사도, 정확히 일치, 사용자 지정 기준을 사용할 수 있습니다. 일반 품질을 제외한 모든 방법은 케이스마다 예상 답변, 키워드 또는 기능을 필요로 합니다.
  • ID: 자동 테스트는 지식 원본과 도구에 접근할 때 로그인한 사용자의 인증을 사용합니다. 결과를 비교할 수 있도록 매번 같은 사용자로 실행하고, 그 사용자가 에이전트에 필요한 모든 원본에 접근할 수 있는지 확인하십시오.
  • 제한 사항: 생성된 세트는 에이전트가 이미 알고 있는 내용에서만 질문을 만들기 때문에 정보의 공백을 찾아내지 못합니다. 결과는 89일 동안 보관되므로, 기준선을 유지하려면 CSV로 내보내십시오.

이 페이지에서 얻을 수 있는 주의사항은 두 가지입니다. 생성된 테스트 케이스에는 연결된 계정이 접근할 수 있는 민감한 데이터가 포함될 수 있으며, 에이전트에 접근 권한이 있는 다른 메이커는 연결된 테스트 세트를 볼 수 있으므로 공유하기 전에 검토하십시오. 또한 생성된 세트는 완성본이 아니라 출발점입니다. 알고 있는 실패 사례와 위험한 요청은 직접 추가하십시오.

결과를 반복 가능하게 만들기

결과의 반복 가능성은 기능이 아니라 테스트 워크플로의 습관에서 나옵니다.

  1. 각 케이스를 여러 번 실행하십시오. SitePoint는 최소 3회 실행하고 평균을 내는 방식을 권장합니다. LangChain은 출력이 가변적인 경우 실패율을 비교하라고 제안합니다.
  2. 기준선과 비교하십시오. 같은 테스트 세트로 후보 버전과 현재 버전을 모두 실행하십시오. LangChain은 평균이 좋아져도 중요한 케이스 하나에서 회귀가 숨어 있을 수 있다고 경고하므로, 반드시 통과해야 하는 예시를 주의 깊게 살펴보십시오.
  3. 금지된 동작에는 하드 게이트를 사용하십시오. LangChain은 에이전트가 절대 수행해서는 안 되는 동작에 대해 실패 허용치를 0으로 둔 결정론적 검사를 제안합니다.
  4. 변경할 때마다 다시 실행하고 자동화하십시오. 파이프라인에서 자동화하면 이 습관을 지속할 수 있습니다. 프롬프트 변경도 코드 변경으로 간주해야 하며, 모델, 검색, 도구 정의, 메모리 또는 라우팅의 변경도 마찬가지입니다.
  5. 근거를 보관하십시오. 결과를 내보내고, 테스트 세트 버전 및 에이전트 버전과 함께 저장하십시오.

예시: 휴가 정책 에이전트

아래 수치는 가상의 값입니다.

한 팀이 휴가 정책에 관한 질문에 답하는 Copilot Studio 에이전트를 만듭니다. QA 리드는 테스트 케이스 40개를 작성합니다. 그중 22개는 일반적인 질문이고, 8개는 파일럿에서 확인된 알려진 실패 사례이며, 6개는 날짜가 모호한 경우처럼 특이한 표현을 사용하고, 4개는 다른 직원의 휴가에 관한 질문을 포함한 위험한 요청입니다. 6개는 반드시 통과해야 하는 케이스로 표시됩니다.

리드는 휴가 일수처럼 고정된 사실에는 키워드 일치를, 설명에는 의미 비교를, 답변 전에 정책 조회를 호출했는지 확인하기 위해 도구 사용 검사를 적용합니다. 각 케이스는 세 번씩 실행됩니다.

첫 번째 전체 실행에서 40개 중 34개 케이스가 세 번 모두 통과했습니다. 실패한 6개 중 2개는 반드시 통과해야 하는 케이스였으며, 그중 하나에서 에이전트는 정책 조회를 호출하지 않고 답변했습니다. 팀은 지침을 수정하고 다시 실행하여 40개 중 38개를 통과시켰고, 반드시 통과해야 하는 케이스는 모두 성공했습니다. 리드는 결과를 기준선으로 내보내고 규칙을 정했습니다. 프롬프트나 모델을 변경할 때마다 40개 케이스를 모두 다시 실행하며, 반드시 통과해야 하는 케이스 중 하나라도 실패하면 배포 워크플로에서 릴리스를 차단합니다.

흔한 실수

  • 정확한 텍스트 일치. 올바른 답변은 여러 형태일 수 있으므로, 정확히 일치하는 방식은 잘못된 실패를 만들어냅니다.
  • 답변만 판단하기. 에이전트가 필요한 단계를 건너뛰고도 그럴듯한 답변에 도달할 수 있습니다.
  • 각 케이스를 한 번만 실행하기. 운 좋게 한 번 통과했다고 해서 입증되는 것은 거의 없습니다.
  • 생성된 테스트 세트만 믿기. 에이전트가 한 번도 배우지 않은 내용의 공백은 찾아낼 수 없습니다.
  • 판정 모델을 무조건 신뢰하기. 사람이 검토한 예시와 비교하여 판정 모델의 점수를 검증하십시오.
  • 정상 경로만 테스트하기. 특이한 표현, 위험한 요청, 알려진 실패 사례를 포함하십시오.

소프트웨어가 도움이 되는 방식

먼저 사용 중인 에이전트 플랫폼이 제공하는 기능부터 살펴보십시오. Copilot Studio에는 기본 제공 평가 기능이 있으며, 사용자 지정 AI 에이전트를 위한 오픈 소스 및 상용 평가 프레임워크도 있습니다. 테스트 세트의 버전을 관리하고, 각 케이스를 여러 번 실행하고, 도구 호출을 확인하고, 결과를 내보낼 수 있는 테스트 도구를 선택하십시오. 배포 파이프라인을 게이트로 추가하고, 케이스와 담당자를 추적하려면 스프레드시트나 테스트 관리 도구를 사용하십시오. 표준화하기 전에 AI 에이전트 하나에서 먼저 파일럿을 진행하십시오.

다음 단계

지금 운영 중인 AI 에이전트 하나에 대해 테스트 케이스 10개를 작성하세요. 여기에는 알려진 실패 사례 3개와 위험한 요청 2개가 포함되어야 합니다. 각 케이스는 세 번씩 채점한 뒤 결과를 기준선(베이스라인)으로 저장하세요. 그러면 팀에서 AI 에이전트를 어떻게 테스트할지를 두고 논쟁하는 대신, 정기적으로 수행하는 일상 절차가 됩니다.

Entities in this article

AI agent AI evaluation Copilot Studio End-to-end testing

Related articles

RSS