M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Como testar agentes de IA e extensões do Copilot de forma repetível

By · · Updated

Como testar agentes de IA de forma repetível: montar um conjunto de testes, escolher os avaliadores, pontuar as chamadas de ferramentas e acompanhar regressões, com um exemplo do Copilot Studio para líderes de QA.

Automatically translated with AI from the original post. Read the English original

Como testar agentes de IA é uma pergunta prática para qualquer líder de QA que foi convocado a aprovar um deles: a mesma entrada pode produzir respostas diferentes, então o velho hábito de comparar a saída com um único valor esperado não funciona mais. Este guia é para líderes de QA que precisam de um método repetível para agentes criados com o Copilot Studio ou outras ferramentas. Você verá o que torna os agentes difíceis de testar, uma abordagem em camadas, como montar um conjunto de testes, quais avaliadores usar e como manter os resultados comparáveis ao longo do tempo. Um exemplo prático, com números fictícios, mostra uma equipe pequena colocando tudo isso em prática.

Pontos-chave

  • Um agente de IA dá respostas diferentes para a mesma entrada, então testar de forma repetível significa pontuar com base em critérios e limites acordados, em vez de procurar uma cadeia de caracteres exata.
  • Divida os testes de agentes em camadas: testes unitários comuns para roteamento e análise de entrada, pontuação de qualidade da saída do modelo de linguagem e cenários de ponta a ponta para fluxos com várias etapas.
  • Um bom conjunto de testes começa pequeno, cobre tarefas reais dos usuários, falhas conhecidas, casos extremos e comportamentos de alto risco, e é mantido sob controle de versão junto com os prompts.
  • Verifique o caminho, não apenas a resposta: uma resposta que soa correta, mas pulou uma chamada de ferramenta obrigatória, continua sendo uma falha.
  • Execute cada caso várias vezes, compare as taxas de falha com uma linha de base e mantenha os casos que devem passar e as ações proibidas como critérios de bloqueio obrigatórios.

O que torna os agentes de IA difíceis de testar

Uma aplicação clássica se comporta de forma previsível: a mesma entrada leva ao mesmo resultado. Um agente de IA funciona sobre um grande modelo de linguagem, então suas respostas variam, e ele também decide quais ferramentas chamar e em que ordem. Isso lhe dá duas coisas para verificar: a resposta final e o caminho que o agente percorreu para chegar até ela.

Modelos de linguagem podem alucinar, ou seja, afirmar fatos errados com confiança, por isso todo sistema de IA que você publica precisa de verificações para isso. O risco cresce com fluxos de trabalho agentes, nos quais um agente de IA chama uma API, lê um arquivo ou altera um registro em nome do usuário. Testar um agente desses vai além das palavras que ele escreve.

O artigo da SitePoint sobre testes de agentes de IA em um mundo não determinístico rejeita a comparação de cadeias de caracteres exatas para a saída do modelo, porque respostas corretas podem ser formuladas de muitas maneiras. Ele substitui a pergunta "é idêntica?" por "é boa o bastante?". Essa mudança está no centro do teste de agentes de IA e afeta a forma como você escreve os resultados esperados, define as notas de corte e reporta os riscos.

A variação não torna os testes impossíveis. Significa que o teste de agentes usa intervalos, limites e execuções repetidas, enquanto o código comum continua sendo coberto por testes comuns.

Como testar agentes de IA em quatro camadas

O mesmo artigo da SitePoint divide o teste de agentes em três camadas, e o guia da LangChain sobre teste de LLMs e agentes de IA acrescenta uma quarta ideia, os portões de liberação. Juntos, eles formam um plano viável:

  1. Lógica simples. Roteamento de ferramentas, análise de entrada, formatação e mudanças de estado são código comum. Testes unitários comuns, com asserções exatas, funcionam bem aqui, e a SitePoint sugere executá-los a cada commit.
  2. Qualidade da saída. Avalie as respostas do modelo de linguagem quanto à fidelidade, à relevância e a alucinações. Essas verificações são mais lentas e custam dinheiro quando envolvem um modelo juiz, por isso a SitePoint sugere executá-las em merges ou em uma programação.
  3. Cenários de ponta a ponta. Execute conversas com múltiplas interações e uso de ferramentas em várias etapas, desde a primeira mensagem do usuário até o resultado final. Esta é a versão para agentes de IA do teste ponta a ponta, e é a camada que encontra problemas entre as partes.
  4. Portões de liberação. A LangChain recomenda executar as verificações no pipeline de entrega em cada mudança candidata, com limites acordados para qualidade, comportamento e desempenho, como latência e custo.

Não pule a primeira camada só porque o agente de IA parece mágica. Muitas falhas de agentes de IA são bugs comuns na forma como a entrada é analisada ou na escolha da ferramenta, e são baratos de detectar.

Crie um conjunto de testes que continue útil

O conjunto de testes, frequentemente chamado de eval set, é o centro do trabalho de avaliação de IA. A recomendação da LangChain é começar pequeno, com casos de alta qualidade que cubram tarefas reais dos usuários, falhas conhecidas e comportamentos de alto risco, e depois expandir à medida que conversas reais revelam novos problemas. Inclua solicitações comuns, entradas adversariais, casos extremos e exemplos corrigidos por especialistas do domínio. Cada caso pode conter uma entrada, uma saída de referência, critérios de avaliação, etapas obrigatórias ou proibidas e metadados para filtragem.

A SitePoint acrescenta um hábito que torna os resultados rastreáveis: mantenha o dataset no controle de versão e versione-o junto com os templates de prompt, para que uma mudança nas pontuações possa ser associada a uma mudança específica no agente.

Um conjunto inicial para um líder de QA pode ser assim:

  • Perguntas comuns, escritas com as palavras que as pessoas realmente usam.
  • Falhas conhecidas de incidentes ou reclamações anteriores, mantidas como casos de regressão permanentes.
  • Casos extremos, como perguntas vagas, mistura de idiomas, informações ausentes e solicitações que o agente de IA deve recusar.
  • Solicitações de risco, incluindo tentativas de injeção de prompt, perguntas sobre dados que o usuário não deveria ver e pedidos de ações fora do escopo do agente.
  • Casos obrigatórios, nos quais uma única falha bloqueia a liberação.

Escreva o resultado esperado com a maior precisão possível. Expectativas vagas geram pontuações ruidosas, qualquer que seja a ferramenta de avaliação.

Escolha os avaliadores: código, modelo juiz ou pessoa

A LangChain descreve três tipos de avaliadores, e cada um tem seu lugar:

  • Verificações por código atendem regras determinísticas: JSON válido, um ID de conta obrigatório, uma chamada de ferramenta específica. São baratas e repetíveis.
  • Um modelo juiz pontua qualidades que dependem de julgamento, como embasamento, seguimento de instruções e conclusão da tarefa. A LangChain recomenda validar as pontuações do juiz com exemplos revisados por humanos antes de confiar nelas.
  • Revisão humana trata casos ambíguos ou de alto risco. Os revisores rotulam as falhas, e esses casos podem entrar no conjunto de testes como testes de regressão futuros.

Verifique o caminho, não apenas a resposta. A LangChain chama isso de avaliação de trajetória: ordem das ferramentas, argumentos, etapas de aprovação e loops. Seu exemplo é um agente de reembolso que deve consultar uma política antes de responder. Uma resposta que soa correta, mas pulou essa consulta, ainda é uma falha. Por isso, cada caso de teste deve registrar a chamada de ferramenta esperada, e não apenas o texto esperado.

Pontuações precisam de limites. A SitePoint sugere um mínimo por métrica, em vez de um único alvo exato, e seus exemplos incluem 0,85 para fidelidade e 0,7 para relevância da resposta. Trate esses números como exemplos e defina os seus com base no seu risco.

Testando um agente do Copilot Studio

O Copilot Studio tem avaliação integrada, e a página da Microsoft sobre como criar um conjunto de testes lista os detalhes de que um líder de QA precisa.

  • Conjuntos de teste: um conjunto de teste de resposta única comporta até 100 casos de teste. Você pode gerar rapidamente um conjunto de dez perguntas a partir da descrição do agente, gerar mais a partir de uma fonte de conhecimento ou de tópicos, reutilizar perguntas de um chat de teste, importar um arquivo CSV ou TXT, ou escrever os casos manualmente.
  • Métodos de teste: qualidade geral, segurança de conteúdo, comparar significado, uso de ferramentas, correspondência de palavras-chave, similaridade de texto, correspondência exata e critérios personalizados. Todos os métodos, exceto qualidade geral, exigem uma resposta esperada, palavras-chave ou funcionalidades por caso.
  • Identidade: o teste automatizado usa a autenticação do usuário conectado para acessar fontes de conhecimento e ferramentas. Execute sempre com o mesmo usuário para que os resultados continuem comparáveis e certifique-se de que esse usuário consiga acessar todas as fontes de que o agente precisa.
  • Limites: conjuntos gerados não conseguem identificar lacunas de informação, porque utilizam apenas o que o agente já sabe. Os resultados são mantidos por 89 dias, então exporte-os para CSV para preservar uma linha de base.

A página traz duas ressalvas. Casos de teste gerados podem conter dados sensíveis que a conta conectada consegue acessar, e outros criadores com acesso ao agente podem visualizar os conjuntos de teste vinculados, por isso revise-os antes de compartilhar. Além disso, um conjunto gerado é um ponto de partida, não um conjunto finalizado. Adicione manualmente suas falhas conhecidas e as solicitações arriscadas.

Tornar os resultados repetíveis

A repetibilidade vem de hábitos no seu fluxo de testes, não de um recurso:

  1. Execute cada caso mais de uma vez. A SitePoint sugere pelo menos três execuções e uma média. A LangChain sugere comparar as taxas de falha em saídas variáveis.
  2. Compare com uma linha de base. Execute a versão candidata e a versão atual no mesmo conjunto de teste. A LangChain alerta que uma média melhor pode esconder uma regressão em um caso crítico, então acompanhe os exemplos obrigatórios.
  3. Use barreiras rígidas para ações proibidas. A LangChain sugere verificações determinísticas com limite de zero falhas para ações que o agente nunca deve executar.
  4. Execute novamente após cada alteração e automatize. A automação no seu pipeline mantém o hábito vivo. Uma alteração de prompt conta como alteração de código, assim como uma mudança em modelos, recuperação de informações, definições de ferramentas, memória ou roteamento.
  5. Guarde as evidências. Exporte os resultados e armazene-os junto com a versão do conjunto de teste e a versão do agente.

Exemplo: um agente de política de licenças

Os números são fictícios.

Uma equipe cria um agente do Copilot Studio que responde a perguntas sobre a política de licenças. O líder de QA cria 40 casos de teste. Vinte e dois são perguntas comuns, oito são falhas conhecidas do piloto, seis usam formulações incomuns, como datas pouco claras, e quatro são solicitações arriscadas, incluindo uma pergunta sobre a licença de outro funcionário. Seis são marcados como obrigatórios.

O líder usa correspondência de palavras-chave para fatos fixos, como o número de dias de licença, comparação de significado para explicações e uma verificação de uso de ferramentas que confirma que o agente chama a consulta à política antes de responder. Cada caso é executado três vezes.

Na primeira execução completa, 34 dos 40 casos passam nas três execuções. Das seis falhas, duas envolvem um caso obrigatório, e em uma delas o agente respondeu sem chamar a consulta à política. A equipe corrige a instrução, executa novamente e chega a 38 de 40, com todos os casos obrigatórios aprovados. O líder exporta os resultados como linha de base e estabelece uma regra: qualquer alteração de prompt ou modelo executa novamente todos os 40 casos, e a queda em qualquer caso obrigatório bloqueia a liberação no fluxo de entrega.

Erros comuns

  • Correspondência exata de texto. Respostas corretas variam, então a correspondência exata gera falsas falhas.
  • Avaliar apenas a resposta. O agente pode chegar a uma resposta aparentemente boa pulando uma etapa obrigatória.
  • Executar cada caso uma única vez. Uma execução com sorte prova pouco.
  • Confiar apenas em um conjunto de teste gerado. Ele não consegue identificar lacunas no que o agente nunca aprendeu.
  • Confiar cegamente no modelo avaliador. Valide suas pontuações com exemplos revisados por humanos.
  • Testar apenas o caminho feliz. Inclua formulações incomuns, solicitações arriscadas e falhas conhecidas.

Como o software pode ajudar

Comece pelo que a sua plataforma de agentes oferece. O Copilot Studio tem avaliação integrada, e existem frameworks de avaliação de código aberto e comerciais para agentes de IA personalizados. Escolha uma ferramenta de teste que permita versionar conjuntos de teste, executar cada caso várias vezes, verificar chamadas de ferramentas e exportar resultados. Adote o seu pipeline de entrega como barreira de controle e use uma planilha ou uma ferramenta de gestão de testes para acompanhar os casos e seus responsáveis. Faça um piloto com um agente de IA antes de padronizar.

Próximo passo

Escreva dez casos de teste para um agente de IA que você já usa, incluindo três falhas conhecidas e duas solicitações arriscadas, e atribua a cada um uma pontuação três vezes. Depois, armazene os resultados como linha de base, para que testar agentes de IA na sua equipe vire uma etapa de rotina, e não um debate.

Entities in this article

AI agent AI evaluation Copilot Studio End-to-end testing

Related articles

RSS