Cómo probar agentes de IA y extensiones de Copilot de forma repetible
Por Mirko Peters · · Actualizado
Cómo probar agentes de IA de forma repetible: crear un conjunto de pruebas, elegir los evaluadores, puntuar las llamadas a herramientas y hacer seguimiento de las regresiones, con un ejemplo de Copilot Studio para responsables de QA.
Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés
Cómo probar agentes de IA es una cuestión práctica para cualquier responsable de QA al que se le pide aprobar uno: una misma entrada puede generar respuestas distintas, así que la vieja costumbre de comparar la salida con un único valor esperado ya no funciona. Esta guía está dirigida a responsables de QA que necesitan un método repetible para agentes creados con Copilot Studio u otras herramientas. Verás qué hace que los agentes sean difíciles de probar, un enfoque por capas, cómo crear un conjunto de pruebas, qué evaluadores usar y cómo mantener los resultados comparables a lo largo del tiempo. Un ejemplo práctico con cifras ficticias muestra a un equipo pequeño poniéndolo en marcha.
Puntos clave
- Un agente de IA da respuestas distintas a una misma entrada, así que probarlo de forma repetible significa puntuar frente a criterios y umbrales acordados, en lugar de buscar una cadena exacta.
- Divide las pruebas del agente en capas: pruebas unitarias convencionales para el enrutamiento y el análisis, evaluación de la calidad de la salida del modelo de lenguaje y escenarios de extremo a extremo para los flujos de varios pasos.
- Un buen conjunto de pruebas empieza pequeño, cubre tareas reales de los usuarios, fallos conocidos, casos límite y comportamientos de alto riesgo, y se mantiene bajo control de versiones junto a los prompts.
- Revisa el camino además de la respuesta: una respuesta que suena correcta pero omitió una llamada a herramienta obligatoria sigue siendo un fallo.
- Ejecuta cada caso varias veces, compara las tasas de fallo con una línea base y mantén los casos que deben superarse y las acciones prohibidas como puertas de control estrictas.
Qué hace que los agentes de IA sean difíciles de probar
Una aplicación clásica se comporta de forma predecible: la misma entrada lleva al mismo resultado. Un agente de IA funciona sobre un modelo de lenguaje de gran tamaño, así que sus respuestas varían, y además decide qué herramientas llamar y en qué orden. Eso te deja dos cosas que comprobar: la respuesta final y el camino que siguió el agente para llegar a ella.
Los modelos de lenguaje pueden alucinar, es decir, afirmar datos incorrectos con total seguridad, así que todo sistema de IA que publiques necesita controles para ello. El riesgo aumenta con los flujos de trabajo agénticos, en los que un agente de IA llama a una API, lee un archivo o modifica un registro en nombre del usuario. Probar un agente de este tipo abarca más que las palabras que escribe.
El artículo de SitePoint sobre cómo probar agentes de IA en un mundo no determinista descarta la comparación de cadenas exactas para la salida del modelo, porque las respuestas correctas pueden expresarse de muchas formas. Sustituye la pregunta «¿es idéntico?» por «¿es lo bastante bueno?». Ese cambio es el núcleo de la prueba de agentes de IA y afecta a cómo redactas los resultados esperados, fijas las notas de aprobado y comunicas el riesgo.
La variación no hace imposible la prueba. Significa que probar un agente utiliza rangos, umbrales y ejecuciones repetidas, mientras que el código convencional sigue sometido a pruebas convencionales.
Cómo probar agentes de IA en cuatro capas
El mismo artículo de SitePoint divide la prueba de agentes en tres capas, y la guía de LangChain sobre cómo probar LLM y agentes de IA añade una cuarta idea: las puertas de liberación. Juntas forman un plan viable:
- Lógica simple. El enrutamiento de herramientas, el análisis sintáctico, el formato y los cambios de estado son código convencional. Las pruebas unitarias habituales con aserciones exactas funcionan bien aquí, y SitePoint recomienda ejecutarlas en cada commit.
- Calidad de la salida. Evalúa las respuestas del modelo de lenguaje en cuanto a fidelidad, relevancia y alucinaciones. Estas comprobaciones son más lentas y tienen un coste cuando interviene un modelo juez, por lo que SitePoint recomienda ejecutarlas en las fusiones o según una programación.
- Escenarios de extremo a extremo. Ejecuta conversaciones de varios turnos y uso de herramientas en varios pasos, desde el primer mensaje del usuario hasta el resultado final. Es la versión para agentes de IA de las pruebas de extremo a extremo, y es la capa que detecta los problemas entre las distintas partes.
- Puertas de liberación. LangChain recomienda ejecutar las comprobaciones en el pipeline de entrega con cada cambio candidato, con umbrales acordados para la calidad, el comportamiento y el rendimiento, como la latencia y el coste.
No omitas la primera capa solo porque el agente de IA parezca magia. Muchos fallos de los agentes de IA son errores sencillos en la forma en que se analiza la entrada o en la herramienta que se elige, y son baratos de detectar.
Crea un conjunto de pruebas que siga siendo útil
El conjunto de pruebas, a menudo llamado conjunto de evaluación (eval set), es el eje del trabajo de evaluación de IA. El consejo de LangChain es empezar con pocos casos, pero de alta calidad, que cubran tareas reales de los usuarios, fallos conocidos y comportamientos de alto riesgo, y ampliarlo a medida que las conversaciones reales revelen nuevos problemas. Incluye peticiones habituales, entradas adversarias, casos límite y ejemplos corregidos por expertos del dominio. Cada caso puede contener una entrada, una salida de referencia, criterios de evaluación, pasos obligatorios o prohibidos y metadatos para filtrar.
SitePoint añade un hábito que hace los resultados trazables: guarda el conjunto de datos en el control de código fuente y versiónalo junto con las plantillas de prompts, para que un cambio en las puntuaciones pueda vincularse a un cambio concreto del agente.
Un conjunto inicial para un responsable de QA podría tener este aspecto:
- Preguntas habituales con las palabras que la gente realmente usa.
- Fallos conocidos de incidentes o quejas anteriores, mantenidos como casos de regresión permanentes.
- Casos límite, como preguntas vagas, mezcla de idiomas, información incompleta y peticiones que el agente de IA debería rechazar.
- Peticiones de riesgo, incluidos intentos de inyección de prompts, preguntas sobre datos que el usuario no debería ver y peticiones de acciones fuera del ámbito del agente.
- Casos imprescindibles, en los que un solo fallo bloquea la publicación.
Define el resultado esperado con la mayor precisión posible. Las expectativas vagas generan puntuaciones poco fiables, sea cual sea la herramienta que las calcule.
Elige los evaluadores: código, modelo juez o persona
LangChain describe tres tipos de evaluadores, y cada uno tiene su lugar:
- Comprobaciones con código sirven para reglas deterministas: JSON válido, un ID de cuenta obligatorio, una llamada a una herramienta concreta. Son baratas y repetibles.
- Un modelo juez puntúa cualidades basadas en juicio, como la fundamentación, el seguimiento de instrucciones y la finalización de la tarea. LangChain aconseja validar las puntuaciones del modelo juez con ejemplos revisados por personas antes de confiar en ellas.
- La revisión humana se encarga de los casos ambiguos o de alto riesgo. Los revisores etiquetan los fallos, y esos casos pueden incorporarse al conjunto de pruebas como futuras pruebas de regresión.
Comprueba el camino, no solo la respuesta. LangChain lo llama evaluación de trayectoria: orden de las herramientas, argumentos, pasos de aprobación y bucles. Su ejemplo es un agente de devoluciones que debe consultar una política antes de responder. Una respuesta que suena correcta pero omitió esa consulta sigue siendo un fallo. Por eso cada caso de prueba debe registrar la llamada a herramienta esperada, no solo el texto esperado.
Las puntuaciones necesitan umbrales. SitePoint sugiere un mínimo por métrica en lugar de un único objetivo exacto, y sus ejemplos incluyen 0,85 para la fidelidad y 0,7 para la relevancia de la respuesta. Considera estas cifras como ejemplos y define las tuyas en función de tu nivel de riesgo.
Pruebas de un agente de Copilot Studio
Copilot Studio incluye evaluación integrada, y la página de Microsoft sobre crear un conjunto de pruebas detalla la información que necesita un responsable de QA.
- Conjuntos de pruebas: un conjunto de pruebas de respuesta única admite hasta 100 casos de prueba. Puedes generar un conjunto rápido de diez preguntas a partir de la descripción del agente, generar más a partir de una fuente de conocimiento o de temas, reutilizar preguntas de un chat de prueba, importar un archivo CSV o TXT, o escribir los casos a mano.
- Métodos de prueba: calidad general, seguridad del contenido, comparar significado, uso de herramientas, coincidencia de palabras clave, similitud de texto, coincidencia exacta y criterios personalizados. Todos los métodos excepto la calidad general requieren una respuesta esperada, palabras clave o capacidades por caso.
- Identidad: las pruebas automatizadas usan la autenticación del usuario que ha iniciado sesión para acceder a las fuentes de conocimiento y a las herramientas. Ejecuta siempre con el mismo usuario para que los resultados sean comparables, y asegúrate de que ese usuario pueda acceder a todas las fuentes que necesita el agente.
- Límites: los conjuntos generados no pueden detectar lagunas de información, porque solo se basan en lo que el agente ya sabe. Los resultados se conservan durante 89 días, así que expórtalos a CSV para conservar una línea base.
De la página se desprenden dos advertencias. Los casos de prueba generados pueden contener datos sensibles a los que pueda acceder la cuenta conectada, y otros creadores con acceso al agente pueden ver los conjuntos de pruebas vinculados, así que revísalos antes de compartirlos. Además, un conjunto generado es un punto de partida, no un conjunto terminado. Añade a mano tus propios fallos conocidos y las solicitudes de riesgo.
Haz que los resultados sean repetibles
La repetibilidad viene de los hábitos de tu flujo de pruebas, no de una funcionalidad:
- Ejecuta cada caso más de una vez. SitePoint recomienda al menos tres ejecuciones y una media. LangChain sugiere comparar las tasas de fallo cuando las salidas varían.
- Compara con una línea base. Ejecuta la versión candidata y la versión actual sobre el mismo conjunto de pruebas. LangChain advierte de que una media mejor puede ocultar una regresión en un caso crítico, así que vigila los ejemplos que deben superarse sí o sí.
- Usa puertas estrictas para las acciones prohibidas. LangChain recomienda comprobaciones deterministas con un umbral de cero fallos para las acciones que el agente nunca debe realizar.
- Vuelve a ejecutar después de cada cambio y automatízalo. La automatización en tu canalización mantiene vivo el hábito. Un cambio en el prompt cuenta como un cambio de código, y también lo es un cambio en los modelos, la recuperación, las definiciones de herramientas, la memoria o el enrutamiento.
- Guarda las pruebas. Exporta los resultados y almacénalos junto con la versión del conjunto de pruebas y la versión del agente.
Ejemplo: un agente de directivas de permisos
Los números son inventados.
Un equipo crea un agente de Copilot Studio que responde preguntas sobre la directiva de permisos. El responsable de QA crea 40 casos de prueba. Veintidós son preguntas habituales, ocho son fallos conocidos del piloto, seis usan formulaciones inusuales, como fechas poco claras, y cuatro son solicitudes de riesgo, incluida una pregunta sobre los permisos de otro empleado. Seis están marcados como de superación obligatoria.
El responsable usa la coincidencia de palabras clave para datos fijos, como el número de días de permiso, comparar significado para las explicaciones y una comprobación del uso de herramientas que verifica que el agente llama a la consulta de la directiva antes de responder. Cada caso se ejecuta tres veces.
En la primera ejecución completa, 34 de los 40 casos superan las tres ejecuciones. De los seis fallos, dos afectan a un caso de superación obligatoria, y en uno de ellos el agente respondió sin llamar a la consulta de la directiva. El equipo corrige la instrucción, vuelve a ejecutar y alcanza 38 de 40, con todos los casos obligatorios en verde. El responsable exporta los resultados como línea base y establece una regla: cualquier cambio en el prompt o en el modelo vuelve a ejecutar los 40 casos, y una caída en cualquier caso obligatorio bloquea la publicación en el flujo de entrega.
Errores comunes
- Coincidencia exacta del texto. Las respuestas correctas varían, así que la coincidencia exacta genera fallos falsos.
- Juzgar solo la respuesta. El agente puede llegar a una respuesta que parece buena saltándose un paso obligatorio.
- Ejecutar cada caso una sola vez. Una ejecución con suerte demuestra poco.
- Confiar únicamente en un conjunto de pruebas generado. No puede detectar lagunas en lo que nunca se le ha enseñado al agente.
- Confiar ciegamente en el modelo juez. Valida sus puntuaciones con ejemplos revisados por personas.
- Probar solo el camino feliz. Incluye formulaciones inusuales, solicitudes de riesgo y fallos conocidos.
Cómo puede ayudar el software
Empieza por lo que ofrece tu plataforma de agentes. Copilot Studio tiene evaluación integrada, y existen marcos de evaluación de código abierto y comerciales para agentes de IA personalizados. Elige una herramienta de pruebas que permita versionar los conjuntos de pruebas, ejecutar cada caso varias veces, comprobar las llamadas a herramientas y exportar los resultados. Añade tu canalización de entrega como puerta de control, y usa una hoja de cálculo o una herramienta de gestión de pruebas para seguir los casos y sus responsables. Haz un piloto con un agente de IA antes de estandarizar.
Siguiente paso
Escribe diez casos de prueba para un agente de IA que ya tengas en producción, incluidos tres fallos conocidos y dos peticiones de riesgo, y puntúa cada uno tres veces. Después guarda los resultados como línea base, para que probar agentes de IA en tu equipo sea un paso rutinario y no un debate.