¿Puede la IA escribir casos de prueba a partir de historias de usuario? Qué revisar primero
Por Mirko Peters · · Actualizado
¿Puede la IA generar casos de prueba a partir de historias de usuario? Los estudios muestran borradores rápidos con lagunas. Descubre qué revisar primero: cobertura, ambigüedad, casos límite y pruebas inventadas.
Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés
¿Puede la IA generar casos de prueba a partir de historias de usuario? Sí, y lo hace en segundos, pero el borrador necesita una revisión cuidadosa antes de entrar en tu suite de pruebas. Esta guía está pensada para responsables de QA que quieran probarlo sin bajar la calidad. Verás qué encontraron dos estudios publicados, qué problemas se repiten y una lista de comprobación para revisar un borrador. Un ejemplo práctico con cifras inventadas muestra cómo una revisión cambia un lote de casos de prueba generados.
Puntos clave
- La IA puede redactar casos de prueba a partir de historias de usuario en segundos o minutos, y un experimento de Thoughtworks encontró una cobertura alta de los criterios de aceptación indicados, aunque la calidad dependió de lo clara que fuera la historia.
- El mismo experimento midió ambigüedad en alrededor del 27 por ciento de los casos generados y alrededor del 6 por ciento de casos incorrectos, así que la revisión no es opcional.
- Los estudios describen cuatro problemas recurrentes: casos irrelevantes o inventados, casos redundantes, casos límite que faltan y entradas que no están completamente especificadas.
- Revisa cada borrador frente a los criterios de aceptación, elimina duplicados, añade casos límite y rutas negativas, y reescribe cualquier paso que sea vago.
- Trata el modelo como un asistente que redacta, y mantén a una persona responsable de lo que entra en la suite de regresión.
¿Puede la IA generar casos de prueba a partir de historias de usuario? Qué encontraron los estudios
Un artículo de Thoughtworks, AI generated test cases from user stories: an experimental research study, describe un pequeño experimento. Tres ingenieros de QA con entre tres y cinco años de experiencia escribieron casos de prueba manuales para nueve historias de usuario. Después, herramientas de IA generativa, principalmente GitHub Copilot con ChatGPT como comparación, generaron casos de prueba para las mismas historias a partir de prompts refinados.
De media, los casos generados cubrieron el 98,67 por ciento de los criterios de aceptación y fueron coherentes en su estructura. El artículo informa de alrededor del 4 por ciento de duplicación, alrededor del 6 por ciento de casos de prueba incorrectos y una puntuación de ambigüedad de alrededor del 27 por ciento. Describe que la generación tarda segundos o minutos en lugar de horas.
Las debilidades fueron igual de claras. La calidad dependía en gran medida de la calidad y especificidad de la entrada. Las herramientas tuvieron dificultades con la lógica de negocio compleja, encontraron pocos casos límite sin una guía explícita y realizaron pocas pruebas no funcionales salvo que se les pidiera. Los autores califican su hipótesis como parcialmente validada, afirman que la supervisión humana sigue siendo esencial y señalan que la muestra de nueve historias de usuario es pequeña.
Un segundo artículo, un estudio de arXiv titulado Automatic High-Level Test Case Generation using Large Language Models, analiza casos de uso en lugar de historias de usuario, así que considéralo un resultado relacionado. Los autores crearon un conjunto de datos con 1.067 casos de uso y 3.606 casos de prueba procedentes de 168 proyectos. En una evaluación humana, GPT-4o obtuvo 3,91 en integridad y 3,98 en relevancia, frente a 4,04 y 4,30 de los casos escritos por personas. Los autores consideraron satisfactorio el resultado, pero afirman que es necesaria una evaluación humana completa de los casos de prueba automatizados.
Qué dicen y qué no dicen los números
Ten cuidado con los porcentajes. Ambos estudios declaran sus límites. El experimento de Thoughtworks utilizó nueve historias de usuario, herramientas y versiones concretas, y una evaluación parcialmente subjetiva, y no midió la productividad a largo plazo. También indica que ChatGPT obtuvo mejores resultados que GitHub Copilot cuando era necesaria una interpretación detallada del prompt, así que los resultados dependen de la herramienta y del prompt.
En el artículo de arXiv, los 26 evaluadores humanos coincidieron solo moderadamente entre sí, con un índice Kappa de Cohen de 0,42, y los participantes fueron una muestra de conveniencia. Los autores también señalan que una puntuación automática de similitud no puede detectar de forma fiable los casos límite o negativos que faltan. Por eso piden una evaluación humana.
La cifra de cobertura alta también merece una segunda mirada. Mide los criterios que se escribieron. No puede mostrar las reglas que nadie escribió en la historia, y esas reglas ocultas suelen ser donde se esconden los defectos.
Cuatro problemas que se repiten
El artículo de arXiv identifica cuatro problemas recurrentes, y los resultados de Thoughtworks apuntan en la misma dirección:
- Casos irrelevantes. Los autores los relacionan con la alucinación de la IA: el modelo produce información que suena plausible pero es incorrecta. Un ejemplo fue una prueba para una función que la aplicación no admitía.
- Casos redundantes. Algunos casos repiten otro con un cambio menor.
- Casos límite omitidos. Los modelos pasaron por alto casos que sí incluyeron los probadores humanos, como rechazar un tipo de archivo no admitido.
- Especificación de entrada débil. Algunos casos generados omitían campos de entrada que la prueba necesita.
Ninguno de estos problemas convierte un borrador en inútil. Te indican qué buscar.
Qué revisar primero: una lista de comprobación
Thoughtworks recomienda revisar la salida antes de usarla en producción, comprobándola frente a los criterios de aceptación, marcando la lógica poco clara y verificando la cobertura de los casos límite. Conviértelo en una lista de comprobación para cada lote:
- Cobertura. ¿Tiene cada criterio de aceptación al menos un caso de prueba? Enumera los criterios y márcalos uno a uno.
- Pruebas inventadas. ¿Corresponde cada caso a algo que aparece en la historia? Elimina los casos de funciones que no existen.
- Duplicados. Fusiona los casos que comprueban el mismo comportamiento con los mismos datos.
- Pasos específicos. ¿Indica cada paso el elemento y los datos? Reescribe las formulaciones vagas, como "introducir datos válidos".
- Resultados esperados. ¿Se puede ver cada resultado esperado en la pantalla o en un registro?
- Casos límite y rutas negativas. Añade entradas vacías, formatos incorrectos, límites y fallos de permisos.
- Necesidades no funcionales. Añade comprobaciones de rendimiento, accesibilidad y seguridad que la historia implique, porque el modelo puede omitirlas.
En un lote grande, revisa primero una muestra. Lee completos los primeros diez casos. Si muchos no cumplen la lista de comprobación, corrige la historia o el prompt antes de seguir, porque el mismo fallo se repetirá en el resto. Es una regla de trabajo, no un resultado de los estudios.
La generación de casos de prueba con IA encaja en las pruebas de software como un paso de redacción previo a la automatización de pruebas. Un equipo de QA puede usar la IA para crear casos de prueba para cada escenario de prueba de una historia, comprobar la cobertura frente a los criterios de aceptación y, después, decidir qué casos convertir en pruebas automatizadas. La herramienta de IA hace el trabajo de escritura, y el equipo de QA mantiene el diseño de las pruebas. Usado así, puedes generar pruebas más rápido sin reducir la calidad de la suite.
Esta revisión es trabajo de human-in-the-loop. El probador no reescribe el borrador. Lo juzga, y ese juicio es la parte que el modelo no puede aportar.
Facilita la entrada a la IA
Thoughtworks informa de que el prompt evolucionó desde una petición básica hasta otra que asignaba al modelo un rol y le pedía usar Given, When, Then cuando procediera. También informa de que la cobertura de escenarios complejos requirió un trabajo considerable sobre el prompt. Tres hábitos ayudan:
- Escribe criterios de aceptación explícitos. Si la historia es vaga, los casos también lo serán. Corrige primero la historia.
- Añade contexto. Indica el rol del usuario, el área del producto y las reglas que el modelo no puede adivinar.
- Pide una estructura. Usa la IA con un formato claro: solicita un título, precondiciones, pasos, datos y resultado esperado para cada caso, y pide a la IA que enumere sus supuestos.
Mantén el prompt libre de secretos y datos de clientes. Usa valores de ejemplo inventados.
Ejemplo: revisar un lote
Las cifras son ficticias.
Un equipo entrega diez historias de usuario a un asistente de IA. En pocos minutos devuelve 60 casos de prueba. El responsable de QA los revisa con el product owner.
- 6 casos están duplicados, así que el equipo los elimina.
- 5 casos prueban un comportamiento que el producto no tiene, así que el equipo también los elimina. Quedan 49.
- 7 de los 49 casos restantes tienen pasos o resultados vagos, así que el equipo los reescribe.
- Faltan 9 casos límite y rutas negativas, así que el equipo los añade a mano.
La suite final tiene 58 casos de prueba. La revisión llevó unas tres horas, mientras que escribir los 58 desde cero podría haber requerido una jornada completa. El equipo guarda las notas de revisión, registra qué tipos de casos se rechazaron y las usa para mejorar el prompt en el siguiente sprint. La ganancia es real, pero procede de la revisión y no solo del modelo.
Errores comunes
- Aceptar el lote sin leerlo. Los duplicados y los casos inventados entran en la suite y erosionan la confianza en ella.
- Medir el éxito por el número de casos. Más casos no significan más cobertura.
- Alimentar al modelo con historias vagas. Una entrada pobre produce una salida pobre.
- Olvidar los casos límite y las comprobaciones no funcionales. Los estudios muestran que los modelos tienden a pasarlos por alto.
- Introducir datos privados en los prompts. Usa valores inventados y sigue tu directiva de datos.
- Omitir el vínculo con los criterios de aceptación. Sin él, no puedes demostrar qué está cubierto.
Cómo puede ayudar el software
Una hoja de cálculo o tu herramienta de gestión de pruebas puede mantener juntos los criterios, los casos generados y el estado de la revisión. Marca cada caso como aceptado, reescrito o rechazado, y conserva los recuentos, para que tras unos sprints conozcas tu propia tasa de rechazo. Una herramienta de revisión de código o un documento compartido ayuda a que testers y product owners revisen juntos. Si usas un asistente de IA, elige uno que te permita controlar el prompt y ver su salida completa. Para casos a nivel de navegador, una herramienta de pruebas end-to-end en lenguaje sencillo puede ejecutar después los pasos aprobados. Haz un piloto en un equipo antes de extenderlo.
Siguiente paso
Toma una historia de usuario terminada, pide a una herramienta de IA que genere casos de prueba y compara el borrador con la lista de verificación anterior. Cuenta lo que eliminas, reescribes y añades, y usa esas cifras para decidir hasta qué punto dejar que la IA genere casos de prueba a partir de historias de usuario en tu equipo.