M365Con 2027 – conferencia online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

¿Qué es la automatización de pruebas en lenguaje natural? Una explicación sencilla

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

Por · · Actualizado

La automatización de pruebas en lenguaje natural permite a los testers escribir los pasos en inglés sencillo mientras una IA los ejecuta en un navegador. Descubre cómo funciona, sus límites y cómo evaluarla.

Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés

La automatización de pruebas en lenguaje natural significa escribir una prueba en inglés cotidiano y que un modelo de IA la ejecute en un navegador real. En lugar de un script lleno de selectores, escribes "Haz clic en el botón Log In" o "Comprueba que el total del pedido muestra 49.00". Esta explicación está pensada para responsables de QA y testers que oyen el término y quieren saber qué es, cómo funciona y dónde se detiene. Verás la idea paso a paso, los límites que los propios fabricantes de herramientas declaran y una forma sencilla de evaluar si encaja en tu equipo.

Puntos clave

  • La automatización de pruebas en lenguaje natural consiste en describir un paso de la prueba en inglés sencillo, y un modelo de IA lo convierte en acciones del navegador cuando la prueba se ejecuta.
  • Sustituye a los selectores y esperas escritos a mano por instrucciones como "Haz clic en el botón Log In", de modo que los testers que no programan pueden escribir y leer las pruebas.
  • Los fabricantes documentan sus límites: las instrucciones amplias o complejas fallan con más frecuencia, y las instrucciones de un solo paso son las más fiables.
  • Las herramientas de IA diseñadas para tareas web genéricas pueden inventar resultados sin inspeccionar la aplicación real, por lo que cada paso generado necesita revisión y una regla clara de aprobado o suspenso.
  • Considéralo una forma de escribir pruebas de extremo a extremo más rápido, no un sustituto del diseño de pruebas, de los datos de prueba ni de entornos bien preparados.

Qué significa la automatización de pruebas en lenguaje natural

Una prueba automatizada clásica de la interfaz de usuario es código. Un desarrollador o un ingeniero de automatización escribe los pasos e indica a la herramienta cómo localizar cada elemento de la página, por ejemplo por su ID o con un selector CSS. La prueba ejecuta siempre los mismos pasos. Cuando la página cambia, el selector puede dejar de coincidir y la prueba falla.

Con este enfoque, el tester escribe la intención. El equipo de Cypress describe su comando cy.prompt como una forma de describir pruebas en lenguaje cotidiano, escritas como cadenas de texto dentro del archivo de prueba. Un artículo del blog de Cypress explica que los pasos generados pueden inspeccionarse y depurarse, y luego convertirse en código de prueba estático que puedes guardar.

La tecnología subyacente es la IA generativa: un modelo lee el texto y la página, y decide qué hacer. En la mayoría de las herramientas se trata de un modelo de lenguaje de gran tamaño, un modelo de IA entrenado con grandes cantidades de texto. Algunos fabricantes llaman agente de IA al software que hace esto, porque realiza acciones en lugar de limitarse a responder preguntas. El objetivo es el mismo en todos los casos: que las personas que conocen el producto puedan escribir y leer pruebas sin aprender un lenguaje de programación, por lo que a este enfoque a veces se le llama pruebas sin código.

Para los equipos de pruebas de software, esto cambia la creación de pruebas, no el proceso de pruebas. El diseño de pruebas, los datos de prueba y la ejecución siguen igual, y alguien sigue decidiendo qué caso de prueba cubrir.

En la automatización de pruebas tradicional, los ingenieros escriben y mantienen un script de prueba para cada flujo. Las herramientas de IA usan procesamiento de lenguaje natural para leer cada frase. Algunos proveedores van más allá y llaman agénticas a sus herramientas. Una guía de proveedor de Autosana, que es promocional, define la diferencia: una herramienta agéntica interpreta un objetivo expresado en inglés sencillo, explora la página en vivo, actúa y se ajusta durante la ejecución, y "sin código" no es lo mismo que "agéntico". La misma guía advierte que muchos productos afirman hacer pruebas con IA solo porque añadieron autocompletado a un editor de scripts. Trata estas etiquetas con cuidado y mantén una regla de aprobado o fallido que tú controles.

Cómo se ejecuta una prueba basada en instrucciones escritas

Los detalles varían según la herramienta, pero el flujo es similar. BrowserStack documenta su versión beta de "NL Test Automation Agent" para Selenium, y su página ofrece una visión clara:

  1. Escribes una instrucción breve. Cada comando es una frase en inglés, no un selector ni código. La página recomienda empezar con un verbo de acción, como "Click the Submit button".
  2. La IA la interpreta en tiempo de ejecución. Los pasos de automatización se generan mientras se ejecuta la prueba, así que no tienes que escribir selectores ni esperas a mano.
  3. La herramienta realiza la acción en el navegador. La página enumera tipos de comando como click, type, search, hover y scroll.
  4. La herramienta informa del resultado. Las ejecuciones correctas muestran registros de éxito, y las fallidas muestran registros de error con el motivo.

Compáralo con el enfoque que recomienda Playwright en sus buenas prácticas: prueba lo que los usuarios ven y hacen, y prefiere localizadores por rol, texto o ID de prueba frente a XPath o selectores CSS, que se rompen cuando cambia la página. Este enfoque lleva la misma idea más lejos. El probador nombra lo que vería un usuario, como "el botón Iniciar sesión", y la herramienta lo encuentra.

Dónde ayuda la prueba en lenguaje natural

Este enfoque encaja mejor en unos trabajos que en otros.

  • Pruebas de humo y rutas comunes de usuario. Iniciar sesión, buscar, añadir al carrito, finalizar la compra. Estos son los flujos de pruebas de extremo a extremo más importantes, y son fáciles de describir en una frase.
  • Equipos en los que los probadores no programan. Un probador que conoce el proceso de negocio puede escribir y leer la prueba.
  • Generación de pruebas. Algunas herramientas pueden generar una prueba a partir de una descripción breve. Una persona sigue revisando el diseño de la prueba y la cobertura.

Ayuda menos cuando la comprobación depende de cifras exactas, de una preparación de datos compleja o de una temporización que requiere un control fino, como en las pruebas de rendimiento. Una prueba unitaria de un cálculo no necesita navegador ni modelo de IA, y las pruebas exploratorias siguen necesitando a una persona curiosa.

Los límites que admiten los proveedores

Los fabricantes honestos declaran sus límites. Úsalos como lista de comprobación al evaluar cualquier producto.

  • Las instrucciones complejas fallan con más frecuencia. La página de BrowserStack indica que los objetivos complejos o demasiado amplios pueden fallar con un error UNSUPPORTED_OBJECTIVE, que la fiabilidad baja a medida que los comandos se complican y que las instrucciones de un solo paso son las más precisas. Divide una tarea larga en pasos cortos.
  • Los resultados pueden variar. Un modelo de IA interpreta cada instrucción en tiempo de ejecución, así que una frase vaga puede llevar a acciones distintas en cada ejecución. Mantén cada paso corto y específico.
  • La función puede estar en beta. La misma página etiqueta la función como beta e indica que los entornos compatibles pueden cambiar.
  • Los resultados inventados son un riesgo. El artículo de Cypress advierte de que muchas herramientas de navegador con IA están diseñadas para tareas web genéricas, no para pruebas. Pueden producir resultados alucinados sin inspeccionar la aplicación real y, a menudo, carecen de soporte para depuración, aserciones y el ciclo de vida de las pruebas.

Mantén las pruebas cortas, revisa lo que genera la IA y exige una regla clara de aprobado o fallido para cada paso.

Fallos, mantenimiento y CI

El mantenimiento es donde las pruebas en lenguaje natural deben dar sus frutos, así que pregúntate cómo gestiona cada herramienta los cambios. La guía de Cypress sobre generación de pruebas con IA muestra un diseño. Guarda en caché el código generado, y la caché se comparte entre equipos y entornos, incluido CI, de modo que volver a ejecutar una prueba no vuelve a llamar a la IA, salvo que el prompt o la página invaliden la caché. Cuando un selector o su texto cambia entre ejecuciones, regenera el código de ese paso y marca el paso como autorreparado en los registros. Advierte de que reparar en cada ejecución añade llamadas a la IA y ralentiza la ejecución, y recomienda apuntar a elementos por texto visible estable. También permite ver el código generado, con comentarios que relacionan cada comando con su paso del prompt, y guardarlo en lugar del prompt.

La guía de Autosana sugiere una prueba de concepto de dos semanas con flujos de usuario reales, incluidos los que ya han fallado antes, con una revisión de capturas de pantalla y de grabaciones de sesión para auditar lo que hizo el agente. No ofrece tasas de fallo medidas, así que haz tu propio piloto.

¿Puede sustituir a los ingenieros de QA? Según estas pruebas, no: las personas siguen decidiendo qué probar, preparan los datos y determinan si un resultado es correcto.

Preguntas que debes hacer antes de elegir una herramienta

Usa estas preguntas en una llamada con el proveedor o en un piloto. Sirven para cualquier producto.

  1. ¿Qué ve exactamente el modelo? ¿Inspecciona la página real o adivina a partir del texto de tu instrucción?
  2. ¿Puedo leer y exportar lo que hizo? Necesitas un registro de cada paso generado y, idealmente, un script fijo que puedas guardar en control de versiones.
  3. ¿Cómo decide si una prueba es correcta o fallida? Busca comprobaciones explícitas que escribas tú, no solo el propio criterio del modelo.
  4. ¿Dónde se ejecuta la prueba y quién puede ver los datos? Las cuentas de prueba y las capturas de pantalla pueden contener información real.
  5. ¿Qué contiene un informe de fallo? Las capturas de pantalla, los registros y el paso fallido ahorran horas de depuración.
  6. ¿Encaja con nuestro conjunto de pruebas actual? Revisa tu framework de automatización, tu pipeline y tu proceso de pruebas manuales.

Ejemplo: una prueba de inicio de sesión, tres formas

Las cifras son inventadas.

Un equipo compara tres formas de escribir una prueba de inicio de sesión.

  1. Código con selectores. Un ingeniero escribe unas 12 líneas. Tarda 30 minutos. Cuando un desarrollador cambia el ID del botón, la prueba falla y hay que corregirla.
  2. Lenguaje natural. Un tester escribe cuatro líneas: abrir la página de inicio de sesión, escribir el nombre de usuario, escribir la contraseña, hacer clic en "Log In" y comprobar que aparece el título del panel. Tarda 5 minutos. El tester lee los pasos generados, confirma que coinciden y usa la IA solo para ejecutarlos.
  3. Lenguaje natural y, después, exportación. El equipo conserva la versión en inglés sencillo para explorar y exporta un script fijo para la regresión nocturna, tal como describe el artículo de Cypress para su propia herramienta.

En un mes, dos fallos se deben a errores reales y uno a un paso impreciso: "click the button" seleccionó el botón equivocado. Lo reescriben como "click the Log In button". La precisión en la frase importa tanto como la precisión en un selector.

Errores comunes

  • Escribir instrucciones largas y vagas. Usa una sola intención por paso y nombra el elemento.
  • Confiar en los pasos generados por IA sin leerlos. Lee cada paso al menos una vez y conserva el registro.
  • Omitir el resultado esperado. Una prueba necesita una comprobación clara, como un título o un total. "Asegúrate de que funciona" no es una comprobación.
  • Usarla para todo. Las comprobaciones unitarias y de integración pertenecen al código, cerca de los desarrolladores.
  • Adoptar una herramienta sin piloto. Ejecuta primero diez pruebas reales y compara las causas de los fallos.

Cómo puede ayudar el software

Existen varios tipos de herramientas de pruebas con IA. Algunas añaden comandos en lenguaje natural a un framework basado en código, como las funciones de Cypress y BrowserStack mencionadas arriba. Otras son plataformas independientes para todo el equipo de QA. Los frameworks de código abierto, como Playwright, siguen funcionando bien para los equipos que prefieren el código.

Genta by Cognillo es un ejemplo de plataforma independiente. Según el proveedor, los probadores describen en lenguaje natural lo que debe hacer una aplicación, y Genta ejecuta la prueba en un navegador en una máquina virtual en la nube e informa de si ha superado o no la prueba, con capturas de pantalla y registros. El proveedor afirma que está dirigido a responsables de QA, SDET e ingenieros de automatización. Estas son afirmaciones del proveedor. Compáralo con otras opciones en un piloto antes de decidir.

Aviso: Cognillo patrocina M365.FM.

Siguiente paso

Elige una ruta de usuario estable, como el inicio de sesión y la búsqueda, y escríbela en cinco pasos sencillos en inglés. Ejecútala en una herramienta de automatización de pruebas en lenguaje natural y en tu marco de pruebas actual, y luego compara el esfuerzo, los fallos y la calidad de los registros.

Entidades en este artículo

End-to-end testing Generative AI AI agent Genta Automation

Artículos relacionados

RSS