M365Con 2027 – conferencia online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Pruebas end-to-end inestables: por qué fallan y cómo reducirlas

Por · · Actualizado

Las pruebas end-to-end inestables pasan y fallan sin ningún cambio en el código. Conoce las cinco causas habituales, cómo corregir las esperas y los datos de prueba, y qué hacer con las pruebas que aún no puedes arreglar.

Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés

Las pruebas end-to-end inestables son pruebas automatizadas de navegador que pasan en una ejecución y fallan en la siguiente, sin ningún cambio en el código, en la prueba ni en el entorno. Esta guía va dirigida a responsables de QA e ingenieros de automatización que dedican más tiempo a volver a ejecutar compilaciones en rojo que a corregir errores. Verás por qué estas pruebas son inestables, cuáles son las cinco causas habituales, cómo solucionar la peor de ellas (las esperas) y cómo gestionar las pruebas que todavía no puedes arreglar. Un ejemplo práctico con cifras inventadas muestra cómo encontrar la causa raíz en tres pasos.

Puntos clave

  • Una prueba inestable pasa a veces y falla otras veces sin ningún cambio en el código, en la prueba ni en el entorno, así que un fallo no te dice nada hasta que repites la ejecución.
  • Google informó de que alrededor del 1,5 por ciento de sus ejecuciones de pruebas fueron inestables y casi el 16 por ciento de sus pruebas mostraron algún grado de inestabilidad. La inestabilidad es, por tanto, normal a gran escala y requiere un plan.
  • Las cinco causas habituales son el estado compartido, los tiempos, los servicios remotos, el reloj del sistema y los recursos no liberados. Y los tiempos son lo primero que conviene revisar en las pruebas de navegador.
  • Sustituye las esperas fijas por esperas a que se cumpla una condición visible, y asigna a cada prueba sus propios datos para que no puedan interferir entre sí.
  • Pon en cuarentena una prueba inestable como solución provisional, pero limita cuántas pruebas pueden estar ahí y durante cuánto tiempo, o el conjunto de regresión acabará perdiendo valor poco a poco.

Por qué las pruebas inestables causan tanto daño

Una prueba es inestable cuando su resultado no es repetible. El artículo de Martin Fowler sobre el no determinismo en las pruebas define una prueba no determinista como aquella que "pasa a veces y falla a veces", "sin ningún cambio perceptible en el código, las pruebas o el entorno".

El daño viene de la pérdida de confianza. Si una compilación en rojo puede ser un error real o simple ruido, la gente aprende a ignorar las compilaciones en rojo. Entonces un defecto real se cuela. Los equipos además pierden tiempo: cada fallo necesita una nueva ejecución antes de que alguien pueda decir si importa. Un conjunto de pruebas inestable también ralentiza la canalización de CI, porque cada ejecución fallida espera un reintento y bloquea detrás de ella la cola de fusiones.

Las cifras de sistemas grandes demuestran que esto es normal, no excepcional. Una entrada del Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, indica que alrededor del 1,5 por ciento de todas las ejecuciones de pruebas dio un resultado inestable, y que casi el 16 por ciento de las pruebas presentaba algún nivel de inestabilidad. También señala que alrededor del 84 por ciento de las transiciones de aprobado a fallido que observa involucran una prueba inestable, y que el proyecto medio contiene unas 1.000 pruebas individuales. Tus cifras serán distintas, pero la lección se mantiene: a gran escala, la inestabilidad es una certeza, así que necesitas un proceso.

Las pruebas end-to-end basadas en navegador son especialmente vulnerables. Cada prueba depende de un navegador, una red, una aplicación desplegada, cuentas de prueba y, a menudo, servicios de terceros. Más piezas móviles significan más oportunidades de variación. Por eso las pruebas end-to-end tienden a ser menos estables que las pruebas unitarias, que tienen muchas menos piezas móviles.

Las cinco causas habituales de las pruebas end-to-end inestables

El artículo de Fowler nombra cinco causas comunes. Cada una se aplica a las pruebas de navegador.

  1. Falta de aislamiento. Las pruebas comparten estado, como registros de la base de datos o una sesión iniciada, de modo que una prueba cambia lo que ve otra. Solución: reconstruir el estado inicial para cada prueba, o limpiarlo después de ejecutarla.
  2. Comportamiento asíncrono. La página necesita tiempo para responder, y la prueba actúa demasiado pronto o demasiado tarde. El consejo de Fowler es no usar nunca pausas fijas (sleeps) para esperar respuestas asíncronas, sino usar un callback o un sondeo (polling).
  3. Servicios remotos. Un entorno de pruebas de pagos, un servicio de correo o un proveedor de identidad en línea puede ser lento o estar caído. Solución: sustituir el sistema remoto por un doble de prueba siempre que la prueba no necesite el sistema real.
  4. Tiempo. Las pruebas que leen el reloj del sistema se comportan de forma distinta a medianoche, a final de mes o entre zonas horarias. Solución: controlar el reloj dentro de la prueba.
  5. Fugas de recursos. Una prueba deja abierta una conexión o una sesión, y una prueba posterior no relacionada falla cuando el recurso se agota.

La publicación de Google añade la concurrencia, la dependencia de comportamientos no deterministas o indefinidos, el código de terceros poco fiable y los problemas de infraestructura. Usa ambas listas como lista de comprobación cuando investigues la causa raíz de una prueba que falla.

Primero, corrige las esperas

En las pruebas de navegador, el tiempo suele ser el primer sospechoso. Una prueba que hace clic en un botón antes de que esté lista, o que comprueba un mensaje antes de que aparezca, pasará en un equipo rápido y fallará en uno saturado.

Una pausa fija como "espera 5 segundos" es la peor solución. Desperdicia tiempo cuando la página es rápida y sigue fallando cuando la página es lenta. Fowler describe el sondeo como una comprobación periódica, no una sola comprobación, y afirma que los límites de tiempo nunca deben ser valores literales en la prueba.

Las herramientas modernas lo incorporan. La documentación de Playwright sobre actionability enumera las comprobaciones que realiza antes de una acción: el elemento debe estar visible, estable (su posición no cambia entre fotogramas de animación), habilitado, capaz de recibir eventos en el punto de clic y, en el caso de escribir, editable. Playwright espera hasta que las comprobaciones se superan o falla con un error de tiempo límite. Su página de buenas prácticas añade que las aserciones web-first se reintentan hasta que se cumple la condición.

Reglas prácticas:

  • Espera a una condición que un usuario pudiera ver, como un encabezado o una fila, no a un número de segundos.
  • Prefiere un selector basado en el rol, el texto o un ID de prueba frente a rutas largas de CSS o XPath, que se rompen cuando cambia el diseño de la página.
  • Establece un tiempo límite generoso para todo el paso en lugar de muchas pausas pequeñas.
  • Comprueba el resultado con una aserción que se reintente.

Aísla los datos de prueba y el entorno de pruebas

La segunda gran palanca son los datos. Asigna a cada prueba su propia cuenta, su propio pedido o su propia carpeta. No dejes que dos pruebas editen el mismo registro. Si las pruebas deben ejecutarse en paralelo, los datos compartidos garantizan fallos aleatorios.

Revisa también el entorno. Un sistema de preproducción compartido en el que otros equipos despliegan cambios durante tu ejecución provocará fallos que ninguna corrección de la prueba puede resolver. Acordad ventanas de despliegue, o ejecuta tu conjunto de pruebas en un entorno dedicado.

Si un paso depende de un servicio externo, pregúntate si la prueba trata sobre ese servicio. Si no es así, sustitúyelo por un stub. Mantén un número reducido de pruebas que usen el servicio real y trátalas como un grupo aparte.

Por último, haz que cada fallo sea fácil de diagnosticar. Guarda el registro, una captura de pantalla y una traza de cada ejecución fallida en tu pipeline de CI. La página de buenas prácticas de Playwright sugiere recopilar una traza en el primer reintento de una prueba que falla, para que puedas reproducir lo ocurrido en lugar de adivinarlo. Con un registro y una traza, una prueba inestable se convierte en un problema de flujo de trabajo claro que puedes corregir, como un tiempo límite en un paso de la interfaz que tarda demasiado.

Qué hacer con las pruebas que aún no puedes corregir

Algunas pruebas inestables requieren más tiempo del que tienes, y otras dependen de código que no es tuyo. En ese caso, gestiónalas de forma explícita y mantén fiables los resultados de las pruebas estables.

  • Cuarentena. Fowler describe cómo trasladar las pruebas no deterministas a un conjunto aparte, para que las pruebas sanas sigan dando una respuesta fiable. Añade que las pruebas en cuarentena deben corregirse con rapidez, y que conviene limitar cuántas pueden acumularse o durante cuánto tiempo pueden permanecer así.
  • Reintento con registro. Google describe volver a ejecutar las pruebas que fallan y marcar una prueba como inestable, de modo que solo se informe de fallo tras tres fallos consecutivos. La publicación señala que esto difícilmente es una solución perfecta y advierte de que podría enmascarar fácilmente una condición de carrera real u otro error en el código bajo prueba.
  • Haz seguimiento de la inestabilidad a lo largo del tiempo. Google también describe herramientas que detectan cambios en el nivel de inestabilidad de una prueba. Incluso una lista sencilla de pruebas con su tasa de aciertos indica por dónde empezar a buscar.

Elijas lo que elijas, haz visible la lista de pruebas inestables, asigna un responsable a cada una y fija una fecha.

Ejemplo: encontrar la causa en tres pasos

Los números son ficticios.

Una suite tiene 200 pruebas de navegador. Durante dos semanas, 14 de ellas fallan al menos una vez sin que haya cambios en el código. Eso equivale al 7 % de las pruebas.

  1. Agrupa por causa. El equipo revisa los registros de fallos y clasifica las 14 pruebas. Ocho fallan por un tiempo de espera agotado en un botón, cuatro fallan porque dos pruebas editan el mismo registro de cliente y dos fallan solo después de una implementación en preproducción.
  2. Corrige el grupo más grande. El equipo sustituye las pausas fijas de las ocho pruebas de temporización por esperas a que se cumpla una condición visible. Siete dejan de fallar.
  3. Corrige el siguiente grupo. Cada prueba que editaba el cliente compartido ahora crea su propio cliente. Las cuatro pruebas dejan de fallar.

Tras el tercer paso, quedan tres pruebas inestables. El equipo pone en cuarentena las dos pruebas relacionadas con la implementación y asigna a cada una un responsable y un plazo de dos semanas. El porcentaje de pruebas inestables de la suite baja del 7 % al 1,5 %, y el equipo lo revisa cada semana.

Errores comunes

  • Añadir pausas. Ocultan el problema durante un tiempo y ralentizan cada ejecución.
  • Reintentar todo y seguir adelante. Los reintentos sin registro ocultan defectos reales, y la causa raíz sigue ahí.
  • Compartir datos de prueba entre pruebas. Las ejecuciones en paralelo convierten esto en fallos aleatorios.
  • Probar servicios de terceros en cada prueba. Sustitúyelos por simulaciones cuando el servicio no sea el objeto de la prueba.
  • Dejar que la cuarentena crezca sin límite. Una cuarentena sin responsable se convierte en un cementerio.
  • Culpar primero a la herramienta. Revisa la temporización, los datos y el entorno antes de cambiar de framework.

Cómo puede ayudar el software

Empieza con lo que te ofrece tu framework: espera automática, trazas y reintentos en CI. Añade un panel de fallos por prueba y por causa, para que los patrones sean visibles. Al principio basta una hoja de cálculo. Las herramientas que usan un agente de IA para ejecutar pruebas a partir de pasos en lenguaje natural pueden reducir algunos problemas de temporización, porque el agente decide cuánto esperar, pero traen sus propios riesgos, como la interpretación errónea de las instrucciones. Pruébalas con unas pocas pruebas y compara la tasa de inestabilidad antes de decidir.

Siguiente paso

Esta semana, haz una lista de tus diez pruebas menos fiables, asigna a cada una una causa probable de las cinco anteriores y resuelve primero los problemas de espera. Después, mide cada semana la tasa de pruebas end-to-end inestables y protege el valor de tu suite de pruebas de regresión con un límite para la cuarentena.

Entidades en este artículo

End-to-end testing Regression testing AI agent

Artículos relacionados

RSS