¿Qué pruebas de regresión debes automatizar primero? Una guía de decisión
Por Mirko Peters · · Actualizado
¿Qué pruebas automatizar primero? Empieza por las pruebas de regresión críticas para el negocio, que se ejecutan con frecuencia y son estables. Usa cinco criterios y una matriz de puntuación sencilla para decidir.
Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés
¿Qué pruebas automatizar primero? Empieza por las pruebas de regresión que cubren flujos críticos para el negocio, se ejecutan en cada compilación, cambian poco y tardan más en repetirse a mano. Esta guía está pensada para responsables de QA con un equipo pequeño y una larga lista de comprobaciones manuales que necesitan un orden defendible. Verás cinco criterios de selección, una lista de lo que conviene dejar manual por ahora y una matriz de puntuación sencilla. Un ejemplo práctico con cifras inventadas ordena cinco pruebas candidatas, para que puedas copiar el método.
Puntos clave
- Automatiza primero las pruebas de regresión que cubren flujos críticos para el negocio, se ejecutan con frecuencia, cambian poco y cuestan más tiempo repetir a mano.
- Ordena las funciones según el coste de un fallo: la probabilidad y la gravedad de un defecto deciden qué prueba merece la automatización antes que las demás.
- Deja manuales por ahora las comprobaciones de un solo uso, inestables, exploratorias y de usabilidad, porque automatizarlas puede costar más que ejecutarlas a mano.
- Una puntuación ponderada de 1 a 5 en criticidad, frecuencia, estabilidad, esfuerzo manual e inconsistencia convierte un debate en una lista ordenada.
- Prefiere la capa de prueba más baja que funcione y reserva las pruebas end-to-end a nivel de navegador para los flujos en los que la validación completa es imprescindible.
Por qué importa el orden de automatización
Automatizar requiere esfuerzo, y ese esfuerzo solo se recupera cuando una prueba se ejecuta muchas veces. Una prueba que se ejecuta en cada compilación se amortiza rápido. Una prueba que se ejecuta una sola vez nunca se amortiza.
En equipos ágiles con sprints cortos, rara vez hay tiempo para automatizarlo todo. La automatización de pruebas es una inversión, así que conviene pensar en el retorno de la inversión (ROI): las horas manuales que ahorra cada caso de prueba automatizado, menos las horas necesarias para escribir y mantener sus scripts. El orden en que automatizas determina, por tanto, lo rápido que se recupera tu inversión. Un equipo que automatiza diez comprobaciones de poco valor y deja el proceso de compra manual ha invertido su esfuerzo en el lugar equivocado.
La guía de Ranorex sobre saber qué automatizar sitúa las pruebas de regresión en lo más alto de la lista de prioridades, porque cada nueva ejecución multiplica el ahorro. También indica que hay que ordenar las funciones según el coste de un fallo y añadir primero al conjunto de regresión las pruebas de las funciones más arriesgadas.
El artículo de TestDevLab sobre priorizar casos de prueba para pruebas de regresión describe la misma idea como priorización basada en riesgo: ordenar los casos de prueba según factores como la probabilidad de fallo y la gravedad del impacto. Recomienda empezar por las funciones de alto riesgo y alta criticidad y pasar después a las de menor riesgo. También afirma que las funciones que se actualizan con frecuencia y las funciones complejas formadas por varios componentes merecen probarse antes.
El mensaje práctico: automatiza según el riesgo y la frecuencia con la que se ejecutará la prueba, no según la lista de funciones ni según lo fácil que resulte.
Una estrategia de automatización breve indica los candidatos, las herramientas, el responsable y la fecha de revisión. La mayoría de las buenas prácticas de automatización de pruebas empiezan igual: decidir qué automatizar y, solo después, elegir la herramienta.
¿Qué pruebas automatizar primero? Cinco criterios
La guía de Katalon sobre cómo seleccionar casos de prueba de regresión indica que los buenos candidatos a automatización cumplen la mayoría de un conjunto de condiciones. Estas cinco son las más importantes para un equipo pequeño.
- Crítico para el negocio. La prueba cubre un flujo crítico para los ingresos, sensible desde el punto de vista de la seguridad o central para el producto, como el inicio de sesión, la compra o los pagos. Si esto falla, los clientes lo notan primero.
- Se ejecuta con frecuencia. La prueba se ejecuta en cada pull request, en cada compilación nocturna o en cada versión.
- Estable. La funcionalidad cambia poco, así que la prueba no necesitará reparaciones constantes.
- Costosa de hacer a mano. La prueba es repetitiva, lenta y propensa a errores humanos. Las comprobaciones repetidas y basadas en datos encajan bien, porque los mismos pasos se ejecutan con muchas entradas, y aquí la automatización de pruebas es la que más tiempo ahorra.
- Resultado claro. La prueba tiene un resultado objetivo de aprobado o fallido que es fácil de comprobar, por ejemplo, a través de la pantalla, una respuesta de API o el estado del sistema. Cubre los casos límite que importan en los datos de prueba, no todas las entradas posibles.
Una prueba que cumple cuatro o cinco de estas condiciones pasa al primer lugar de la cola. Una prueba que cumple una o dos espera.
Katalon añade un punto sobre las capas: prefiere la capa más baja que funcione y automatiza los flujos de interfaz inestables solo cuando la validación de extremo a extremo sea imprescindible. Si una regla puede comprobarse con una prueba unitaria o con una llamada a una API, esa comprobación suele ser más rápida y estable que una prueba en el navegador. Las pruebas de interfaz lentas deben reservarse para los pocos flujos que las necesiten. Mantén las pruebas de extremo a extremo a nivel de navegador para los recorridos en los que haya que demostrar todo el camino a través de las pantallas.
Ajusta el orden a la pirámide de pruebas y a tu pipeline
La selección indica qué automatizar. Las capas indican dónde. La Practical Test Pyramid de Martin Fowler recomienda muchas pruebas unitarias pequeñas y rápidas, algunas pruebas más amplias y muy pocas pruebas de alto nivel. Su regla para elegir el nivel es útil para una lista priorizada: si una prueba de nivel superior detecta un error y ninguna prueba de nivel inferior falla, escribe una prueba de nivel inferior. Lleva las pruebas tan abajo como sea posible y elimina las pruebas de alto nivel que dupliquen lo que ya cubren los niveles inferiores.
Por eso, antes de escribir una prueba de navegador para un elemento priorizado, hazte dos preguntas. ¿Una prueba unitaria o una prueba de integración podrían demostrar la misma regla más rápido? ¿Hay casos de prueba automatizados que ahora sean redundantes? Estas son nuestras preguntas, basadas en la regla de Fowler, no una lista de verificación de las fuentes.
Después, sitúa cada prueba en el pipeline. Ranorex describe las pruebas de humo como un pequeño subconjunto de las pruebas de regresión que se ejecutan con cada nueva compilación, y Katalon señala cada pull request, cada compilación nocturna y cada versión como los puntos en los que se ejecutan los buenos candidatos. Una división práctica, que es una sugerencia nuestra, consiste en un pequeño conjunto de humo en cada compilación y el conjunto de automatización completo cada noche o en cada versión. Deja las pruebas exploratorias en manos del equipo de QA y revisa el plan cada trimestre.
Qué dejar manual por ahora
Decir que no también forma parte del plan. Ranorex enumera los casos en los que la automatización no compensa:
- Pruebas de uso único. Puede llevar más tiempo automatizar una prueba que ejecutarla a mano una sola vez. Las pruebas que vayan a formar parte del conjunto de regresión o que estén basadas en datos no cuentan como de uso único.
- Funcionalidades inestables. Mientras un requisito siga siendo experimental o esté en desarrollo, pruébalo manualmente.
- Pruebas sin un resultado claro de aprobado o fallido. Automatiza solo cuando el resultado sea objetivo.
- Pruebas exploratorias y de usabilidad. Ranorex afirma que estas pruebas no pueden ni deben automatizarse, porque dependen del juicio humano.
Las funcionalidades que se resisten a la automatización, como un CAPTCHA, necesitan un plan propio. Ranorex sugiere desactivarlas en el entorno de prueba, añadir un mecanismo de omisión para desarrolladores o pausar la prueba para que un probador las complete.
Manual no significa olvidado. Incluye estas pruebas en una lista con una fecha de revisión, para que una funcionalidad que se haya estabilizado pueda subir de prioridad.
Puntúa los candidatos con una matriz sencilla
Cuando dos pruebas parecen igual de importantes, una puntuación hace visible la decisión. Katalon recomienda puntuar cada prueba de 1 a 5 según factores ponderados, multiplicar cada puntuación por su peso y sumar los resultados. Sus pesos de ejemplo son criticidad para el negocio 0,3, frecuencia de ejecución 0,2, estabilidad 0,2, esfuerzo manual ahorrado 0,15 y puntuación de inestabilidad 0,15, donde una puntuación más alta significa menor riesgo de inestabilidad. Sus umbrales sugeridos son 4,0 o más para automatizar, de 3,0 a 3,9 para revisar más adelante y menos de 3,0 para mantener como manual o exploratoria.
Puedes usar estos pesos tal cual o cambiarlos. Lo importante no es el número exacto. Lo importante es que el equipo se ponga de acuerdo en los factores antes de discutir pruebas concretas.
¿De dónde salen las puntuaciones? Katalon señala que los datos de producción y los incidentes pasados muestran qué rutas importan más. TestDevLab describe la priorización basada en el historial, que ordena las pruebas según su historial de detección de fallos. Usa tu lista de incidentes y tus tickets de soporte para rellenar la columna de criticidad, y tu historial de compilaciones para rellenar las columnas de frecuencia e inestabilidad. Una puntuación basada en datos es más fácil de defender que una basada en opiniones. Revisa el ranking con todo el equipo y controla la cobertura de tus flujos críticos con un recuento sencillo: ¿cuántos de tus diez flujos principales tienen un caso de prueba automatizado?
Ejemplo: ordenar cinco pruebas candidatas
Las puntuaciones son inventadas, y los pesos son los de arriba.
Un responsable de QA tiene cinco comprobaciones manuales que ordenar. Cada factor se puntúa de 1 a 5.
- Exportación de facturas. Criticidad 5, frecuencia 5, estabilidad 4, esfuerzo 4, puntuación de inestabilidad 3. Puntuación: 1,5 + 1,0 + 0,8 + 0,6 + 0,45 = 4,35. Automatizar primero.
- Restablecimiento de contraseña. Criticidad 5, frecuencia 3, estabilidad 5, esfuerzo 3, puntuación de inestabilidad 4. Puntuación: 1,5 + 0,6 + 1,0 + 0,45 + 0,6 = 4,15. Automatizar después.
- Filtro de informes. Criticidad 3, frecuencia 4, estabilidad 4, esfuerzo 4, puntuación de inestabilidad 4. Puntuación: 0,9 + 0,8 + 0,8 + 0,6 + 0,6 = 3,7. Revisar el próximo trimestre.
- Nuevo diseño del panel. Criticidad 3, frecuencia 3, estabilidad 1, esfuerzo 3, puntuación de inestabilidad 2. Puntuación: 0,9 + 0,6 + 0,2 + 0,45 + 0,3 = 2,45. Mantener como manual hasta que el diseño se estabilice.
- Subida de foto de perfil. Criticidad 2, frecuencia 2, estabilidad 3, esfuerzo 2, puntuación de inestabilidad 2. Puntuación: 0,6 + 0,4 + 0,6 + 0,3 + 0,3 = 2,2. Mantener como manual.
El resultado es una lista ordenada: primero la exportación de facturas, después el restablecimiento de contraseña, y el filtro de informes en reserva. El responsable empieza con un marco de automatización pequeño, datos de prueba compartidos y estos primeros casos de prueba, y luego amplía la suite automatizada. El propietario del producto puede ver los motivos, y cuando el panel deje de cambiar, su puntuación de estabilidad subirá y podrá avanzar en la lista.
Errores comunes
- Automatizar primero las pruebas más fáciles. Las pruebas fáciles suelen tener poco impacto, así que la suite crece sin proteger lo que importa.
- Automatizar una funcionalidad inestable. Las pruebas se rompen con cada cambio y el equipo deja de confiar en ellas.
- Contar pruebas en lugar de impacto. Una suite grande de comprobaciones de bajo valor cuesta más mantenerla de lo que ahorra.
- Empezar cada comprobación en la capa del navegador. Si una prueba unitaria o una comprobación de API puede cubrir la regla, normalmente es más barato mantenerla ahí.
- Ignorar las pruebas manuales que siguen siendo importantes. Las comprobaciones exploratorias y las revisiones de usabilidad deben seguir en manos de los testers, y las pruebas de software necesitan ambos tipos de esfuerzo.
- No revisar nunca el ranking. El uso, el impacto y la estabilidad cambian, así que revisa la lista cada trimestre.
Cómo puede ayudar el software
Para empezar basta con una hoja de cálculo con tus cinco criterios y los pesos. Añade una columna con la fecha de la última revisión. Tu herramienta de gestión de pruebas, si tienes una, también puede mostrar con qué frecuencia se ejecuta cada prueba y con qué frecuencia falla, lo que alimenta las puntuaciones de frecuencia e inestabilidad. Los datos históricos de defectos de tu sistema de tickets muestran qué áreas se rompen más. Las herramientas de pruebas de navegador, tanto las basadas en scripts como las de lenguaje natural, solo importan cuando el ranking indica qué flujos merecen una prueba. Elige la herramienta después de tener la lista, no antes.
Siguiente paso
Haz una lista de tus veinte comprobaciones de regresión manuales más lentas, puntúa cada una según los cinco factores y ordena el resultado. Después automatiza las tres primeras y usa esa lista ordenada para responder qué pruebas automatizar primero en tu próxima reunión de planificación.