Desarrollo, staging y producción: ejecutar pruebas automatizadas en cada uno de forma segura
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
Por Mirko Peters · · Actualizado
Cómo ejecutar pruebas automatizadas en staging y producción de forma segura: qué ejecutar en cada entorno, cómo configurar las URL base y los secretos, y cómo proteger los datos reales de los clientes.
Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés
Para ejecutar pruebas automatizadas en staging y producción de forma segura, asigna a cada entorno una función distinta: la suite de regresión completa en staging y solo un conjunto pequeño de solo lectura en producción. Esta guía está pensada para los responsables de QA a quienes se pide probar con más frecuencia sin arriesgar a clientes ni datos reales. Verás para qué sirve cada entorno, qué ejecutar en cada uno, cómo configurar las URL y los secretos, cómo tratar los datos de prueba y qué barreras de protección establecer. Un ejemplo práctico con cifras ficticias muestra una división que un equipo pequeño puede copiar.
Puntos clave
- Cada entorno tiene una función: desarrollo ofrece retroalimentación rápida, staging es la comprobación final antes de la publicación y producción es el sistema en vivo del que dependen los usuarios reales.
- Ejecuta la suite de regresión completa, incluidas las pruebas destructivas, en staging, y limita producción a un conjunto de humo pequeño de solo lectura y a monitores programados.
- Asigna a cada entorno su propia URL base, sus tiempos de espera y su política de reintentos, y mantén las credenciales fuera del código de prueba y del repositorio.
- Usa datos sintéticos o enmascarados en staging y cuentas de prueba dedicadas en producción, que queden fuera de la facturación, la analítica y los informes de clientes.
- Crea primero las barreras de protección: monitorización, un plan de reversión, acciones de solo lectura e indicadores de características (feature flags), y nunca consideres producción como tu primera línea de defensa.
Para qué sirve cada entorno
La guía de Flagsmith sobre buenas prácticas para entornos de prueba describe cuatro entornos.
- Desarrollo antepone la retroalimentación rápida al realismo. Los desarrolladores trabajan en local o en un entorno de pruebas compartido.
- Pruebas o QA es un espacio controlado para pruebas funcionales, de integración y de regresión sobre una versión concreta.
- Staging está configurado para parecerse lo máximo posible a producción y sirve como comprobación final antes de la publicación.
- Producción es el entorno en vivo con el que interactúan los usuarios.
En conjunto, estos entornos forman el recorrido de una publicación a través de la gestión del ciclo de vida de las aplicaciones: el código pasa de un entorno al siguiente, y cada paso es una oportunidad de detectar problemas a un coste bajo.
La misma guía hace dos observaciones que importan para la automatización. En primer lugar, cuanto más se parezca un entorno de pruebas a producción, más confianza puedes depositar en lo que te indica, y la paridad debe abarcar los sistemas operativos, las versiones de las dependencias y la configuración de red, no solo el código de la aplicación. En segundo lugar, los entornos de prueba no deberían compartir bases de datos, credenciales ni infraestructura con producción ni entre sí. Una prueba que toca la base de datos equivocada es la forma más rápida de convertir una ejecución de pruebas en un incidente.
En un canal de DevOps, cada despliegue puede activar un conjunto distinto de pruebas automatizadas. Tras una fusión, el despliegue en el entorno de pruebas ejecuta comprobaciones rápidas. El despliegue en la siguiente fase, staging, ejecuta la suite completa, y la publicación espera el resultado. Las pruebas automatizadas en cada fase ofrecen retroalimentación rápida, y automatizas el paso de una fase a otra solo cuando las comprobaciones se superan. El mismo enfoque funciona tanto si las pruebas de interfaz usan Selenium, Playwright u otra herramienta.
Cómo ejecutar pruebas automatizadas en staging y en producción
El artículo de TestDino Playwright Staging vs Production: What to Run Where propone una división clara, y se aplica a cualquier herramienta.
En staging, ejecuta la suite de regresión completa. Incluye pruebas destructivas que eliminan cuentas o vacían carritos, pruebas de rendimiento y de carga, pruebas de regresión visual y pruebas de migración de bases de datos. Usa credenciales de sandbox o de modo de prueba para los servicios de terceros. El staging es el lugar para cualquier prueba que escriba datos o simule un caso límite.
En producción, ejecuta una pequeña suite de humo con los flujos críticos, que el artículo sitúa en unos cinco a diez flujos, además de monitores sintéticos programados, más o menos cada cinco a quince minutos. Añade comprobaciones de estado de API de solo lectura y otras comprobaciones ligeras similares. La regla del artículo es estricta: toda prueba que se ejecute sobre el sistema en vivo debe ser de solo lectura o usar cuentas de prueba completamente aisladas.
Esta división encaja con la idea que hay detrás de las pruebas end-to-end. Los recorridos por el navegador son lentos y a veces inestables, así que reserva la lista larga para staging y deja que solo los recorridos más importantes se ejecuten contra el sistema en vivo. Etiqueta las pruebas, por ejemplo como smoke o destructive, para que la ejecución en producción excluya el grupo destructivo por regla y no de memoria.
Configura cada entorno sin filtrar secretos
Trata cada entorno como una configuración independiente. TestDino sugiere definir un proyecto distinto por entorno en Playwright, cada uno con su propia URL base, tiempo de espera y número de reintentos. En su ejemplo, staging permite reintentos y producción no, y producción captura trazas y vídeos solo cuando una prueba falla. La idea también funciona en otras herramientas.
Reglas para la configuración y los secretos:
- Mantén las credenciales fuera de los archivos de configuración. Carga los valores específicos de cada entorno desde archivos de entorno excluidos del control de versiones, y sube solo un archivo de plantilla que liste los nombres de las variables.
- Usa el almacén de secretos de la plataforma de CI en los pipelines. El artículo recomienda tomar los secretos de la configuración del entorno de CI en lugar de archivos.
- Valida las variables antes de la ejecución. Una URL base que falta provoca errores confusos, así que comprueba que todas las variables necesarias estén definidas antes de que empiece la primera prueba.
- Incluye el alcance de producción en la configuración. Filtra las pruebas de producción en la configuración, no solo mediante parámetros de línea de comandos que alguien puede olvidar.
- Versiona la definición del entorno. Flagsmith recomienda gestionar la configuración del entorno bajo control de versiones, para que los cambios no registrados no provoquen desviaciones y fallos inexplicables.
Usa una cuenta separada para cada entorno y asigna a cada cuenta el mínimo acceso que necesiten sus pruebas.
Datos de prueba: sintéticos en staging, aislados en producción
Los datos son el segundo punto en el que las pruebas seguras y las no seguras divergen.
- Staging: usa datos sintéticos, anonimizados o sembrados. Flagsmith recomienda reflejar escenarios reales con datos sintéticos, enmascarar o anonimizar cualquier dato de producción que copies y actualizar los datos de prueba según un calendario, en lugar de dejar que caduquen.
- Producción: contiene datos reales y sensibles de clientes. TestDino recomienda cuentas de prueba dedicadas, excluidas de la facturación y de la analítica, y que nunca aparezcan en informes visibles para el cliente. Si la aplicación maneja datos regulados, sugiere inquilinos de prueba dedicados con datos sintéticos.
- Datos únicos en cada ejecución: genera valores únicos para cada ejecución, por ejemplo con una marca de tiempo, y prepara el estado mediante una llamada a la API en lugar de hacerlo a través de la pantalla.
- Limpieza: si una prueba necesita crear un registro, elimínalo después mediante una llamada a la API.
La guía de BugBug sobre pruebas en producción advierte de daños irreversibles. Entre sus ejemplos de lo que no debes hacer están los casos límite de pagos con tarjetas reales, las migraciones de datos sin copias de seguridad y los límites de permisos probados con usuarios reales.
Salvaguardas antes de probar en el sistema en vivo
La regla central de BugBug es que las pruebas en producción solo funcionan si primero se establecen las salvaguardas. Su lista es breve y práctica:
- Monitorización para detectar los fallos con rapidez, incluidos los fallos que causan las propias pruebas.
- Acciones de solo lectura siempre que sea posible, como comprobar una página en lugar de enviar un formulario. Detente antes de las acciones finales, como realizar un pedido.
- Feature flags para exponer un cambio a un grupo reducido, ampliar la audiencia por fases y desactivarlo sin volver a desplegar. La guía también advierte de los flags olvidados, que acaban convirtiéndose en deuda técnica.
- Un plan de rollback definido antes de la prueba, porque las vuelta atrás deben ser aburridas, no heroicas.
- Detección, no diagnóstico. Usa pruebas en producción para detectar un problema y encuentra la causa raíz en otro entorno.
La guía marca los límites con claridad: producción es el último bucle de retroalimentación, no la primera línea de defensa, y probar en producción no es una excusa para saltarse el QA.
Ejemplo: una división para una suite de 120 pruebas
Los números son ficticios.
Un equipo tiene 120 pruebas de navegador y un único entorno de staging. Hoy, toda la suite se ejecuta en staging antes de cada versión, y no se ejecuta nada después de que la versión pase a producción.
El responsable de QA crea tres grupos. Las 120 pruebas se mantienen en staging, incluidas 18 etiquetadas como destructivas. Un grupo de humo de 8 pruebas de solo lectura cubre el inicio de sesión, la búsqueda, la apertura de una factura y la descarga de un informe. Se ejecuta en el sistema en producción después de cada versión y luego cada 15 minutos, usando una cuenta de prueba dedicada sin acceso a facturación. Un tercer grupo de 4 comprobaciones de estado de la API se ejecuta cada 5 minutos.
Dos semanas después, el grupo de humo falla a las 2 a. m. porque la contraseña de la cuenta de prueba había caducado. La alerta llega al ingeniero de guardia, que ve en el registro que la causa es la cuenta y no la aplicación. El equipo traslada la contraseña al almacén de secretos de CI con una fecha de rotación. No se vio afectado ningún cliente, y el equipo aprendió que las pruebas en producción necesitan un responsable.
Errores comunes
- Ejecutar la suite completa en producción. Las pruebas destructivas y de escritura pertenecen a staging.
- Compartir una base de datos o credenciales entre entornos. Una URL equivocada puede entonces tocar datos reales.
- Guardar contraseñas o tokens en el repositorio de pruebas. Usa un almacén de secretos y un archivo de marcador de posición.
- Usar cuentas reales de clientes como cuentas de prueba. Usa cuentas dedicadas que queden fuera de facturación y analítica.
- Omitir el plan de rollback. Decide cómo deshacerás un cambio defectuoso antes de probarlo.
- Dejar que staging se desvíe de producción. Las pruebas que pasan en una configuración distinta dicen muy poco.
Cómo puede ayudar el software
Empieza por lo que ofrecen tu sistema de CI y tu framework de pruebas: proyectos por entorno, un almacén de secretos, ejecuciones programadas y etiquetas. Añade una herramienta de monitorización que genere alertas cuando fallen las comprobaciones en producción. Algunas plataformas de pruebas reúnen estas piezas. Genta by Cognillo es un ejemplo: según el proveedor, admite entornos como desarrollo, staging y producción con variables cifradas, ejecuciones programadas y un registro de auditoría. Estas son afirmaciones del proveedor y M365.FM no las ha probado. Compáralo con otras opciones en un piloto y comprueba cómo cada herramienta almacena los secretos y quién puede leerlos.
Aviso: Cognillo patrocina M365.FM.
Siguiente paso
Enumera tus entornos y anota, para cada uno, qué pruebas pueden ejecutarse allí, qué cuenta utilizan y dónde se guardan los secretos. Después, traslada una prueba destructiva fuera de producción y usa esa lista para ejecutar pruebas automatizadas en staging y en producción con reglas claras.