M365Con 2027 – conferencia online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Evidencia de pruebas para auditorías: capturas de pantalla, registros y registros de aprobado/fallido

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

Por · · Actualizado

Evidencia automatizada de pruebas para auditorías: qué debe capturar un responsable de QA, cómo mantener revisables las capturas de pantalla, los registros y los registros de aprobado/fallido, y cómo responder a un auditor.

Traducido automáticamente con IA a partir de la publicación original. Lee el original en inglés

La evidencia automatizada de pruebas para auditorías es el conjunto de registros que demuestra que una prueba se ejecutó, muestra qué comprobó y establece qué ocurrió, en un formato que un tercero pueda revisar meses después. Esta guía está dirigida a responsables de QA cuyos equipos deben aportar pruebas durante una revisión de cumplimiento o una validación. Verás qué busca un auditor, qué partes de la ejecución de una prueba merece la pena conservar, cuánto detalle registrar y cómo organizarlo. Un ejemplo práctico con cifras ficticias muestra cómo un equipo pasa de tener que improvisar la respuesta a poder darla en cinco minutos.

Puntos clave

  • Un auditor necesita poder ver, solo con los registros, qué se probó, qué se esperaba, qué ocurrió y quién o qué ejecutó la prueba, por lo que un simple aprobado o fallido rara vez basta.
  • La evidencia útil tiene cinco partes: capturas de pantalla o grabaciones, registros de ejecución, archivos adjuntos como los datos de prueba, metadatos de ejecución y enlaces desde los fallos hasta las incidencias.
  • Las capturas de pantalla no son obligatorias por ley, y los registros del sistema pueden servir como evidencia si son fiables y si la propia herramienta de automatización de pruebas está validada.
  • Ajusta la profundidad de la evidencia al riesgo: conserva registros completos para las funciones de alto riesgo y registros más ligeros para las de bajo riesgo.
  • Vincula cada prueba a un requisito y mide cuánto tardas en obtener la evidencia completa de un solo requisito.

Lo que los auditores piden realmente

Un auditor no quiere tu herramienta de pruebas. Lo que quiere es valorar si tu producto hace lo que debe y si tus propios registros lo demuestran. El artículo de Johner Institute sobre evidencia objetiva, escrito para la calidad de dispositivos médicos, lo expresa así: la documentación debe ser lo bastante detallada como para que una persona ajena pueda entender qué se hizo y por qué se cumplen los requisitos.

El mismo artículo describe cuatro niveles de detalle en los registros de pruebas, desde un simple "aprobado" o "no aprobado" hasta un vídeo completo. Considera insuficiente el primer nivel, dice que el segundo ofrece una trazabilidad limitada y afirma que a partir del tercero, con capturas de pantalla, los revisores deberían tener suficiente material con el que trabajar. También señala que un simple aprobado o fallido no se acepta de forma habitual.

Tu sector tiene sus propias reglas, pero en casi cualquier marco o norma surgen las mismas preguntas:

  • ¿Qué se probó y frente a qué requisito?
  • ¿Qué se esperaba que ocurriera?
  • ¿Qué ocurrió y quién o qué ejecutó la prueba?
  • ¿Cuándo y en qué entorno ocurrió?
  • Si falló, ¿qué hiciste al respecto?

Una evidencia de auditoría que responda a estas cinco preguntas sin necesidad de una conversación es lo que caracteriza un buen expediente. Considéralo parte de la preparación para auditorías de tu equipo de pruebas, de modo que estés preparado durante todo el año y no solo en las semanas previas a una revisión.

Evidencia automatizada de pruebas para auditorías: qué capturar

La guía de TestCollab sobre una estrategia de evidencia de pruebas enumera cinco tipos de evidencia. Sirven como una buena lista de verificación para cualquier documentación:

  1. Capturas de pantalla y grabaciones. Prueba visual de los estados de la pantalla, los mensajes de error y los fallos, lo que resulta de gran ayuda en las pruebas de extremo a extremo basadas en navegador.
  2. Registros de ejecución. Registros paso a paso de lo que superó la prueba, lo que falló y el motivo.
  3. Archivos adjuntos. Datos de prueba, instantáneas de configuración, respuestas de API o informes exportados.
  4. Metadatos de la ejecución. Quién inició la ejecución, cuándo, en qué entorno y con qué configuración.
  5. Enlaces a defectos. Una conexión entre cada prueba fallida y su ticket de error.

Automatizar la recopilación de evidencias es el siguiente paso natural, y los equipos que la automatizan dejan de depender de la memoria. Una herramienta puede adjuntar una captura de pantalla cuando una prueba falla y enviar los resultados, junto con sus adjuntos, a un sistema de gestión de pruebas. Las evidencias automatizadas de este tipo no requieren que nadie recuerde nada. La guía añade un punto útil: la evidencia capturada durante la prueba es más precisa que la reconstruida después. Una buena captura de evidencias, con los registros guardados junto a los resultados, es preferible a una hoja de cálculo que alguien rellena antes de la auditoría.

No todas las pruebas necesitan todos los artefactos. La guía sugiere que una prueba de humo puede necesitar solo un estado, mientras que una prueba de aceptación puede requerir una captura de pantalla de cada pantalla crítica y una prueba de regresión puede necesitar registros de ejecución y detalles del entorno. Defina estas reglas una vez, por tipo de prueba, para que el proceso de auditoría no dependa de suposiciones.

Capturas de pantalla, registros o vídeo: cuánto es suficiente

Johner plantea tres puntos que ahorran tiempo.

  • Las capturas de pantalla no son un requisito legal. Son una forma de demostrar lo que ocurrió, por ejemplo, que apareció un aviso concreto.
  • Los registros pueden servir como evidencia. Las condiciones son que la salida en pantalla y las entradas del registro coincidan, que los resultados se evalúen frente a los requisitos, que la herramienta de automatización de pruebas esté validada y que los registros cumplan las normas aplicables, como la 21 CFR Part 11 para registros electrónicos en Estados Unidos.
  • El vídeo tiene costes. Muestra la ejecución, pero no evalúa el resultado, requiere tiempo para revisarlo, consume mucho almacenamiento y resulta difícil de usar en pruebas de regresión.

El borrador de guía de la FDA sobre garantía de software de ordenador (computer software assurance), tal como lo explica un artículo de Jama Software, va en la misma dirección. Según ese artículo, las capturas de pantalla no son obligatorias, y los registros del sistema, las pistas de auditoría y otros datos electrónicos pueden servir como registro. El registro debe mostrar el uso previsto, la determinación de riesgo, las actividades de garantía realizadas, los problemas detectados y una conclusión sobre si los resultados son aceptables. El artículo también describe un enfoque basado en el riesgo: pruebas con guion para las funciones de alto riesgo y pruebas sin guion para las de menor riesgo. Compruebe qué versión de la guía le corresponde, porque el artículo describe el borrador.

La regla práctica es ajustar la profundidad del registro al riesgo. Mantenga registros completos, con pasos, resultados esperados, capturas de pantalla y registros, allí donde un fallo podría causar daños a personas, pérdidas económicas o incumplimientos normativos.

Johner también menciona los robots de prueba que simulan las acciones del usuario y registran las reacciones, y que la IA podría ayudar en la evaluación. Si utiliza IA para juzgar los resultados, trate la salida de la IA como un borrador, mantenga a una persona responsable del veredicto y valide las funciones de IA como cualquier otra parte de la herramienta. Un veredicto de IA sin registro de su razonamiento es una evidencia débil, y las comprobaciones basadas en IA necesitan el mismo registro que cualquier otra comprobación. También puede automatizar la captura de ese registro.

Haga que el registro sea fiable y fácil de encontrar

La recopilación manual de evidencias implica trabajo manual, y el trabajo manual invita al error humano, sobre todo en época de auditorías, cuando los equipos adjuntan las evidencias a mano. Una evidencia que no se puede encontrar, o que alguien podría haber editado, es una evidencia débil. Cuatro hábitos ayudan.

  1. Vincule cada prueba a un requisito. TestCollab recomienda enlazar cada prueba con el requisito que valida, de modo que la evidencia muestre qué prueba cubrió qué requisito y con qué resultado. Una matriz de trazabilidad puede crear estos vínculos automáticamente.
  2. Conserva el historial de ejecuciones de las pruebas. Guarda el historial para que un revisor pueda ver cada ejecución de una prueba, no solo la última que salió bien. Las ejecuciones fallidas que se corrigieron y se repitieron deben formar parte del historial.
  3. Controla quién puede cambiar qué. Limita los permisos de edición a los resultados y a los adjuntos, y registra quién modificó una prueba o su resultado esperado. Pregunta a tu equipo de calidad si necesitas firmas formales.
  4. Añade una puerta de revisión. TestCollab sugiere un estado personalizado como "Needs Evidence Review" que impide marcar una prueba como completada hasta que se adjunten los artefactos requeridos.

La misma guía propone tres métricas que puedes seguir:

  • Cobertura de evidencias: la proporción de ejecuciones de pruebas que tienen los artefactos requeridos. Su ejemplo es que un 60 por ciento frente a una directiva que exige capturas de pantalla apunta a un problema de proceso.
  • Tiempo hasta disponer de la evidencia: cuánto tarda en adjuntarse el artefacto tras una ejecución.
  • Velocidad de recuperación: si puedes obtener la evidencia completa de cualquier requisito en menos de cinco minutos, que es el estándar que sugiere la guía.

Ten en cuenta que la guía no aborda cuánto tiempo conservar los registros ni cómo evitar su manipulación. Esas respuestas vienen de tu regulador, de tus contratos y de tu propia directiva. Si tu empresa también trabaja con un marco de cumplimiento como SOC 2, pregunta a tu responsable de cumplimiento si los mismos registros pueden servir para ambos, y conecta el flujo de pruebas con tu canalización mediante una integración, de modo que los registros lleguen sin copia manual.

Qué tareas de evidencia automatizar y cuáles requieren a una persona

La automatización de evidencias funciona mejor en pasos repetitivos: recopilar datos de las ejecuciones de pruebas, adjuntar los registros y las capturas de pantalla, y vincular cada resultado con su requisito. En nuestra opinión, eso te ahorra el trabajo manual de reunir evidencias antes de cada ronda de preparación de auditoría. Aun así, una persona debe revisar la evidencia de respaldo, porque solo una persona puede juzgar si esa evidencia sustenta un control concreto o un requisito de auditoría. Guarda los scripts de prueba, los registros de prueba y los resultados de las ejecuciones en un único almacén que actúe como fuente de verdad, y utiliza la misma evidencia de cumplimiento para cada marco que la solicite, si tu equipo de calidad está de acuerdo.

Ejemplo: de la carrera de última hora a cinco minutos

Las cifras son inventadas.

Un responsable de QA da soporte a una aplicación de facturación que entra en una revisión de controles internos. El equipo ejecuta 60 pruebas automatizadas antes de cada publicación. Antes de la revisión, el revisor elige cinco requisitos y pide pruebas de que se han realizado las pruebas.

El primer intento es doloroso. Los resultados de las pruebas están en una salida de canalización que caduca a los 30 días. Solo existen capturas de pantalla para 27 de las 60 ejecuciones, lo que supone una cobertura de evidencias del 45 por ciento. Nadie puede decir qué prueba cubre las notas de crédito. Al equipo le lleva dos días responder, y la respuesta tiene lagunas.

Tras la revisión, el responsable introduce cuatro cambios. Cada prueba recibe un ID de requisito. La canalización adjunta una captura de pantalla y el registro de la ejecución a cada paso fallido, y una captura final a cada prueba crítica. Los resultados, con su historial, pasan a un almacén que se conserva durante todo el periodo de revisión, y un estado de revisión impide completar una prueba hasta que se adjunten los artefactos. El responsable también redacta una regla de una página por tipo de prueba.

En la siguiente revisión, el revisor vuelve a preguntar por cinco requisitos. El equipo exporta el historial de cada uno en unos cinco minutos por requisito. La cobertura de evidencias es ahora de 58 de 60 ejecuciones, y las dos excepciones son pruebas de humo documentadas solo con un estado, tal como permite la regla.

Errores comunes

  • Guardar solo aprobado o fallido. Un revisor no puede saber qué se comprobó.
  • Capturar la evidencia a posteriori. Los registros reconstruidos son menos precisos y parecen más débiles.
  • Registrarlo todo, siempre. El vídeo completo de cada prueba consume almacenamiento y tiempo de revisión, y se mira muy poco.
  • No vincular con los requisitos. Sin trazabilidad, no puedes demostrar qué prueba un caso concreto.
  • Descartar el historial. Los revisores pueden preguntar por las ejecuciones fallidas, no solo por el resultado final.
  • Confiar ciegamente en la herramienta de pruebas. Si sus registros son tu evidencia, la herramienta que los generó puede necesitar también validación.

Cómo puede ayudar el software

Empieza por tu herramienta de gestión de pruebas y tu sistema de CI. Pueden almacenar resultados, adjuntar artefactos y conservar el historial. Algunas herramientas de pruebas y plataformas de testing incluyen funciones de evidencia. Genta by Cognillo es un ejemplo. Según el proveedor, informa de aprobado o fallido con capturas de pantalla, registros y artefactos de fallo, y ofrece control de acceso basado en roles, un registro de auditoría y exportaciones del panel a Excel, CSV o PDF. Estas son declaraciones del proveedor y M365.FM no las ha probado. Compara herramientas en un piloto y comprueba si los registros cumplen tus propias normas de cumplimiento normativo.

Aviso: Cognillo patrocina M365.FM.

Siguiente paso

Elige una función regulada y anota qué cinco datos necesitaría ver un auditor para sus pruebas. Después, revisa una ejecución de pruebas reciente frente a esa lista y usa las lagunas que encuentres para definir tu regla sobre las evidencias de pruebas automatizadas para auditorías.

Seguir el podcastSpotify

Entidades en este artículo

End-to-end testing Audit readiness Compliance Genta Automation

Artículos relacionados

RSS