M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Evidências de teste para auditorias: capturas de tela, logs e registros de aprovação/reprovação

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

Evidências de teste automatizado para auditorias: o que um líder de QA deve registrar, como manter capturas de tela, logs e registros de aprovação/reprovação revisáveis e como responder a um auditor.

Automatically translated with AI from the original post. Read the English original

Evidência de teste automatizado para auditorias é o conjunto de registros que comprova que um teste foi executado, mostra o que ele verificou e declara o que aconteceu, em um formato que um estranho consiga revisar meses depois. Este guia é para líderes de QA cujas equipes são solicitadas a apresentar provas durante uma revisão de conformidade ou uma validação. Você verá o que um auditor procura, quais partes da execução de um teste vale a pena guardar, quanto detalhe registrar e como organizar tudo. Um exemplo prático, com números fictícios, mostra uma equipe passando de uma correria para uma resposta em cinco minutos.

Pontos-chave

  • Um auditor precisa conseguir ver, apenas pelos registros, o que foi testado, o que era esperado, o que aconteceu e quem ou o que executou o teste; por isso, um simples "aprovado" ou "reprovado" raramente é suficiente.
  • Evidências úteis têm cinco partes: capturas de tela ou gravações, logs de execução, anexos como dados de teste, metadados da execução e links que conectam as falhas aos defeitos.
  • Capturas de tela não são exigidas por lei, e os logs do sistema podem servir como evidência, desde que sejam confiáveis e que a própria ferramenta de automação de testes esteja validada.
  • Ajuste a profundidade das evidências ao risco: mantenha registros completos para funções de alto risco e registros mais leves para as de baixo risco.
  • Vincule cada teste a um requisito e meça o tempo que você leva para reunir evidências completas de um único requisito.

O que os auditores realmente pedem

Um auditor não quer a sua ferramenta de teste. O auditor quer avaliar se o seu produto faz o que deveria e se os seus próprios registros comprovam isso. O artigo do Johner Institute sobre evidência objetiva, escrito para a qualidade de dispositivos médicos, coloca assim: a documentação deve ser detalhada o suficiente para que uma pessoa não envolvida consiga entender o que foi feito e por que os requisitos são atendidos.

O mesmo artigo descreve quatro níveis de detalhe em registros de teste, desde um simples "aprovado" ou "não aprovado" até um vídeo completo. Ele classifica o primeiro nível como insuficiente, afirma que o segundo oferece rastreabilidade limitada e diz que, a partir do terceiro nível, com capturas de tela, os revisores devem ter material suficiente para trabalhar. Também afirma que um simples aprovado ou reprovado não é aceito rotineiramente.

Seu setor tem regras próprias, mas, em praticamente qualquer framework ou norma, as mesmas perguntas aparecem:

  • O que foi testado e em relação a qual requisito?
  • O que você esperava que acontecesse?
  • O que aconteceu e quem ou o que executou o teste?
  • Quando e em qual ambiente isso aconteceu?
  • Se houve falha, o que você fez a respeito?

Evidências de auditoria que respondem a essas cinco perguntas sem necessidade de conversa são o que caracteriza um bom arquivo. Trate isso como parte da prontidão para auditoria da sua equipe de testes, para que ela esteja preparada o ano inteiro, e não apenas nas semanas que antecedem uma revisão.

Evidências de teste automatizado para auditorias: o que registrar

O guia da TestCollab sobre uma estratégia de evidências de teste identifica cinco tipos de evidência. Eles são uma boa lista de verificação para qualquer documentação:

  1. Capturas de tela e gravações. Prova visual dos estados da tela, das mensagens de erro e das falhas, o que ajuda mais nos testes end-to-end em navegador.
  2. Logs de execução. Registros passo a passo do que passou, do que falhou e o motivo.
  3. Anexos. Dados de teste, snapshots de configuração, respostas de API ou relatórios exportados.
  4. Metadados da execução. Quem iniciou a execução, quando, em qual ambiente e com qual configuração.
  5. Vínculos com defeitos. Uma conexão entre cada teste que falhou e o seu chamado de bug.

Automatizar a coleta de evidências é o próximo passo natural, e as equipes que automatizam deixam de depender da memória. Uma ferramenta pode anexar uma captura de tela na falha e enviar os resultados, com seus anexos, para um sistema de gestão de testes. Evidências automatizadas desse tipo não exigem que ninguém se lembre de nada. O guia traz um ponto útil: a evidência capturada durante o teste é mais precisa do que a evidência reconstruída depois. Uma boa captura de evidências, com os registros guardados junto aos resultados, vale mais do que uma planilha preenchida por alguém antes da auditoria.

Nem todo teste precisa de todos os artefatos. O guia sugere que um teste de fumaça pode precisar apenas de um status, enquanto um teste de aceitação pode exigir uma captura de tela de cada tela crítica, e um teste de regressão pode exigir registros de execução e detalhes do ambiente. Defina essas regras uma vez, por tipo de teste, para que o processo de auditoria não dependa de suposições.

Capturas de tela, logs ou vídeo: quanto é suficiente

Johner apresenta três pontos que economizam tempo.

  • Capturas de tela não são uma exigência legal. Elas são uma forma de mostrar o que aconteceu, por exemplo, que um aviso específico apareceu.
  • Logs podem servir como evidência. As condições são: a saída da tela e os registros precisam coincidir, os resultados precisam ser avaliados em relação aos requisitos, a ferramenta de automação de testes precisa estar validada e os registros precisam atender às regras aplicáveis, como a 21 CFR Part 11, que trata de registros eletrônicos nos Estados Unidos.
  • Vídeo tem custos. Ele mostra a execução, mas não avalia o resultado, leva tempo para ser revisado, consome muito armazenamento e é difícil de usar em testes de regressão.

O rascunho de orientação da FDA sobre garantia de software de computador, conforme explicado em um artigo da Jama Software, segue na mesma direção. Segundo esse artigo, capturas de tela não são exigidas, e logs de sistema, trilhas de auditoria e outros dados eletrônicos podem servir como registro. O registro deve mostrar o uso pretendido, a determinação de risco, as atividades de garantia executadas, quaisquer problemas encontrados e uma conclusão sobre a aceitabilidade dos resultados. O artigo também descreve uma abordagem baseada em risco: testes roteirizados para funções de alto risco e testes não roteirizados para as de menor risco. Verifique qual versão da orientação se aplica a você, porque o artigo descreve o rascunho.

A regra prática é ajustar a profundidade do registro ao risco. Mantenha registros completos, com passos, resultados esperados, capturas de tela e logs, onde uma falha possa causar danos a pessoas, prejuízos financeiros ou problemas de conformidade.

Johner também menciona robôs de teste que simulam ações do usuário e registram as reações, com a IA possivelmente auxiliando na avaliação. Se você usar IA para julgar resultados, trate a saída da IA como um rascunho, mantenha uma pessoa responsável pelo veredito e valide os recursos de IA como qualquer outra parte da ferramenta. Um veredito da IA sem registro do raciocínio é uma evidência fraca, e verificações conduzidas por IA precisam do mesmo registro que todas as outras. Você também pode automatizar a captura desse registro.

Torne o registro confiável e fácil de encontrar

A coleta manual de evidências significa trabalho manual, e trabalho manual abre espaço para erro humano, especialmente na época de auditoria, quando as equipes anexam evidências à mão. Evidências que não podem ser encontradas, ou que alguém poderia ter editado, são evidências fracas. Quatro hábitos ajudam.

  1. Rastreie cada teste até um requisito. A TestCollab recomenda vincular cada teste ao requisito que ele valida, para que a evidência mostre qual teste cobriu qual requisito e com qual resultado. Uma matriz de rastreabilidade pode criar esses vínculos automaticamente.
  2. Mantenha a trilha de auditoria das execuções de teste. Armazene o histórico para que um revisor possa ver cada execução de um teste, e não apenas a última que passou. Execuções com falha que foram corrigidas e repetidas devem fazer parte do histórico.
  3. Controle quem pode alterar o quê. Limite os direitos de edição aos resultados e aos anexos, e registre quem alterou um teste ou o seu resultado esperado. Pergunte à sua equipe de qualidade se você precisa de assinaturas formais.
  4. Adicione um portão de revisão. O TestCollab sugere um status personalizado, como "Needs Evidence Review", que impede que um teste seja marcado como concluído até que os artefatos exigidos sejam anexados.

O mesmo guia oferece três métricas que você pode acompanhar:

  • Cobertura de evidências: a proporção de execuções de teste que possuem os artefatos exigidos. O exemplo do guia é que 60% em relação a uma política que exige capturas de tela indica um problema de processo.
  • Tempo até a evidência: o intervalo entre a execução e a anexação dos artefatos.
  • Velocidade de recuperação: se você consegue obter evidências completas para qualquer requisito em menos de cinco minutos, que é o padrão sugerido pelo guia.

Lembre-se de que o guia não trata de por quanto tempo os registros devem ser retidos nem de como evitar adulterações. Essas respostas vêm do seu regulador, dos seus contratos e da sua própria política. Se a sua empresa também trabalha sob um framework de conformidade, como o SOC 2, pergunte ao seu responsável por conformidade se os mesmos registros podem atender a ambos, e conecte o fluxo de testes ao seu pipeline por meio de uma integração, para que os registros cheguem sem cópia manual.

Quais tarefas de evidência automatizar e quais exigem uma pessoa

A automação de evidências funciona melhor em etapas repetitivas: coleta de dados das execuções de teste, anexação de logs e capturas de tela, e vinculação de cada resultado ao seu requisito. Na nossa visão, isso poupa você do trabalho braçal de coletar evidências manualmente antes de cada rodada de preparação para auditoria. Ainda assim, uma pessoa deve revisar as evidências de apoio, porque só uma pessoa pode julgar se elas sustentam um controle específico ou um requisito de auditoria. Mantenha os scripts de teste, os logs e os resultados das execuções em um único repositório que funcione como fonte da verdade, e use as mesmas evidências de conformidade para cada framework que as solicitar, se a sua equipe de qualidade concordar.

Exemplo: de uma correria a cinco minutos

Os números são fictícios.

Um líder de QA dá suporte a uma aplicação de faturamento que está sujeita a uma revisão de controles internos. A equipe executa 60 testes automatizados antes de cada lançamento. Antes da revisão, o revisor escolhe cinco requisitos e pede comprovação dos testes.

A primeira tentativa é dolorosa. Os resultados dos testes ficam em uma saída de pipeline que expira após 30 dias. Há capturas de tela para apenas 27 das 60 execuções, o que representa 45% de cobertura de evidências. Ninguém consegue dizer qual teste cobre as notas de crédito. A equipe leva dois dias para responder, e a resposta tem lacunas.

Depois da revisão, o líder faz quatro mudanças. Cada teste recebe um ID de requisito. O pipeline anexa uma captura de tela e o registro da execução a cada etapa com falha, e uma captura final a cada teste crítico. Os resultados, com histórico, passam a ser armazenados em um repositório mantido durante todo o período de revisão, e um status de revisão impede a conclusão até que os artefatos sejam anexados. O líder também escreve uma regra de uma página para cada tipo de teste.

Na revisão seguinte, o revisor novamente pergunta sobre cinco requisitos. A equipe exporta o histórico de cada um em cerca de cinco minutos por requisito. A cobertura de evidências agora é de 58 das 60 execuções, e as duas exceções são testes de fumaça documentados com apenas um status, como a regra permite.

Erros comuns

  • Registrar apenas aprovado ou reprovado. Um revisor não consegue saber o que foi verificado.
  • Capturar evidências depois do fato. Registros reconstruídos são menos precisos e parecem mais fracos.
  • Registrar tudo, sempre. Vídeo completo de cada teste custa armazenamento e tempo de revisão, e pouco disso é consultado.
  • Não ter vínculo com os requisitos. Sem rastreabilidade, você não consegue demonstrar o que um teste comprova.
  • Descartar o histórico. Revisores podem perguntar sobre execuções com falha, e não apenas sobre o resultado final.
  • Confiar cegamente na ferramenta de testes. Se os registros dela são a sua evidência, a ferramenta que os produziu também pode precisar de validação.

Como o software pode ajudar

Comece pela sua ferramenta de gestão de testes e pelo seu sistema de CI. Elas podem armazenar resultados, anexar artefatos e manter o histórico. Algumas ferramentas e plataformas de teste também oferecem recursos de evidência. Genta by Cognillo é um exemplo. Segundo o fornecedor, ela registra aprovação ou reprovação com capturas de tela, logs e artefatos de falha, e oferece controle de acesso baseado em funções, um log de auditoria e exportações de painéis para Excel, CSV ou PDF. Essas são as declarações do fornecedor e não foram testadas pela M365.FM. Compare as ferramentas em um piloto e verifique se os registros atendem às suas próprias regras de compliance.

Divulgação: a Cognillo patrocina a M365.FM.

Próximo passo

Escolha um recurso regulamentado e anote quais cinco fatos um auditor precisaria ver nos testes dele. Em seguida, confira uma execução de teste recente com base nessa lista e use as lacunas encontradas para definir sua regra para evidências de testes automatizados em auditorias.

Seguir o podcastSpotify

Entities in this article

End-to-end testing Audit readiness Compliance Genta Automation

Related articles

RSS