Testes end-to-end instáveis: por que falham e como reduzi-los
By Mirko Peters · · Updated
Testes end-to-end instáveis passam e falham sem nenhuma mudança no código. Conheça as cinco causas mais comuns, saiba como corrigir esperas e dados de teste e veja o que fazer com os testes que você ainda não consegue corrigir.
Automatically translated with AI from the original post. Read the English original
Testes end-to-end instáveis são testes automatizados de navegador que passam em uma execução e falham na seguinte, sem nenhuma mudança no código, no teste ou no ambiente. Este guia é para líderes de QA e engenheiros de automação que gastam mais tempo reexecutando builds vermelhos do que corrigindo bugs. Você vai entender por que esses testes ficam instáveis, quais são as cinco causas mais comuns, como corrigir a pior delas (a espera) e como gerenciar os testes que ainda não consegue corrigir. Um exemplo prático, com números fictícios, mostra como encontrar a causa raiz em três passos.
Pontos-chave
- Um teste instável passa às vezes e falha às vezes, sem nenhuma mudança no código, no teste ou no ambiente. Por isso, uma falha não diz nada até que a execução seja repetida.
- O Google informou que cerca de 1,5% de suas execuções de teste foram instáveis e que quase 16% de seus testes apresentaram algum grau de instabilidade. Ou seja, a instabilidade é normal em grande escala e exige um plano.
- As cinco causas mais comuns são estado compartilhado, tempo, serviços remotos, relógio do sistema e recursos não liberados. Em testes de navegador, o tempo é o primeiro ponto a verificar.
- Substitua esperas fixas por esperas por uma condição visível e dê a cada teste seus próprios dados, para que os testes não interfiram uns nos outros.
- Coloque um teste instável em quarentena como medida provisória, mas limite quantos testes podem ficar ali e por quanto tempo, senão a suíte de regressão perde seu valor aos poucos.
Por que os testes instáveis causam tanto dano
Um teste é instável quando seu resultado não é repetível. O artigo de Martin Fowler sobre não determinismo em testes define um teste não determinístico como aquele que "passa às vezes e falha às vezes", "sem nenhuma mudança perceptível no código, nos testes ou no ambiente".
O dano vem da perda de confiança. Se um build vermelho pode ser um bug real ou apenas ruído, as pessoas aprendem a ignorar builds vermelhos. Então um defeito real passa despercebido. As equipes também perdem tempo: cada falha precisa ser reexecutada antes que alguém possa dizer se ela importa. Uma suíte de testes instável também desacelera o pipeline de CI, porque cada execução com falha espera por uma nova tentativa e bloqueia a fila de merge atrás dela.
Os números de sistemas grandes mostram que isso é normal, não raro. Uma publicação no Google Testing Blog, Flaky Tests at Google and How We Mitigate Them, informa que cerca de 1,5% de todas as execuções de teste tiveram resultado instável, e que quase 16% dos testes apresentaram algum nível de instabilidade. O texto também diz que cerca de 84% das transições de aprovado para reprovado observadas envolvem um teste instável, e que o projeto médio contém cerca de 1.000 testes individuais. Os seus números serão diferentes, mas a lição se mantém: em grande escala, a instabilidade é uma certeza, e por isso você precisa de um processo.
Os testes end-to-end baseados em navegador são especialmente expostos. Cada teste depende de um navegador, de uma rede, de uma aplicação implantada, de contas de teste e, com frequência, de serviços de terceiros. Mais partes móveis significam mais chances de variação. É por isso que os testes e2e tendem a ser menos estáveis que os testes unitários, que têm muito menos partes móveis.
As cinco causas mais comuns de testes end-to-end instáveis
O artigo de Fowler aponta cinco causas comuns. Cada uma se aplica aos testes de navegador.
- Falta de isolamento. Os testes compartilham estado, como registros de banco de dados ou uma sessão já autenticada, então um teste altera o que outro enxerga. Correção: recriar o estado inicial para cada teste, ou limpar tudo depois que ele terminar.
- Comportamento assíncrono. A página precisa de tempo para responder, e o teste age cedo demais ou tarde demais. O conselho de Fowler é nunca usar pausas fixas (sleeps) para esperar respostas assíncronas, e sim usar um callback ou polling.
- Serviços remotos. Um sandbox de pagamentos, um serviço de e-mail ou um provedor de identidade ao vivo pode estar lento ou fora do ar. Correção: substitua o sistema remoto por um test double sempre que o teste não precisar do sistema real.
- Tempo. Testes que leem o relógio do sistema se comportam de forma diferente à meia-noite, no fim do mês ou entre fusos horários. Correção: controle o relógio dentro do teste.
- Vazamento de recursos. Um teste deixa uma conexão ou sessão aberta, e outro teste, sem relação com ele, falha quando o recurso se esgota.
A publicação do Google acrescenta concorrência, dependência de comportamento não determinístico ou indefinido, código instável de terceiros e problemas de infraestrutura. Use as duas listas como checklist quando investigar a causa raiz de um teste que falha.
Corrija as esperas primeiro
Em testes de navegador, o tempo costuma ser o primeiro suspeito. Um teste que clica em um botão antes de ele estar pronto, ou verifica uma mensagem antes de ela aparecer, passa em uma máquina rápida e falha em uma máquina ocupada.
Uma pausa fixa, como "aguardar 5 segundos", é a pior solução. Ela desperdiça tempo quando a página é rápida e continua falhando quando a página é lenta. Fowler descreve o polling como verificar regularmente, não apenas uma vez, e afirma que os limites de tempo nunca devem ser valores literais no teste.
Ferramentas modernas já incorporam isso. A documentação do Playwright sobre actionability lista as verificações feitas antes de cada ação: o elemento precisa estar visível, estável (sua posição não muda entre quadros de animação), habilitado, capaz de receber eventos no ponto do clique e, no caso de digitação, editável. O Playwright espera até que as verificações sejam aprovadas ou falha com um erro de timeout. A página de melhores práticas acrescenta que as asserções web-first repetem a verificação até que a condição seja atendida.
Regras práticas:
- Aguarde uma condição que um usuário poderia ver, como um título ou uma linha, e não um número de segundos.
- Prefira um seletor baseado em papel (role), texto ou ID de teste a caminhos longos de CSS ou XPath, que quebram quando o layout da página muda.
- Defina um timeout generoso para a etapa inteira, em vez de muitas pausas pequenas.
- Verifique o resultado com uma asserção que repete a verificação.
Isole os dados de teste e o ambiente de teste
A segunda grande alavanca são os dados. Dê a cada teste sua própria conta, seu próprio pedido ou sua própria pasta. Não deixe dois testes editarem o mesmo registro. Se os testes precisarem rodar em paralelo, dados compartilhados garantem falhas aleatórias.
Observe também o ambiente. Um sistema de staging compartilhado, para o qual outras equipes fazem deploy no meio da sua execução, causará falhas que nenhuma correção nos testes resolve. Combine janelas de deploy ou execute sua suíte em um ambiente dedicado.
Se uma etapa depender de um serviço externo, pergunte se o teste é sobre esse serviço. Se não for, substitua-o por um stub. Mantenha um pequeno número de testes que usam o serviço real e trate-os como um grupo separado.
Por fim, torne cada falha fácil de diagnosticar. Mantenha o log, uma captura de tela e um trace de cada execução de teste que falhou no seu pipeline de CI. A página de melhores práticas do Playwright sugere coletar um trace na primeira repetição de um teste que falhou, para que você possa reproduzir o que aconteceu em vez de adivinhar. Com log e trace, um teste instável se transforma em um problema claro de fluxo de trabalho que você pode corrigir, como um timeout em uma etapa lenta da interface.
O que fazer com testes que você ainda não consegue corrigir
Alguns testes instáveis exigem mais tempo do que você tem, e outros dependem de código que você não controla. Nesses casos, gerencie-os de forma transparente e mantenha os resultados dos testes estáveis confiáveis.
- Quarentena. Fowler descreve a mudança de testes não determinísticos para uma suíte separada, para que os testes saudáveis continuem dando feedback confiável. Ele acrescenta que testes em quarentena ainda precisam ser corrigidos rapidamente e que você deve limitar quantos podem se acumular ou por quanto tempo podem permanecer nessa condição.
- Repetição com registro. O Google descreve a repetição de testes que falharam e a marcação do teste como instável, de modo que ele só seja reportado como falha após três falhas consecutivas. A publicação afirma que isso dificilmente é uma solução perfeita e alerta que pode facilmente mascarar uma condição de corrida real ou outro bug no código testado.
- Acompanhe a instabilidade dos testes ao longo do tempo. O Google também descreve ferramentas que detectam mudanças no nível de instabilidade de um teste. Até uma lista simples de testes com a taxa de aprovação mostra por onde começar.
Seja qual for a opção, deixe a lista de testes instáveis visível, atribua um responsável a cada teste e defina uma data.
Exemplo: encontrando a causa em três etapas
Os números são fictícios.
Uma suíte tem 200 testes de navegador. Ao longo de duas semanas, 14 deles falham pelo menos uma vez sem nenhuma mudança de código. Isso representa 7 por cento dos testes.
- Agrupe por causa. A equipe lê os logs de falha e classifica os 14 testes. Oito falham por timeout em um botão, quatro falham porque dois testes editam o mesmo registro de cliente e dois falham somente depois de um deploy em staging.
- Corrija o maior grupo. A equipe substitui as pausas fixas (sleeps) dos oito testes de temporização por esperas por condições visíveis. Sete deles deixam de falhar.
- Corrija o grupo seguinte. Cada teste que editava o cliente compartilhado passa a criar o próprio cliente. Os quatro testes deixam de falhar.
Depois da terceira etapa, restam três testes instáveis. A equipe coloca em quarentena os dois testes relacionados ao deploy e atribui a cada um um responsável e um prazo de duas semanas. A parcela instável da suíte cai de 7 para 1,5 por cento, e a equipe a reavalia toda semana.
Erros comuns
- Adicionar pausas fixas. Elas escondem o problema por um tempo e deixam cada execução mais lenta.
- Repetir tudo e seguir em frente. Repetições sem registro escondem defeitos reais, e a causa raiz continua lá.
- Compartilhar dados de teste entre testes. Execuções paralelas transformam isso em falhas aleatórias.
- Testar serviços de terceiros em todos os testes. Substitua-os por stubs quando o serviço não for o foco do teste.
- Deixar a quarentena crescer sem limite. Uma quarentena sem responsável vira um cemitério.
- Culpar a ferramenta primeiro. Verifique temporização, dados e ambiente antes de trocar de framework.
Como o software pode ajudar
Comece com o que o seu framework oferece: espera automática, traces e repetições no CI. Adicione um painel de falhas por teste e por causa, para que os padrões fiquem visíveis. Uma planilha funciona no começo. Ferramentas que usam um agente de IA para executar testes a partir de passos descritos em linguagem natural podem reduzir alguns problemas de temporização, porque o agente decide por quanto tempo esperar, mas trazem riscos próprios, como a interpretação errada de instruções. Faça um piloto com alguns testes e compare a taxa de instabilidade antes de decidir.
Próximo passo
Liste os seus dez testes mais instáveis desta semana, atribua a cada um a causa provável entre as cinco acima e corrija primeiro os problemas de espera. Depois, acompanhe semanalmente a taxa de testes end-to-end instáveis e proteja o valor da sua suíte de testes de regressão com um limite para a quarentena.