Desenvolvimento, staging e produção: como executar testes automatizados em cada ambiente com segurança
Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.
By Mirko Peters · · Updated
Como executar testes automatizados em staging e em produção com segurança: o que executar em cada ambiente, como configurar URLs base e segredos e como proteger dados reais de clientes.
Automatically translated with AI from the original post. Read the English original
Para executar testes automatizados em staging e em produção com segurança, dê a cada ambiente uma função diferente: a suíte completa de regressão em staging e apenas um conjunto pequeno e somente leitura em produção. Este guia é para líderes de QA que precisam testar com mais frequência sem colocar em risco clientes ou dados reais. Você verá para que serve cada ambiente, o que executar em cada um, como configurar URLs e segredos, como tratar os dados de teste e quais barreiras de proteção definir. Um exemplo prático, com números fictícios, mostra uma divisão que uma equipe pequena pode replicar.
Pontos-chave
- Cada ambiente tem uma função: o desenvolvimento oferece feedback rápido, o staging é a verificação final antes da liberação e a produção é o sistema ativo do qual os usuários reais dependem.
- Execute a suíte completa de regressão, incluindo os testes destrutivos, em staging, e limite a produção a um smoke test pequeno e somente leitura, além de monitores agendados.
- Dê a cada ambiente sua própria URL base, seus próprios timeouts e sua própria política de novas tentativas, e mantenha as credenciais fora do código de teste e do repositório.
- Use dados sintéticos ou mascarados em staging e contas de teste dedicadas em produção, mantendo-as fora de faturamento, análises e relatórios de clientes.
- Crie primeiro as barreiras de proteção: monitoramento, plano de rollback, ações somente leitura e feature flags. Nunca trate a produção como sua primeira linha de defesa.
Para que serve cada ambiente
O guia da Flagsmith sobre boas práticas para ambientes de teste descreve quatro ambientes.
- Desenvolvimento prioriza feedback rápido em vez de realismo. Os desenvolvedores trabalham localmente ou em um sandbox compartilhado.
- Testes ou QA é um espaço controlado para testes funcionais, de integração e de regressão em uma versão do build.
- Staging é configurado para se parecer o máximo possível com produção e serve como a verificação final antes da liberação.
- Produção é o ambiente ativo com o qual os usuários interagem.
Juntos, esses ambientes formam o caminho de uma liberação pelo gerenciamento do ciclo de vida de aplicações: o código passa de um ambiente para o seguinte, e cada etapa é uma chance de encontrar problemas a um custo baixo.
O mesmo guia faz dois pontos que importam para a automação. Primeiro, quanto mais o ambiente de teste se aproxima da produção, mais confiança você pode ter no que ele mostra, e essa paridade deve incluir sistemas operacionais, versões de dependências e configuração de rede, e não apenas o código da aplicação. Segundo, os ambientes de teste não devem compartilhar bancos de dados, credenciais ou infraestrutura com a produção nem entre si. Um teste que acessa o banco de dados errado é a forma mais rápida de transformar uma execução de testes em um incidente.
Em um pipeline de DevOps, cada implantação pode disparar um conjunto diferente de testes automatizados. Após um merge, a implantação no ambiente de teste executa verificações rápidas. A implantação na etapa seguinte, o staging, executa a suíte completa, e a liberação aguarda o resultado. Testes automatizados em cada etapa oferecem feedback rápido, e você só automatiza a passagem de uma etapa para a outra quando as verificações são aprovadas. A mesma abordagem funciona independentemente de os testes de interface usarem Selenium, Playwright ou outra ferramenta.
Como executar testes automatizados em staging e produção
O artigo da TestDino Playwright Staging vs Production: What to Run Where apresenta uma divisão clara, e ela se aplica a qualquer ferramenta.
Em staging, execute a suíte completa de regressão. Isso inclui testes destrutivos que excluem contas ou esvaziam carrinhos, testes de desempenho e de carga, testes de regressão visual e testes de migração de banco de dados. Use credenciais de sandbox ou de modo de teste para serviços de terceiros. Staging é o lugar para todo teste que grava dados ou simula um caso extremo.
Em produção, execute uma pequena suíte de smoke test dos caminhos críticos, algo em torno de cinco a dez fluxos segundo o artigo, além de monitores sintéticos agendados, aproximadamente a cada cinco a quinze minutos. Adicione verificações de integridade de APIs somente leitura e outras verificações leves semelhantes. A regra do artigo é rigorosa: todo teste no sistema em produção deve ser somente leitura ou usar contas de teste completamente isoladas.
Essa divisão está alinhada com a ideia por trás dos testes de ponta a ponta. Jornadas no navegador são lentas e às vezes instáveis, então mantenha a lista longa para staging e deixe apenas as jornadas mais importantes rodarem contra o sistema em produção. Marque os testes, por exemplo como smoke ou destrutivo, para que a execução em produção exclua o grupo destrutivo por regra, e não por memória.
Configure cada ambiente sem expor segredos
Trate cada ambiente como uma configuração separada. A TestDino sugere definir um projeto separado por ambiente no Playwright, cada um com sua própria URL base, timeout e quantidade de tentativas. No exemplo dela, staging permite novas tentativas e produção não, e produção captura traces e vídeos apenas em caso de falha. A ideia funciona em outras ferramentas também.
Regras para configuração e segredos:
- Mantenha as credenciais fora dos arquivos de configuração. Carregue os valores específicos de cada ambiente a partir de arquivos de ambiente excluídos do controle de versão, e versione apenas um arquivo de modelo que liste os nomes das variáveis.
- Use o cofre de segredos da plataforma de CI nos pipelines. O artigo recomenda obter os segredos nas configurações de ambiente do CI, e não em arquivos.
- Valide as variáveis antes da execução. Uma URL base ausente causa erros confusos, então verifique se todas as variáveis obrigatórias estão definidas antes do primeiro teste começar.
- Coloque o escopo de produção na configuração. Filtre os testes de produção no arquivo de configuração, e não apenas em parâmetros de linha de comando que alguém pode esquecer.
- Versione a definição do ambiente. A Flagsmith recomenda gerenciar a configuração dos ambientes sob controle de versão, para que alterações não rastreadas não causem divergências e falhas inexplicáveis.
Use uma conta separada para cada ambiente e dê a cada conta o menor acesso que seus testes precisam.
Dados de teste: sintéticos em staging, isolados em produção
Os dados são o segundo ponto em que testes seguros e inseguros se separam.
- Staging: use dados sintéticos, anonimizados ou semeados. A Flagsmith recomenda espelhar cenários do mundo real com dados sintéticos, mascarar ou anonimizar qualquer dado de produção que for copiado e atualizar os dados de teste em uma agenda, em vez de deixá-los desatualizados.
- Produção: ela contém dados reais e sensíveis de clientes. A TestDino recomenda contas de teste dedicadas, excluídas da cobrança e das análises, e que nunca aparecem em relatórios voltados aos clientes. Se a aplicação lida com dados regulamentados, ela sugere locatários de teste dedicados com dados sintéticos.
- Dados únicos por execução: gere valores exclusivos para cada execução, por exemplo com um timestamp, e prepare o estado por meio de uma chamada de API, em vez de pela tela.
- Limpeza: se um teste precisar criar um registro, exclua-o depois por meio de uma chamada de API.
O guia da BugBug sobre testes em produção acrescenta um alerta sobre danos irreversíveis. Os exemplos do que não fazer incluem casos extremos de pagamento com cartões reais, migrações de dados sem backup e limites de permissão testados com usuários reais.
Salvaguardas antes de testar no sistema em produção
A regra central da BugBug é que testes em produção só funcionam quando as salvaguardas vêm primeiro. A lista dela é curta e prática:
- Monitoramento para que falhas sejam identificadas rapidamente, inclusive as falhas causadas pelos próprios testes.
- Ações somente leitura sempre que possível, como verificar uma página em vez de enviar um formulário. Pare antes de ações finais, como confirmar um pedido.
- Feature flags para expor uma mudança a um grupo pequeno, ampliar o público aos poucos e desligá-la sem um novo deploy. O guia também alerta sobre flags esquecidas, que acabam se transformando em dívida técnica.
- Um plano de rollback definido antes do teste, porque rollbacks devem ser rotineiros, não heroicos.
- Detecção, não diagnóstico. Use testes em produção para sinalizar um problema e encontre a causa raiz em outro ambiente.
O guia deixa os limites claros: produção é o ciclo final de feedback, não a primeira linha de defesa, e testar em produção não é desculpa para pular o QA.
Exemplo: uma divisão para uma suíte de 120 testes
Os números são fictícios.
Uma equipe tem 120 testes de navegador e um único ambiente de homologação. Hoje, a suíte inteira roda em homologação antes de cada release, e nada roda depois que o release entra no ar.
O líder de QA organiza três grupos. Todos os 120 testes permanecem em homologação, incluindo 18 marcados como destrutivos. Um grupo de smoke com 8 testes somente leitura cobre login, busca, abertura de uma fatura e download de um relatório. Ele roda no sistema em produção após cada release e depois a cada 15 minutos, usando uma conta de teste dedicada, sem acesso ao faturamento. Um terceiro grupo, com 4 verificações de saúde de API, roda a cada 5 minutos.
Duas semanas depois, o grupo de smoke falha às 2 da manhã porque a senha da conta de teste expirou. O alerta vai para o engenheiro de plantão, que vê no log que a causa está na conta, não na aplicação. A equipe move a senha para o cofre de segredos do CI, com uma data de rotação definida. Nenhum cliente foi afetado, e a equipe aprendeu que os testes em produção precisam de um responsável.
Erros comuns
- Executar a suíte completa em produção. Testes destrutivos e de escrita pertencem à homologação.
- Compartilhar banco de dados ou credenciais entre ambientes. Uma URL errada pode então afetar dados reais.
- Commitar senhas ou tokens no repositório de testes. Use um cofre de segredos e um arquivo com placeholders.
- Usar contas reais de clientes como contas de teste. Use contas dedicadas, mantidas fora do faturamento e da análise de dados.
- Pular o plano de rollback. Decida como você vai desfazer uma mudança ruim antes de testá-la.
- Deixar a homologação divergir da produção. Testes que passam em uma configuração diferente dizem pouco.
Como o software pode ajudar
Comece pelo que seu sistema de CI e seu framework de testes oferecem: projetos por ambiente, um cofre de segredos, execuções agendadas e tags. Acrescente uma ferramenta de monitoramento que emita alertas quando verificações em produção falharem. Algumas plataformas de teste reúnem essas partes. A Genta by Cognillo é um exemplo: segundo o fornecedor, ela oferece suporte a ambientes como desenvolvimento, homologação e produção, com variáveis criptografadas, execuções agendadas e um log de auditoria. Essas são declarações do fornecedor e não foram testadas pela M365.FM. Compare-a com outras opções em um piloto e verifique como cada ferramenta armazena os segredos e quem pode lê-los.
Divulgação: a Cognillo patrocina a M365.FM.
Próximo passo
Liste seus ambientes e anote, para cada um, quais testes podem rodar ali, qual conta usam e onde ficam os segredos. Depois, tire um teste destrutivo da produção e use essa lista para executar testes automatizados em homologação e em produção, com regras claras.