M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

Cobertura de testes para aplicativos de negócios: como acompanhar o que realmente está testado

Disclosure: Cognillo sponsors M365.FM. This page describes the company factually; paid partnerships and links are labelled as advertising.

By · · Updated

O acompanhamento da cobertura de testes de funcionalidades mostra quais funcionalidades de um aplicativo de negócios têm testes e quais não têm. Monte uma matriz de cobertura, interprete as lacunas e mantenha-a atualizada.

Automatically translated with AI from the original post. Read the English original

O acompanhamento da cobertura de testes de funcionalidades responde a uma pergunta simples sobre um aplicativo de negócios: quais funcionalidades têm teste e o que aconteceu na última vez que o teste foi executado? Este guia é para líderes de QA que mantêm testes de aplicativos de linha de negócio e precisam de um panorama claro para as reuniões de lançamento. Você verá como a cobertura de testes no teste de software difere da cobertura de código, como medir a cobertura de testes com uma matriz de cobertura e como mantê-la atualizada. Um exemplo prático, com números fictícios, mostra por que um percentual alto de funcionalidades mapeadas ainda pode esconder lacunas.

Pontos-chave

  • A cobertura de testes pergunta quais funcionalidades, requisitos e casos de uso têm testes, enquanto a cobertura de código apenas mede quanto do código-fonte foi executado durante os testes.
  • Uma matriz de cobertura relaciona cada requisito ou funcionalidade aos casos de teste que o verificam, junto com prioridade, resultados, status e um responsável.
  • Um teste vinculado indica cobertura documentada, não validação bem-sucedida; por isso, acompanhe os resultados por build ao lado dos vínculos.
  • Comece pela lista completa de funcionalidades, incluindo as que não têm testes, porque uma matriz criada apenas a partir dos testes existentes não consegue mostrar o que nunca foi testado.
  • Revise a matriz durante o planejamento, após as alterações e antes das decisões de lançamento, e guarde instantâneos datados como evidência.

O que significa cobertura de testes e o que ela não significa

O artigo da Perforce sobre cobertura de testes versus cobertura de código separa dois conceitos que as equipes costumam confundir.

  • Cobertura de testes trata de funcionalidades e casos de uso. Ela ajuda a verificar se todos os cenários necessários foram considerados, e o artigo a descreve como um bom indicador de risco. Ela é avaliada com base em medidas como especificações, risco, funcionalidade e produto.
  • Cobertura de código é a medição de quanto do código-fonte de uma aplicação foi executado durante os testes, geralmente expressa como percentual de linhas. Ela mostra qual código foi e qual não foi testado.

Em um aplicativo de negócios, como um sistema de pedidos ou um portal de RH, o primeiro conceito normalmente importa mais para quem depende do software. Um gestor pergunta se a aprovação de faturas está testada, e não se a linha 4.200 foi executada.

O mesmo artigo alerta contra interpretar qualquer um dos dois números de forma excessivamente otimista. Cobertura de código não equivale necessariamente à qualidade do código, e cobertura de testes não garante que a aplicação esteja livre de bugs. Se os testes forem fracos, a cobertura também será fraca. Trate a cobertura como um mapa de onde você olhou, não como uma nota.

Acompanhamento da cobertura de testes de funcionalidades em quatro etapas

O guia da TestRail sobre a matriz de rastreabilidade de requisitos descreve um método que pode ser reduzido a quatro etapas para o acompanhamento da cobertura de testes de funcionalidades.

  1. Defina o escopo. Decida qual lançamento ou conjunto de funcionalidades a matriz cobre, e a quais builds e ambientes ela se aplica.
  2. Liste todas as funcionalidades. Reúna a lista completa de itens dentro do escopo a partir de fontes confiáveis e atribua a cada item um ID único e estável. O guia enfatiza a importância de preservar a lista completa, incluindo os itens sem testes. Uma lista criada apenas a partir dos testes existentes não consegue revelar o que nunca foi vinculado.
  3. Mapeie cada item para os seus testes. Vincule cada item aos casos de teste, revisões ou análises que o avaliam, e verifique se essas validações cobrem seus principais critérios de aceitação.
  4. Registre os resultados e revise. Registre o resultado da build relevante, vincule os defeitos aos resultados afetados, acorde o que é considerado verificado e revise a matriz em busca de mapeamentos ausentes e casos desatualizados.

Comece pelos fluxos mais importantes e faça o mesmo para cada nova funcionalidade à medida que ela chega. Cada equipe de QA tem seu próprio fluxo de trabalho, então mantenha os passos leves. Uma matriz pequena e atualizada vale mais do que uma completa em que ninguém confia.

Quando uma equipe decide automatizar uma verificação, o cenário muda só um pouco. Um teste automatizado continua sendo apenas um caso de teste, e a cobertura de automação significa a proporção de funcionalidades mapeadas cujos testes são executados sem a intervenção de um testador. Registre-a em uma coluna separada, ao lado dos casos manuais, para que a equipe veja quanto está automatizado e quanto ainda depende de pessoas. Métricas de cobertura como essas ajudam no planejamento, mas o backlog de funcionalidades de alto risco sem testes é o número que orienta a ação.

O que incluir na matriz de cobertura

O TestRail lista as colunas que uma matriz completa pode conter. Para uma equipe pequena de QA, estas são suficientes:

  • ID do requisito ou da funcionalidade e uma descrição curta.
  • Prioridade ou risco, para que você leia as lacunas na ordem certa.
  • IDs dos casos de teste vinculados, que podem incluir casos manuais e automatizados do seu conjunto de testes end-to-end.
  • Último resultado e build, para que a matriz mostre o que aconteceu e quando.
  • Status, como não coberto, coberto, aprovado, reprovado ou bloqueado.
  • Responsável, a pessoa que responde pela linha.

A PractiTest, em seu artigo sobre a matriz de rastreabilidade de requisitos, descreve a rastreabilidade nos dois sentidos: da funcionalidade para os seus testes e do teste de volta para a funcionalidade que ele suporta. As duas direções ajudam de formas diferentes. A primeira mostra o que uma funcionalidade tem. A segunda mostra por que um teste existe e quais testes revisar quando um requisito muda.

Leia a matriz: lacunas, profundidade e idade

Uma matriz só é útil na medida das perguntas que você faz a ela.

  • Lacunas de mapeamento. Quais funcionalidades não têm nenhum teste vinculado? O TestRail define a cobertura de mapeamento como a proporção de requisitos testáveis no escopo que têm pelo menos um teste vinculado.
  • Lacunas de validação. O TestRail deixa claro que um teste vinculado mostra cobertura documentada, não validação bem-sucedida. Observe o último resultado: o teste foi executado e passou?
  • Profundidade. A PractiTest alerta que é possível testar algo completamente em termos percentuais, mas não necessariamente bem em termos de profundidade. Um único teste por funcionalidade pode ser superficial, e as combinações de requisitos podem ser importantes.
  • Idade. Um teste que não é executado há meses diz pouco sobre a build de hoje. Mostre a data da última execução.
  • Órfãos. Testes que não estão vinculados a nada podem proteger um risco que sua lista de funcionalidades não captura. O TestRail recomenda revisar os testes não vinculados antes de removê-los.

Uma lista curta com os cinco riscos de lacuna mais graves é mais útil em uma reunião de release do que uma tabela com duzentas linhas.

Onde as ferramentas de cobertura de código ainda ajudam

A nota de Martin Fowler sobre cobertura de testes descreve uma ferramenta de cobertura como "uma ferramenta útil para encontrar partes não testadas de uma base de código" e sugere executar essas ferramentas de tempos em tempos para analisar o código não testado. Ele também escreve que a cobertura pouco serve como afirmação numérica sobre a qualidade dos seus testes, porque números altos de cobertura são fáceis demais de alcançar com testes de baixa qualidade. Ele desconfiaria de qualquer coisa próxima de 100 por cento, e considera uma cobertura abaixo de cerca de metade um sinal de problema. Acrescenta que a cobertura é mais útil para quem escreve os testes, porque interpretá-la exige julgamento técnico.

Para um líder de QA, isso sugere uma divisão de trabalho. Na nossa visão, os desenvolvedores leem o relatório de cobertura dos seus testes unitários e de integração, enquanto a equipe de QA lê a matriz de funcionalidades para melhorar a cobertura de testes onde o risco para o negócio é maior, tanto em testes manuais quanto em automação de testes. Nenhum dos dois números, isoladamente, dá confiança para liberar uma versão. Ambos são um mapa dos esforços de teste, não uma prova da qualidade do produto.

Mantenha-a atualizada

Uma matriz desatualizada é pior do que nenhuma, porque as pessoas confiam nela. A TestRail recomenda revisá-la durante o planejamento, após mudanças e antes das decisões de liberação, e manter um snapshot datado quando você precisar das evidências por trás de uma decisão. A empresa também sugere nomear um coordenador e responsáveis pelas solicitações de mudança, atualizações de testes e decisões de verificação. A PractiTest acrescenta que a matriz deve permanecer visível para todos que precisam dela e alerta que cópias de planilhas enviadas por e-mail geram confusão sobre qual versão é a atual.

Mantenha uma única versão compartilhada. Se você usa uma ferramenta de gestão de testes, deixe que ela atualize os links e resultados conforme os testes são executados, para que a matriz não dependa da memória de ninguém. Ela também apoia o seu teste de regressão, pois os links mostram quais testes de regressão executar novamente após uma mudança.

Exemplo: 40 funcionalidades, três números diferentes

Os números são fictícios.

Um líder de QA acompanha 40 funcionalidades de um aplicativo de gestão de pedidos. A matriz mostra três quadros diferentes.

  • Mapeadas: 31 das 40 funcionalidades têm pelo menos um teste vinculado. Isso representa 77,5% de cobertura de mapeamento.
  • Verificadas: dessas 31, 22 passaram na build mais recente. Cinco falharam ou estão bloqueadas, e quatro não são executadas há 90 dias. A cobertura verificada é de 22 de 40, ou 55%.
  • Lacunas: 9 funcionalidades não têm nenhum teste. Três delas são de alto risco: reembolsos, substituições de preço e alterações de funções de usuário.

O líder apresenta ao product owner o segundo número, não o primeiro. A próxima sprint da equipe adiciona testes para as três lacunas de alto risco, corrige os cinco testes que falharam ou estão bloqueados e executa novamente os quatro desatualizados. O percentual do painel sobe, e a confiança por trás dele também. Uma matriz que mostrasse apenas os 77,5% teria escondido o problema.

Erros comuns

  • Considerar a cobertura de código como cobertura de funcionalidades. Linhas executadas não dizem nada sobre funções de negócio não testadas.
  • Montar a matriz apenas a partir dos testes existentes. Assim você nunca verá o que não tem teste.
  • Tratar um link como prova. Mostre o resultado mais recente por build.
  • Perseguir um percentual. Uma meta de 100% incentiva testes superficiais que apenas tocam em cada funcionalidade.
  • Deixar a matriz desatualizar. Revise-a no planejamento, após mudanças e antes da liberação.
  • Manter cópias por e-mail. Várias versões geram discussões sobre qual delas está correta.

Como o software pode ajudar

Uma planilha é um bom começo. Uma ferramenta de gestão de testes pode vincular testes a funcionalidades e atualizar resultados automaticamente, o que economiza a manutenção manual. A Genta by Cognillo é um exemplo. Segundo o fornecedor, ela inclui gestão de casos e suítes de teste com acompanhamento de cobertura de funcionalidades, execuções agendadas e painéis que exportam para Excel, CSV ou PDF. Essas são afirmações do fornecedor e não foram testadas pela M365.FM. Compare com outras opções e verifique como cada ferramenta vincula resultados a requisitos antes de se comprometer.

Divulgação: a Cognillo patrocina o M365.FM.

Próximo passo

Escolha o fluxo de negócio mais importante, liste suas dez funcionalidades e mapeie cada uma delas aos seus testes em uma matriz simples, com o último resultado e a data. Depois, leve as três maiores lacunas para a próxima reunião de liberação e defina quem será responsável pelo acompanhamento da cobertura de testes de funcionalidades a partir de então.

Entities in this article

End-to-end testing Regression testing Genta Automation

Related articles

RSS