M365Con 2027 – conferência online gratuita · 11–22 Jan 2027 · 120 sessions→ m365con.net

Blog · Mirko Peters

A IA pode criar casos de teste a partir de histórias de usuário? O que verificar primeiro

By · · Updated

A IA pode gerar casos de teste a partir de histórias de usuário? Estudos mostram rascunhos rápidos, mas com lacunas. Veja o que verificar primeiro: cobertura, ambiguidade, casos extremos e testes inventados.

Automatically translated with AI from the original post. Read the English original

A IA pode gerar casos de teste a partir de histórias de usuário? Pode, e faz isso em segundos, mas o rascunho precisa de uma verificação cuidadosa antes de entrar na sua suíte de testes. Este guia é para líderes de QA que querem experimentar sem reduzir a qualidade. Você vai ver o que dois estudos publicados encontraram, quais problemas se repetem e uma checklist para revisar um rascunho. Um exemplo prático, com números fictícios, mostra como uma revisão muda um lote de casos de teste gerados.

Pontos-chave

  • A IA pode criar rascunhos de casos de teste a partir de histórias de usuário em segundos ou minutos. Um experimento da Thoughtworks encontrou alta cobertura dos critérios de aceitação declarados, mas a qualidade dependeu de quão clara era a história.
  • O mesmo experimento mediu ambiguidade em cerca de 27% dos casos gerados e cerca de 6% de casos incorretos, por isso a revisão não é opcional.
  • Os estudos descrevem quatro problemas recorrentes: casos irrelevantes ou inventados, casos redundantes, casos extremos ausentes e entradas que não estão totalmente especificadas.
  • Revise cada rascunho em relação aos critérios de aceitação, remova duplicidades, acrescente casos extremos e caminhos negativos e reescreva qualquer passo vago.
  • Trate o modelo como um assistente que redige rascunhos e mantenha uma pessoa responsável pelo que entra na suíte de regressão.

A IA pode gerar casos de teste a partir de histórias de usuário? O que os estudos encontraram

Um artigo da Thoughtworks, AI generated test cases from user stories: an experimental research study, descreve um pequeno experimento. Três engenheiros de QA com três a cinco anos de experiência escreveram casos de teste manuais para nove histórias de usuário. Depois, ferramentas de IA generativa, principalmente o GitHub Copilot, com o ChatGPT como comparação, produziram casos de teste para as mesmas histórias a partir de prompts refinados.

Em média, os casos gerados cobriram 98,67% dos critérios de aceitação e foram consistentes na estrutura. O artigo relata cerca de 4% de duplicidade, cerca de 6% de casos de teste incorretos e uma pontuação de ambiguidade de cerca de 27%. Ele descreve a geração como algo que leva segundos ou minutos, em vez de horas.

As fraquezas foram igualmente claras. A qualidade dependeu muito da qualidade e da especificidade da entrada. As ferramentas tiveram dificuldade com lógica de negócio complexa, encontraram poucos casos extremos sem orientação explícita e fizeram pouco teste não funcional, a menos que fossem solicitadas. Os autores classificam a hipótese como parcialmente validada, afirmam que a supervisão humana continua essencial e observam que a amostra de nove histórias de usuário é pequena.

Um segundo artigo, um estudo no arXiv intitulado Automatic High-Level Test Case Generation using Large Language Models, analisou casos de uso em vez de histórias de usuário, então trate-o como um resultado relacionado. Os autores montaram um conjunto de dados com 1.067 casos de uso e 3.606 casos de teste extraídos de 168 projetos. Em uma avaliação humana, o GPT-4o obteve 3,91 em completude e 3,98 em relevância, contra 4,04 e 4,30 dos casos escritos por humanos. Os autores consideraram o resultado satisfatório, mas afirmam que é necessária uma avaliação humana completa dos casos de teste automatizados.

O que os números mostram e o que não mostram

Cuidado com os percentuais. Os dois estudos declaram seus limites. O experimento da Thoughtworks usou nove histórias de usuário, ferramentas e versões específicas e uma avaliação em parte subjetiva, e não mediu a produtividade no longo prazo. Ele também relata que o ChatGPT se saiu melhor que o GitHub Copilot onde era necessária a interpretação detalhada de prompts, portanto os resultados dependem da ferramenta e do prompt.

No artigo do arXiv, os 26 avaliadores humanos concordaram entre si apenas moderadamente, com um Kappa de Cohen de 0,42, e os participantes formaram uma amostra por conveniência. Os autores também afirmam que uma pontuação automática de similaridade não consegue detectar de forma confiável casos de borda ou negativos ausentes. Por isso defendem a avaliação humana.

O alto índice de cobertura também merece um segundo olhar. Ele mede os critérios que foram escritos. Não consegue mostrar as regras que ninguém escreveu na história, e essas regras ocultas costumam ser onde os defeitos se escondem.

Quatro problemas que continuam aparecendo

O artigo do arXiv identifica quatro problemas recorrentes, e os resultados da Thoughtworks apontam na mesma direção:

  1. Casos irrelevantes. Os autores associam esses casos à alucinação de IA: o modelo produz informações plausíveis, mas incorretas. Um exemplo foi um teste para uma funcionalidade que a aplicação não suportava.
  2. Casos redundantes. Alguns casos repetem outro com uma pequena alteração.
  3. Casos de borda ausentes. Os modelos deixaram de incluir casos que testadores humanos cobriram, como rejeitar um tipo de arquivo não suportado.
  4. Especificação fraca de entradas. Alguns casos gerados deixaram de fora campos de entrada que o teste precisa.

Nenhum desses problemas torna um rascunho inútil. Eles indicam o que você deve observar.

O que verificar primeiro: uma lista de verificação de revisão

A Thoughtworks recomenda revisar a saída antes do uso em produção, verificando-a contra os critérios de aceitação, sinalizando lógica pouco clara e confirmando a cobertura dos casos de borda. Transforme isso em uma lista de verificação para cada lote:

  • Cobertura. Cada critério de aceitação tem pelo menos um caso de teste? Liste os critérios e marque-os um a um.
  • Testes inventados. Cada caso corresponde a algo na história? Remova casos de funcionalidades que não existem.
  • Duplicatas. Una casos que verificam o mesmo comportamento com os mesmos dados.
  • Passos específicos. Cada passo nomeia o elemento e os dados? Reescreva formulações vagas como "insira dados válidos".
  • Resultados esperados. Cada resultado esperado pode ser visto na tela ou em um registro?
  • Casos de borda e caminhos negativos. Adicione entrada vazia, formato incorreto, limites e falhas de permissão.
  • Necessidades não funcionais. Adicione verificações de desempenho, acessibilidade e segurança que a história implica, pois o modelo pode deixá-las de fora.

Para um lote grande, revise uma amostra primeiro. Leia os primeiros dez casos por completo. Se muitos deles falharem na lista de verificação, corrija a história ou o prompt antes de continuar, porque o mesmo defeito vai se repetir no restante. Esta é uma regra prática de trabalho, não um resultado dos estudos.

A geração de casos de teste com IA se encaixa no teste de software como uma etapa de rascunho que vem antes da automação de testes. Uma equipe de QA pode usar IA para criar casos de teste para cada cenário de teste de uma história, verificar a cobertura dos testes em relação aos critérios de aceitação e, então, decidir quais casos transformar em testes automatizados. A ferramenta de IA faz o trabalho de digitação, e a equipe de QA mantém o design dos testes. Usado dessa forma, você pode gerar testes mais rapidamente sem reduzir a qualidade da suíte.

Essa verificação é um trabalho de human-in-the-loop. O testador não redigita o rascunho. O testador o avalia, e esse julgamento é a parte que o modelo não consegue fornecer.

Torne a entrada mais fácil para a IA

A Thoughtworks relata que o prompt evoluiu de um pedido básico para outro que atribuía um papel ao modelo e pedia que ele usasse Given, When, Then quando fizesse sentido. O texto também relata que a cobertura de cenários complexos exigiu bastante trabalho de refinamento do prompt. Três hábitos ajudam:

  1. Escreva critérios de aceitação explícitos. Se a história for vaga, os casos também serão vagos. Corrija a história primeiro.
  2. Adicione contexto. Informe o papel do usuário, a área do produto e as regras que o modelo não consegue adivinhar.
  3. Peça uma estrutura. Use IA com um formato claro: solicite título, pré-condições, passos, dados e resultado esperado para cada caso, e peça que a IA liste as suposições que fez.

Mantenha o prompt livre de segredos e dados de clientes. Use valores de exemplo inventados.

Exemplo: revisando um lote

Os números são fictícios.

Uma equipe entrega dez histórias de usuário a um assistente de IA. Em poucos minutos, ele devolve 60 casos de teste. O líder de QA os revisa junto com o product owner.

  • 6 casos são duplicados, então a equipe os remove.
  • 5 casos testam comportamentos que o produto não tem, então a equipe também os remove. Restam 49.
  • 7 dos 49 casos restantes têm passos ou resultados vagos, então a equipe os reescreve.
  • 9 casos de borda e caminhos negativos estão faltando, então a equipe os acrescenta manualmente.

A suíte final tem 58 casos de teste. A revisão levou cerca de três horas, enquanto escrever os 58 do zero talvez tivesse levado um dia inteiro. A equipe mantém as notas de revisão, registra quais tipos de caso foram rejeitados e usa essas informações para melhorar o prompt no próximo sprint. O ganho é real, mas vem da revisão e não apenas do modelo.

Erros comuns

  • Aceitar o lote sem ler. Duplicados e casos inventados entram na suíte e corroem a confiança nela.
  • Medir o sucesso pelo número de casos. Mais casos não significam mais cobertura.
  • Alimentar o modelo com histórias vagas. Entrada ruim gera saída ruim.
  • Esquecer os casos de borda e as verificações não funcionais. Os estudos mostram que os modelos tendem a deixá-los de fora.
  • Colocar dados privados nos prompts. Use valores fictícios e siga a sua política de dados.
  • Pular o vínculo com os critérios de aceitação. Sem ele, você não consegue demonstrar o que está coberto.

Como o software pode ajudar

Uma planilha ou a sua ferramenta de gestão de testes pode manter, lado a lado, os critérios, os casos gerados e o status da revisão. Marque cada caso como aceito, reescrito ou rejeitado, e mantenha as contagens, para que, após alguns sprints, você conheça a sua própria taxa de rejeição. Uma ferramenta de revisão de código ou um documento compartilhado ajuda testers e product owners a revisar juntos. Se você usar um assistente de IA, escolha um que permita controlar o prompt e ver toda a saída. Para casos no nível do navegador, uma ferramenta de testes ponta a ponta em linguagem simples pode então executar os passos aprovados. Faça um piloto em uma equipe antes de expandir.

Próximo passo

Pegue uma história de usuário finalizada, peça a uma ferramenta de IA que gere casos de teste e confira o rascunho com a checklist acima. Conte o que você remove, reescreve e acrescenta, e use esses números para decidir até que ponto deixar a IA gerar casos de teste a partir de histórias de usuário na sua equipe.

Entities in this article

Generative AI AI hallucination Human in the loop End-to-end testing

Related articles

RSS