O que é teste de mutação?

Question

Accepted Answer

**Teste de mutação** avalia a **qualidade de uma suite de testes** ao introduzir deliberadamente pequenos bugs ("mutantes") no código e verificar se os testes **os detectam**. Ele mede o quão bons os testes realmente são na detecção de defeitos — indo além da cobertura, que apenas mede execução.

## Como funciona o teste de mutação

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Por que é melhor que cobertura

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Considerações

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Por que isso importa

Compreender teste de mutação é conhecimento valioso de nível sênior porque fornece uma **medida muito mais forte da qualidade de testes do que cobertura**, abordando a principal fraqueza da cobertura, tornando-o útil para avaliar e melhorar suites de testes.

O insight fundamental é que **cobertura mede execução, não verificação** — código pode estar "coberto" (executado) por testes que não verificam realmente seu comportamento (asserções fracas ou ausentes), dando confiança falsa. **Teste de mutação** aborda isso medindo se os testes realmente **detectam bugs**: ele introduz pequenos bugs deliberados (mutantes) no código e verifica se os testes os detectam (um mutante "morto" por testes que falham é bom; um mutante "sobrevivente" significa que os testes não detectaram aquele bug).

O **score de mutação** (porcentagem de mutantes mortos) é um sinal muito mais forte da qualidade de testes do que cobertura porque revela se os testes realmente verificam comportamento — um **mutante sobrevivente expõe uma lacuna real** (testes executam o código mas não o verificam bem, por exemplo, asserções fracas ou comportamento não testado) que cobertura perderia.

Compreender isso — que teste de mutação revela testes fracos escondidos atrás de cobertura alta — é o valor-chave, abordando a limitação de que cobertura alta não garante bons testes.

Compreender as **considerações** — que é **computacionalmente cara** (executar a suite uma vez por mutante, tornando-a lenta), que "mutantes equivalentes" (mutações que não mudam comportamento) são sobreviventes falsos a ignorar, e que ferramentas existem (Stryker, PIT, mutmut) — reflete consciência prática de quando e como usá-la (em código crítico, periodicamente, em vez de constantemente).

Como qualidade de testes realmente importa (cobertura sozinha pode dar confiança falsa) e teste de mutação fornece uma medida muito mais forte ao verificar se os testes realmente detectam bugs, e como compreender isso, sua vantagem sobre cobertura e suas considerações práticas é útil para realmente avaliar e melhorar suites de testes, compreender teste de mutação é conhecimento valioso de nível sênior — uma técnica sofisticada para medir qualidade real de testes, abordando a principal fraqueza da cobertura, e refletindo o entendimento mais profundo da efetividade de testes esperado para papéis sênior preocupados com qualidade real de testes, não apenas números de cobertura.