Was ist Mutation Testing?

Question

Accepted Answer

**Mutation Testing** bewertet die **Qualität einer Testsuite**, indem bewusst kleine Fehler („Mutanten/Mutations-Varianten„) in den Code eingeführt werden und überprüft wird, ob die Tests sie **erkennen**. Es misst, wie gut Tests tatsächlich darin sind, Defekte zu erkennen — über Coverage hinaus, das nur die Ausführung misst.

## Wie Mutation Testing funktioniert

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Warum es besser als Coverage ist

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Überlegungen

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Warum es wichtig ist

Das Verständnis von Mutation Testing ist wertvolles Wissen auf Senior-Level, da es ein **viel stärkeres Maß für Testqualität als Coverage** bietet und Coverages Schwäche adressiert, sodass es zur Bewertung und Verbesserung von Test-Suites nützlich ist.

Die fundamentale Erkenntnis ist, dass **Coverage Ausführung misst, nicht Verifikation** — Code kann von Tests „abgedeckt