Wat is mutation testing?

Question

Accepted Answer

**Mutation testing** evalueert de **kwaliteit van een test suite** door opzettelijk kleine bugs ("mutanten") in de code in te voeren en te controleren of de tests **deze opvangen**. Het meet hoe goed tests werkelijk zijn in het detecteren van defecten — verder gaan dan coverage, die alleen execution meet.

## Hoe mutation testing werkt

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Waarom het beter is dan coverage

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Overwegingen

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Waarom het belangrijk is

Mutation testing begrijpen is waardevol kennis op senior niveau omdat het een **veel sterkere maatstaf voor test kwaliteit biedt dan coverage**, het belangrijkste zwakke punt van coverage aanpakt, dus nuttig is voor het evalueren en verbeteren van test suites.

De fundamentele inzicht is dat **coverage execution meet, niet verificatie** — code kan "covered" zijn (uitgevoerd) door tests die eigenlijk het gedrag niet verifiëren (zwakke of ontbrekende assertions), wat vals vertrouwen geeft. **Mutation testing** lost dit op door te meten of tests werkelijk **bugs detecteren**: het voert opzettelijk kleine bugs (mutanten) in de code in en controleert of de tests deze opvangen (een mutant "killed" door falende tests is goed; een "overlevende" mutant betekent dat de tests die bug niet hebben opgemerkt).

De **mutation score** (percentage van mutanten dat is doodgemaakt) is een veel sterkere indicatie van test kwaliteit dan coverage omdat het aantoont of tests gedrag werkelijk verifiëren — een **overlevende mutant stelt een echte leemte bloot** (tests voeren de code uit maar verifiëren deze niet goed, bijv. zwakke assertions of niet-geteste gedrag) die coverage zou missen.

Dit begrijpen — dat mutation testing zwakke tests onthult die zich achter hoge coverage verbergen — is de belangrijkste waarde, het beperking aanpakkend dat hoge coverage geen garantie voor goede tests is.

De **overwegingen** begrijpen — dat het **computationeel duur is** (de suite één keer per mutant uitvoeren, wat het traag maakt), dat "equivalente mutanten" (mutaties die gedrag niet veranderen) valse overlevenden zijn om te negeren, en dat tools bestaan (Stryker, PIT, mutmut) — weerspiegelt praktische kennis van wanneer en hoe dit te gebruiken (op kritieke code, periodiek, in plaats van constant).

Omdat test kwaliteit werkelijk belangrijk is (coverage alleen kan vals vertrouwen geven) en mutation testing een veel sterkere maatstaf biedt door te controleren of tests werkelijk bugs opvangen, en omdat het begrijpen ervan, het voordeel ervan ten opzichte van coverage, en de praktische overwegingen nuttig zijn voor werkelijk evalueren en verbeteren van test suites, is mutation testing begrijpen waardevole kennis op senior niveau — een geavanceerde techniek voor het meten van echte test kwaliteit, het belangrijkste zwakke punt van coverage aanpakkend, en weerspiegelend het diepere begrip van test effectiviteit dat verwacht wordt voor senior rollen bezorgd om echte test kwaliteit, niet alleen coverage getallen.