Co to jest mutation testing?

Question

Accepted Answer

**Mutation testing** ocenia **jakość zestawu testów** poprzez celowe wprowadzanie małych błędów ("mutantów") do kodu i sprawdzenie, czy testy **je wyłapią**. Mierzy, jak dobrze testy faktycznie wykrywają defekty — wykraczając poza coverage, który mierzy tylko wykonanie.

## Jak działa mutation testing

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Dlaczego to lepsze niż coverage

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Rozważania

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Dlaczego to ważne

Rozumienie mutation testing to cenna wiedza na poziomie seniora, ponieważ zapewnia **znacznie silniejszą miarę jakości testów niż coverage**, rozwiązując podstawową słabość coverage, co jest przydatne do oceny i doskonalenia zestawów testów.

Fundamentalny wgląd polega na tym, że **coverage mierzy wykonanie, a nie weryfikację** — kod może być "pokryty" (wykonany) przez testy, które w rzeczywistości nie weryfikują jego zachowania (słabe lub brakujące asercje), dając fałszywą pewność. **Mutation testing** rozwiązuje to problem, mierząc, czy testy faktycznie **wykrywają błędy**: wprowadza małe celowe błędy (mutanty) do kodu i sprawdza, czy testy je wyłapią (mutant "zabitty" przez nieudane testy to dobrze; "przeżywający" mutant oznacza, że testy nie wyłapały tego błędu).

**Mutation score** (procent zabitych mutantów) to znacznie silniejszy sygnał jakości testów niż coverage, ponieważ ujawnia, czy testy faktycznie weryfikują zachowanie — **przeżywający mutant ujawnia rzeczywistą lukę** (testy wykonują kod, ale go dobrze nie weryfikują, np. słabe asercje lub nieprzetestowane zachowanie) którą coverage by przeoczył.

Rozumienie tego — że mutation testing ujawnia słabe testy kryujące się za wysokim coverage — to kluczowa wartość, rozwiązująca ograniczenie, że wysokie coverage nie gwarantuje dobrych testów.

Rozumienie **rozważań** — że to jest **obliczeniowo kosztowne** (uruchomienie zestawu raz na mutanta, co jest wolne), że "równoważne mutanty" (mutacje niezmieniające zachowania) to fałszywi przeżywający do zignorowania, i że istnieją narzędzia (Stryker, PIT, mutmut) — odzwierciedla praktyczną świadomość kiedy i jak to używać (na krytycznym kodzie, okresowo, a nie stale).

Ponieważ jakość testów naprawdę ma znaczenie (samo coverage może dać fałszywą pewność) i mutation testing zapewnia znacznie silniejszą miarę poprzez sprawdzenie, czy testy faktycznie wyławiają błędy, i ponieważ zrozumienie tego, jego przewagi nad coverage i jego praktycznych rozważań jest przydatne do prawdziwej oceny i doskonalenia zestawów testów, rozumienie mutation testing to cenna wiedza na poziomie seniora — wyrafinowana technika mierzenia rzeczywistej jakości testów, rozwiązująca podstawową słabość coverage i odzwierciedlająca głębsze zrozumienie efektywności testów spodziewane dla ról seniorskich zajmujących się rzeczywistą jakością testów, a nie tylko liczbami coverage.