Co je testování mutací?

Question

Accepted Answer

**Testování mutací** vyhodnocuje **kvalitu sady testů** tím, že záměrně zavádí malé chyby („mutanty") do kódu a kontroluje, zda je testy **zachytí**. Měří, jak dobré jsou testy ve skutečnosti při detekci defektů — jde dále než pokrytí, které měří pouze provádění.

## Jak funguje testování mutací

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Proč je to lepší než pokrytí

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Úvahy

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Proč to záleží

Porozumění testování mutací je cenné znalosti na úrovni seniors, protože poskytuje **mnohem silnější měřítko kvality testů než pokrytí**, řeší klíčovou slabinu pokrytí, takže je užitečné pro vyhodnocování a zlepšování sad testů.

Základní poznatek je, že **pokrytí měří provádění, ne ověřování** — kód může být "pokryt" (proveden) testy, které ve skutečnosti neověřují jeho chování (slabé nebo chybějící assertion), což dává falešné sebevědomí. **Testování mutací** to řeší měřením, zda testy skutečně **detekují chyby**: zavádí malé záměrné chyby (mutanty) do kódu a kontroluje, zda je testy zachytí (mutant "zabit" selhávajícími testy je dobrý; "přežívající" mutant znamená, že testy tu chybu nezachytily).

**Skóre mutací** (procento zabitých mutantů) je velmi silnějším signálem kvality testů než pokrytí, protože odhaluje, zda testy skutečně ověřují chování — **přežívající mutant odhaluje skutečnou mezeru** (testy provádějí kód, ale neověřují ho dobře, např. slabé assertion nebo neotestované chování), kterou by pokrytí vynechalo.

Rozvíjení tohoto poznatku — že testování mutací odhaluje slabé testy skryté za vysokým pokrytím — je klíčová hodnota, která řeší omezení, že vysoké pokrytí nezaručuje dobré testy.

Porozumění **úvahám** — že je to **výpočetně náročné** (spuštění sady jedenkrát na mutanta, což je pomalé), že "ekvivalentní mutanty" (mutace neměnící chování) jsou falešní přeživší, které je třeba ignorovat, a že existují nástroje (Stryker, PIT, mutmut) — odráží praktické povědomí o tom, kdy a jak to používat (na kritickém kódu, periodicky, nikoli neustále).

Protože kvalita testů skutečně záleží (pouze pokrytí může dát falešné sebevědomí) a testování mutací poskytuje mnohem silnější měřítko kontrolou, zda testy skutečně zachytávají chyby, a protože pochopení toho, jakou má výhodu oproti pokrytí, a jejích praktických úvah je užitečné pro skutečné vyhodnocování a zlepšování sad testů, je porozumění testování mutací cenné znalosti na úrovni seniors — sofistikovaná technika měřování skutečné kvality testů, řešící klíčovou slabinu pokrytí a odrážející hlubší pochopení efektivnosti testů očekávané pro senior pozice zabývající se opravdu kvalitou testů, ne jen čísly pokrytí.