Što je testiranje mutacija?

Question

Accepted Answer

**Testiranje mutacija** evaluira **kvalitetu test suite-a** namjerno unoženjem malih grešaka ("mutanata") u kod i provjerom jesu li testovi **detektirali** njih. Mjeri koliko su testovi zapravo dobri u detekciji nedostataka — ide dalje od pokrivenosti, koja mjeri samo izvršavanje.

## Kako funkcionira testiranje mutacija

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Zašto je bolje od pokrivenosti

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Razmatranja

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Zašto je to važno

Razumijevanje testiranja mutacija je vrijedno znanje na višoj razini jer pruža **mnogo jači pokazatelj kvalitete testova od pokrivenosti**, rješavajući ključnu slabost pokrivenosti, pa je korisno za procjenu i poboljšanje test suite-a.

Fundamentalan uvid je da **pokrivenost mjeri izvršavanje, a ne verifikaciju** — kod može biti "pokrivijen" (izvršen) testovima koji zapravo ne verificiraju njegovo ponašanje (slabe ili nedostajuće tvrdnje), dajući lažnu sigurnost. **Testiranje mutacija** rješava ovo mjereći jesu li testovi zapravo **detektirali greške**: unosi male namjerne greške (mutante) u kod i provjerava jesu li testovi uhvatili ih (mutant "ubijen" neuspješnim testovima je dobar; "preživjeli" mutant znači da testovi nisu uhvatili tu grešku).

**Skor mutacije** (postotak ubijenih mutanata) je daleko jači signal kvalitete testova od pokrivenosti jer otkriva jesu li testovi zaista verificirali ponašanje — **preživjeli mutant otkriva stvarnu prazninu** (testovi izvršavaju kod ali ga dobro ne verificiraju, npr. slabe tvrdnje ili neispitano ponašanje) koju bi pokrivenost propustila.

Razumijevanje ovoga — da testiranje mutacija otkriva slabe testove skrivene iza visoke pokrivenosti — je ključna vrijednost, rješavajući ograničenje da visoka pokrivenost ne jamči dobre testove.

Razumijevanje **razmatranja** — da je **računski skupo** (pokretanje suite-a jednom po mutantu, čineći to sporim), da su "ekvivalentni mutanti" (mutacije koje ne mijenjaju ponašanje) lažni preživjeli kojih treba ignorirati, i da alati postoje (Stryker, PIT, mutmut) — reflektira praktičnu svijest o kada i kako ga koristiti (na kritičnom kodu, periodički, umjesto stalno).

Budući da kvaliteta testova zaista matters (pokrivenost samo može dati lažnu sigurnost) i testiranje mutacija pruža mnogo jači pokazatelj provjeravanjem jesu li testovi zaista detektirali greške, i budući da razumijevanje toga, njegova prednosti nad pokrivjenošću, i njegovih praktičnih razmatranja je korisno za stvarnu procjenu i poboljšanje test suite-a, razumijevanje testiranja mutacija je vrijedno znanje na višoj razini — sofisticirana tehnike za mjerenje stvarne kvalitete testova, rješavajući ključnu slabost pokrivenosti, i reflektirajući dublje razumijevanje učinkovitosti testova očekivane za više uloge zabrinute za stvarnu kvalitetu testova, a ne samo brojeve pokrivenosti.