Kaj je testiranje mutacij?

Question

Accepted Answer

**Testiranje mutacij** ocenjuje **kvaliteto nabora testov** z namenskim vnašanjem manjših napak ("mutantov") v kodo in preverjanjem, ali testi **te napake zaznajo**. Meri, kako dobri so testi pri odkrivanju napak — presegajoč pokritost, ki meri le izvedbo.

## Kako testiranje mutacij deluje

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Zakaj je boljše od pokritosti

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Razmisleki

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Zakaj je pomembno

Razumevanje testiranja mutacij je dragoceno znanje na visokem nivoju, ker zagotavlja **veliko boljšo mero kvalitete testov kot pokritost**, naslavlja ključno šibkost pokritosti, zato je uporabno za vrednotenje in izboljšanje nabora testov.

Temeljna ideja je, da **pokritost meri izvedbo, ne preverke** — koda je lahko "pokrita" (izvedena) s testi, ki dejansko ne preverjajo njenega vedenja (šibke ali manjkajoče asertcije), kar daje lažno varnost. **Testiranje mutacij** to reši z merjenjem, ali testi dejansko **zaznajo napake**: vnese majhne namenske napake (mutante) v kodo in preveri, ali jih testi ujamejo (mutant "ubita" z neuspešnimi testi je dobro; "preživeti" mutant pomeni, da testi niso ujeli te napake).

**Rezultat mutacije** (odstotek ubitih mutantov) je daleč boljši signal kvalitete testov kot pokritost, ker razkrije, ali testi res preverjajo vedenje — **preživeli mutant razkrije pravo vrzel** (testi izvedejo kodo, vendar je ne preverjajo dobro, npr. šibke asertcije ali netestirano vedenje), ki bi jo pokritost zamudila.

Razumevanje tega — da testiranje mutacij razkrije šibke teste, ki se skrivajo za visoko pokritostjo — je ključna vrednost, naslavljajoč omejitev, da visoka pokritost ne zagotavlja dobrih testov.

Razumevanje **razmislekov** — da je **računsko zahtevno** (izvajanje nabora enkrat na mutanta, kar je počasno), da so "enakovredni mutanti" (mutacije, ki ne spremenijo vedenja) lažni preživeli, ki se jim je treba izogniti, in da obstajajo orodja (Stryker, PIT, mutmut) — odraža praktično zavedanje, kdaj in kako ga uporabiti (na kritični kodi, periodično, ne stalno).

Ker je kvaliteta testov res pomembna (sama pokritost lahko daje lažno varnost) in testiranje mutacij zagotavlja boljšo mero s preverjanjem, ali testi dejansko ujamejo napake, in ker je razumevanje tega, njegove prednosti pred pokritostjo in praktičnih razmislekov koristno za resnično vrednotenje in izboljšanje nabora testov, je razumevanje testiranja mutacij dragoceno znanje na visokem nivoju — tehnike za merjenje resnične kvalitete testov, naslavljajoč ključno šibkost pokritosti, in odraža globlji pogled na učinkovitost testov, pričakovani za vodilne vloge, ki se ukvarjajo z resnično kvaliteto testov, ne le s številkami pokritosti.