Kas yra mutacijų testavimas?

Question

Accepted Answer

**Mutacijų testavimas** įvertina **testo paketo kokybę** sąmoningai į kodą įvesdamas nedidelius klaidas („mutantus") ir tikrindamas, ar testai juos **sugauna**. Jis matuoja, kaip gerai testai iš tikrųjų sugeba aptikti defektus — peržengiamasis šialyje tik vykdymą matuojančios padengties.

## Kaip mutacijų testavimas veikia

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Kodėl tai geriau nei padengties

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Svarbios sąvokos

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Kodėl tai svarbu

Supratimas apie mutacijų testavimą yra vertinga aukšto lygio žinių, nes jis suteikia **daug stipresnį testo kokybės matą nei padengties**, sprendžiant padengtės pagrindinį trūkumą, todėl jis naudingas testuotų paketų vertinimui ir tobulinimui.

Esminė mintis yra ta, kad **padengitis matuoja vykdymą, o ne verifikaciją** — kodą gali „padengti" (vykdyti) testai, kurie iš tikrųjų nepatvirtina jo veikimo (silpnos arba trūkstamos asertu), suteikdami klaidinančią pasitikėjimą. **Mutacijų testavimas** tai sprendžia, matuodamas, ar testai iš tikrųjų **sugauna klaidas**: jis į kodą įveda nedidelius sąmoningus klaidų (mutantus) ir tikrina, ar testai juos sugauna (mutantas "nužudytas" nesėkmingų testų yra geras; "išlikęs" mutantas reiškia, kad testai nesugavo tos klaidos).

**Mutacijos rezultatas** (sumuštų mutantų procentas) yra daug stipresnis testo kokybės signalas nei padengitis, nes jis atskleidžia, ar testai iš tikrųjų patikrina elgesį — **išlikęs mutantas atskleidžia tikrą spragą** (testai vykdo kodą, bet jo nepatvirtina gerai, pvz., silpnos asertu arba nepatikrintas elgesys), kurią padengitis praeitų pro šalį.

Supratimas apie tai — kad mutacijų testavimas atskleidžia silpnus testus, paslėptus už aukštos padengties — yra pagrindinė vertė, sprendžiant apribojimą, kad aukšta padengitis negarantuoja gerų testų.

Supratimas apie **svarbias sąvokas** — kad tai **skaičiavimo atžvilgiu brangu** (paketą vykdant kartą per mutantą, todėl tai lėta), kad "ekvivalentiniai mutantai" (mutacijos nekeičiančios elgesio) yra klaidingos išlikę ir ignoruotinos, ir kad egzistuoja įrankiai (Stryker, PIT, mutmut) — atspindi praktinį supratimą, kada ir kaip jį naudoti (svarbiam kodui, periodiškai, o ne nuolat).

Kadangi testo kokybė iš tikrųjų svarbi (padengitis vienas gali suteikti klaidinančią pasitikėjimą) ir mutacijų testavimas suteikia daug stipresnį matą tikrinant, ar testai iš tikrųjų sugauna klaidas, ir kadangi jį supratimas, jo pranašumas prieš padengti ir jo praktines svarstymus yra naudingas tiksliai testuotų paketų kokybei ir tobulinimui, mutacijų testavimo supratimas yra vertinga aukšto lygio žinių — išorinė technika tikrajai testo kokybei matuoti, sprendžiant padengtės pagrindinį trūkumą ir atspindint gilesnį testo efektyvumo supratimą, kurio tikimasi aukšto lygio vaidmenims, suinteresuotams tikra testo kokybe, o ne tik padengties skaičiais.