Τι είναι το mutation testing;

Question

Accepted Answer

**Mutation testing** αξιολογεί την **ποιότητα ενός test suite** εισάγοντας σκόπιμα μικρά bugs ("mutants") στον κώδικα και ελέγχοντας αν τα tests **τα ανιχνεύουν**. Μετρά πόσο καλά τα tests ανιχνεύουν πραγματικά ελαττώματα — πηγαίνοντας πέρα από την κάλυψη, η οποία μετρά μόνο την εκτέλεση.

## Πώς λειτουργεί το mutation testing

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Γιατί είναι καλύτερο από την κάλυψη

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Σημαντικά σημεία

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Γιατί είναι σημαντικό

Η κατανόηση του mutation testing είναι πολύτιμη γνώση senior-level επειδή παρέχει ένα **πολύ ισχυρότερο μέτρο ποιότητας test από την κάλυψη**, αντιμετωπίζοντας το κύριο μειονέκτημα της κάλυψης, οπότε είναι χρήσιμο για την αξιολόγηση και βελτίωση των test suites.

Η θεμελιώδης ιδέα είναι ότι **η κάλυψη μετρά την εκτέλεση, όχι την επαλήθευση** — ο κώδικας μπορεί να είναι "καλυμμένος" (εκτελεσμένος) από tests που δεν επαληθεύουν πραγματικά τη συμπεριφορά του (ασθενείς ή λειπόντες assertions), δίνοντας ψευδή αυτοπεποίθηση. **Mutation testing** αντιμετωπίζει αυτό μετρώντας αν τα tests ανιχνεύουν πραγματικά bugs: εισάγει μικρά σκόπιμα bugs (mutants) στον κώδικα και ελέγχει αν τα tests τα ανιχνεύουν (ένα mutant "σκοτωθεί" από failing tests είναι καλό; ένα "επιζών" mutant σημαίνει ότι τα tests δεν ανίχνευσαν το bug).

Η **mutation score** (ποσοστό των mutants που σκοτώθηκαν) είναι ένα πολύ ισχυρότερο σήμα ποιότητας test από την κάλυψη επειδή αποκαλύπτει αν τα tests επαληθεύουν πραγματικά τη συμπεριφορά — ένα **επιζών mutant εκθέτει ένα πραγματικό κενό** (τα tests εκτελούν τον κώδικα αλλά δεν τον επαληθεύουν καλά, π.χ. ασθενείς assertions ή μη δοκιμασμένη συμπεριφορά) που η κάλυψη θα παραλείψει.

Η κατανόηση αυτού — ότι το mutation testing αποκαλύπτει ασθενείς tests που κρύβονται πίσω από υψηλή κάλυψη — είναι η κύρια αξία, αντιμετωπίζοντας τον περιορισμό ότι η υψηλή κάλυψη δεν εγγυάται καλά tests.

Η κατανόηση των **σημαντικών σημείων** — ότι είναι **υπολογιστικά δαπανηρό** (εκτέλεση της suite μία φορά ανά mutant, κάνοντάς το αργό), ότι τα "equivalent mutants" (μεταλλάξεις που δεν αλλάζουν τη συμπεριφορά) είναι ψευδείς επιζώντες προς αγνόηση, και ότι υπάρχουν εργαλεία (Stryker, PIT, mutmut) — αντανακλά πρακτική συνειδητοποίηση για πότε και πώς να το χρησιμοποιήσει κανείς (σε κρίσιμο κώδικα, περιοδικά, όχι συνεχώς).

Επειδή η ποιότητα test έχει πραγματικά σημασία (η κάλυψη μόνη της μπορεί να δώσει ψευδή αυτοπεποίθηση) και το mutation testing παρέχει ένα πολύ ισχυρότερο μέτρο ελέγχοντας αν τα tests ανιχνεύουν πραγματικά bugs, και επειδή η κατανόηση αυτού, του πλεονεκτήματός του έναντι της κάλυψης, και των πρακτικών του σημαντικών σημείων είναι χρήσιμη για την αληθινή αξιολόγηση και βελτίωση των test suites, η κατανόηση του mutation testing είναι πολύτιμη γνώση senior-level — μια sophisticated τεχνική για τη μέτρηση πραγματικής ποιότητας test, αντιμετώπιση του κύριου μειονεκτήματος της κάλυψης, και αντανάκλαση της βαθύτερης κατανόησης της αποτελεσματικότητας test που αναμένεται για senior ρόλους που ασχολούνται με την πραγματική ποιότητα test, όχι μόνο αριθμούς κάλυψης.