Apa itu mutation testing?

Question

Accepted Answer

**Mutation testing** mengevaluasi **kualitas dari test suite** dengan sengaja memperkenalkan bug kecil ("mutants") ke dalam kode dan memeriksa apakah test **menangkapnya**. Ini mengukur seberapa baik test sebenarnya dalam mendeteksi cacat — melampaui coverage, yang hanya mengukur eksekusi.

## Bagaimana mutation testing bekerja

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Mengapa lebih baik daripada coverage

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Pertimbangan

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Mengapa ini penting

Memahami mutation testing adalah pengetahuan level senior yang berharga karena memberikan **ukuran kualitas test yang jauh lebih kuat daripada coverage**, mengatasi kelemahan utama coverage, sehingga berguna untuk mengevaluasi dan meningkatkan test suite.

Wawasan fundamental adalah bahwa **coverage mengukur eksekusi, bukan verifikasi** — kode dapat "dicakup" (dieksekusi) oleh test yang tidak benar-benar memverifikasi perilakunya (assertion lemah atau hilang), memberikan kepercayaan diri palsu. **Mutation testing** mengatasi hal ini dengan mengukur apakah test benar-benar **mendeteksi bug**: ini memperkenalkan bug kecil yang disengaja (mutants) ke dalam kode dan memeriksa apakah test menangkapnya (mutant "terbunuh" oleh test yang gagal adalah baik; mutant "bertahan" berarti test tidak menangkap bug itu).

**Skor mutasi** (persentase mutant yang terbunuh) adalah sinyal kualitas test yang jauh lebih kuat daripada coverage karena mengungkapkan apakah test benar-benar memverifikasi perilaku — **mutant yang bertahan mengungkapkan celah nyata** (test mengeksekusi kode tetapi tidak memverifikasinya dengan baik, misalnya assertion lemah atau perilaku yang tidak diuji) yang akan dilewatkan coverage.

Memahami ini — bahwa mutation testing mengungkapkan test lemah yang bersembunyi di balik coverage tinggi — adalah nilai kunci, mengatasi keterbatasan bahwa coverage tinggi tidak menjamin test yang baik.

Memahami **pertimbangan** — bahwa ini adalah **komputasi mahal** (menjalankan suite sekali per mutant, membuatnya lambat), bahwa "mutant setara" (mutasi yang tidak mengubah perilaku) adalah false survivor untuk diabaikan, dan bahwa tool ada (Stryker, PIT, mutmut) — mencerminkan kesadaran praktis tentang kapan dan bagaimana menggunakannya (pada kode kritis, secara berkala, bukan terus-menerus).

Karena kualitas test benar-benar penting (coverage saja dapat memberikan kepercayaan diri palsu) dan mutation testing memberikan ukuran yang jauh lebih kuat dengan memeriksa apakah test benar-benar menangkap bug, dan karena memahaminya, keuntungannya atas coverage, dan pertimbangan praktisnya berguna untuk benar-benar mengevaluasi dan meningkatkan test suite, memahami mutation testing adalah pengetahuan level senior yang berharga — teknik canggih untuk mengukur kualitas test nyata, mengatasi kelemahan utama coverage, dan mencerminkan pemahaman yang lebih dalam tentang efektivitas test yang diharapkan untuk peran senior yang peduli dengan kualitas test sebenarnya, bukan hanya angka coverage.