Apakah mutation testing?

Question

Accepted Answer

**Mutation testing** menilai **kualiti sesuatu test suite** dengan secara sengaja memperkenalkan pepijat kecil ("mutant") ke dalam kod dan menyemak sama ada ujian **menangkapnya**. Ia mengukur sejauh mana ujian sebenarnya mengesan kecacatan — melangkaui coverage, yang hanya mengukur pelaksanaan.

## Bagaimana mutation testing berfungsi

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Mengapa ia lebih baik daripada coverage

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Pertimbangan

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Mengapa ia penting

Memahami mutation testing adalah pengetahuan peringkat senior yang berharga kerana ia menyediakan **ukuran kualiti ujian yang jauh lebih kuat daripada coverage**, menangani kelemahan utama coverage, jadi ia berguna untuk menilai dan menambah baik test suite.

Wawasan asasnya ialah **coverage mengukur pelaksanaan, bukan pengesahan** — kod boleh "diliputi" (dilaksanakan) oleh ujian yang sebenarnya tidak mengesahkan tingkah lakunya (assertion yang lemah atau hilang), memberikan keyakinan palsu. **Mutation testing** menangani ini dengan mengukur sama ada ujian sebenarnya **mengesan pepijat**: ia memperkenalkan pepijat kecil yang disengajakan (mutant) ke dalam kod dan menyemak sama ada ujian menangkapnya (mutant yang "dibunuh" oleh ujian yang gagal adalah baik; mutant yang "terselamat" bermakna ujian tidak menangkap pepijat itu).

**Mutation score** (peratusan mutant yang dibunuh) ialah isyarat kualiti ujian yang jauh lebih kuat daripada coverage kerana ia mendedahkan sama ada ujian benar-benar mengesahkan tingkah laku — **mutant yang terselamat mendedahkan jurang sebenar** (ujian melaksanakan kod tetapi tidak mengesahkannya dengan baik, cth. assertion lemah atau tingkah laku tidak diuji) yang akan terlepas oleh coverage.

Memahami ini — bahawa mutation testing mendedahkan ujian lemah yang bersembunyi di sebalik coverage yang tinggi — ialah nilai utama, menangani had bahawa coverage yang tinggi tidak menjamin ujian yang baik.

Memahami **pertimbangan** — bahawa ia **mahal dari segi pengiraan** (menjalankan suite sekali bagi setiap mutant, menjadikannya perlahan), bahawa "equivalent mutant" (mutasi yang tidak mengubah tingkah laku) ialah survivor palsu untuk diabaikan, dan bahawa alat wujud (Stryker, PIT, mutmut) — mencerminkan kesedaran praktikal tentang bila dan bagaimana menggunakannya (pada kod kritikal, secara berkala, dan bukan berterusan).

Memandangkan kualiti ujian benar-benar penting (coverage sahaja boleh memberikan keyakinan palsu) dan mutation testing menyediakan ukuran yang jauh lebih kuat dengan menyemak sama ada ujian sebenarnya menangkap pepijat, dan memandangkan memahaminya, kelebihannya berbanding coverage, serta pertimbangan praktikalnya adalah berguna untuk benar-benar menilai dan menambah baik test suite, memahami mutation testing adalah pengetahuan peringkat senior yang berharga — satu teknik canggih untuk mengukur kualiti ujian sebenar, menangani kelemahan utama coverage, dan mencerminkan pemahaman mendalam tentang keberkesanan ujian yang dijangka untuk peranan senior yang prihatin tentang kualiti ujian yang sebenar, bukan sekadar nombor coverage.