Mutation testing क्या है?

Question

Accepted Answer

**Mutation testing** एक test suite की **गुणवत्ता** का मूल्यांकन करती है, code में जानबूझकर छोटे bugs ("mutants") पेश करके और जाँचकर कि tests उन्हें **पकड़ते हैं** या नहीं। यह मापती है कि tests वास्तव में defects का पता लगाने में कितने अच्छे हैं — coverage से आगे जाकर, जो केवल execution मापती है।

## Mutation testing कैसे काम करती है

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## यह coverage से बेहतर क्यों है

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## विचार

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## यह क्यों महत्वपूर्ण है

Mutation testing को समझना valuable senior-level knowledge है क्योंकि यह **coverage की तुलना में test quality का बहुत मजबूत माप** प्रदान करती है, coverage की मुख्य कमज़ोरी को संबोधित करती है, इसलिए यह test suites का मूल्यांकन और सुधार करने के लिए उपयोगी है।

मूलभूत insight यह है कि **coverage execution मापती है, verification नहीं** — code उन tests द्वारा "covered" (executed) हो सकता है जो वास्तव में इसके behavior को सत्यापित नहीं करते (weak या missing assertions), false confidence देते हैं। **Mutation testing** इसे संबोधित करती है यह मापकर कि tests वास्तव में **bugs का पता लगाते हैं** या नहीं: यह code में छोटे जानबूझकर bugs (mutants) पेश करती है और जाँचती है कि tests उन्हें पकड़ते हैं या नहीं (failing tests द्वारा "killed" एक mutant अच्छा है; एक "surviving" mutant का अर्थ है कि tests ने उस bug को नहीं पकड़ा)।

**mutation score** (killed किए गए mutants का प्रतिशत) coverage की तुलना में test quality का कहीं अधिक मजबूत signal है क्योंकि यह बताता है कि tests वास्तव में behavior को सत्यापित करते हैं या नहीं — एक **surviving mutant एक वास्तविक gap उजागर करता है** (tests code को execute करते हैं लेकिन इसे अच्छी तरह सत्यापित नहीं करते, जैसे weak assertions या untested behavior) जिसे coverage चूक जाती।

यह समझना — कि mutation testing high coverage के पीछे छिपे weak tests को उजागर करती है — मुख्य मूल्य है, इस limitation को संबोधित करता है कि high coverage अच्छे tests की गारंटी नहीं देता।

**विचारों** को समझना — कि यह **computationally expensive** है (प्रति mutant एक बार suite चलाना, इसे slow बनाना), कि "equivalent mutants" (behavior न बदलने वाले mutations) नज़रअंदाज़ करने योग्य false survivors हैं, और कि tools मौजूद हैं (Stryker, PIT, mutmut) — इसका उपयोग कब और कैसे करना है (critical code पर, periodically, लगातार के बजाय) इसकी व्यावहारिक जागरूकता को दर्शाता है।

चूँकि test quality वास्तव में मायने रखती है (coverage अकेले false confidence दे सकती है) और mutation testing यह जाँचकर कि tests वास्तव में bugs पकड़ते हैं या नहीं एक बहुत मजबूत माप प्रदान करती है, और चूँकि इसे, coverage पर इसके लाभ को, और इसके व्यावहारिक विचारों को समझना test suites का सच में मूल्यांकन और सुधार करने के लिए उपयोगी है, इसलिए mutation testing को समझना valuable senior-level knowledge है — real test quality मापने के लिए एक sophisticated तकनीक, coverage की मुख्य कमज़ोरी को संबोधित करती है, और test effectiveness की गहरी समझ को दर्शाती है जो genuine test quality की चिंता करने वाले senior roles के लिए अपेक्षित है, केवल coverage numbers नहीं।