ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ ਕੀ ਹੈ?

Question

Accepted Answer

**ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ** ਕੋਡ ਵਿੱਚ ਜਾਣ-ਬੁੱਝ ਕਰਕੇ ਛੋਟੀਆਂ ਖਾਮੀਆਂ ("mutants") ਪ੍ਰਵੇਸ਼ ਕਰਾ ਕੇ ਅਤੇ ਇਹ ਜਾਂਚ ਕਰਕੇ ਕਿ ਟੈਸਟ ਉਨ੍ਹਾਂ ਨੂੰ **ਫੜਦੇ ਹਨ** ਜਾ ਨਹੀਂ, **ਟੈਸਟ ਸਿਟ ਦੀ ਕੁਆਲਿਟੀ** ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਪਦਾ ਹੈ ਕਿ ਟੈਸਟ ਅਸਲ ਵਿੱਚ ਨੁਕਸ ਨੂੰ ਖੋਜਣ ਵਿੱਚ ਕਿਸ ਹੱਦ ਤਕ ਚੰਗੇ ਹਨ — coverage ਤੋਂ ਪਰੇ ਜਾ ਕੇ, ਜੋ ਸਿਰਫ਼ execution ਨੂੰ ਮਾਪਦਾ ਹੈ।

## ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## ਇਹ ਕਵਰੇਜ ਤੋਂ ਬਿਹਤਰ ਕਿਉਂ ਹੈ

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## ਸਮਝਣਯੋਗ ਗੱਲਾਂ

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## ਇਹ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ ਨੂੰ ਸਮਝਣਾ ਸੀਨੀਅਰ-ਲੈਵਲ ਜ੍ਞਾਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ **coverage ਨੂੰ ਟੈਸਟ ਕੁਆਲਿਟੀ ਦਾ ਬਹੁਤ ਮਜ਼ਬੂਤ ਮਾਪ** ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, coverage ਦੀ ਮੁੱਖ ਕਮਜ਼ੋਰੀ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਟੈਸਟ ਸਿਟ ਦਾ ਮੁਲਾਂਕਣ ਅਤੇ ਸੁਧਾਰ ਕਰਨ ਲਈ ਲਾਭਦਾਇਕ ਹੈ।

ਬੁਨਿਆਦੀ ਸੰਦੇਸ਼ ਇਹ ਹੈ ਕਿ **coverage execution ਨੂੰ ਮਾਪਦਾ ਹੈ, verification ਨਹੀਂ** — ਕੋਡ ਨੂੰ "cover" ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ (executed) ਟੈਸਟਾਂ ਦੁਆਰਾ ਜੋ ਅਸਲ ਵਿੱਚ ਇਸ ਦੇ ਵਿਵਹਾਰ ਦੀ ਪੁਸ਼ਟੀ ਨਹੀਂ ਕਰਦੇ (ਕਮਜ਼ੋਰ ਜਾ ਗੁੰਮ assertions), ਭ੍ਰਮ ਭਰੀ ਭਰੋਸਾ ਦਿੰਦੇ ਹੋਏ। **ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ** ਇਸ ਨੂੰ ਇਸ ਦੁਆਰਾ ਹੱਲ ਕਰਦੀ ਹੈ ਕਿ ਇਹ ਮਾਪਦੀ ਹੈ ਕਿ ਕੀ ਟੈਸਟ ਅਸਲ ਵਿੱਚ **ਖਾਮੀਆਂ ਨੂੰ ਖੋਜਦੇ ਹਨ**: ਇਹ ਕੋਡ ਵਿੱਚ ਛੋਟੀਆਂ ਜਾਣ-ਬੁੱਝ ਖਾਮੀਆਂ (mutants) ਪ੍ਰਵੇਸ਼ ਕਰਾਉਂਦਾ ਹੈ ਅਤੇ ਜਾਂਚਦਾ ਹੈ ਕਿ ਕੀ ਟੈਸਟ ਉਨ੍ਹਾਂ ਨੂੰ ਫੜਦੇ ਹਨ (ਇੱਕ mutant ਨੂੰ ਫਲਸੀ ਟੈਸਟਾਂ ਦੁਆਰਾ "kill" ਕੀਤਾ ਗਿਆ ਬਾਅਦ ਵਿੱਚ ਚੰਗਾ ਹੈ; ਇੱਕ "surviving" mutant ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਟੈਸਟ ਨੇ ਉਸ ਖਾਮੀ ਨੂੰ ਨਹੀਂ ਫੜਿਆ)।

**ਮਿਊਟੇਸ਼ਨ ਸਕੋਰ** (ਮਾਰੇ ਗਏ mutants ਦਾ ਪ੍ਰਤੀਸ਼ਤ) coverage ਨਾਲੋਂ ਟੈਸਟ ਕੁਆਲਿਟੀ ਦਾ ਕਿਤੇ ਮਜ਼ਬੂਤ ਸੰਕੇਤ ਹੈ ਕਿਉਂਕਿ ਇਹ ਪ੍ਰਕਟ ਕਰਦਾ ਹੈ ਕਿ ਟੈਸਟ ਅਸਲ ਵਿੱਚ ਵਿਵਹਾਰ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦੇ ਹਨ — ਇੱਕ **surviving mutant ਇੱਕ ਅਸਲ ਖਾਲੀ ਥਾਂ ਨੂੰ ਪ੍ਰਕਟ ਕਰਦਾ ਹੈ** (ਟੈਸਟ ਕੋਡ ਨੂੰ execute ਕਰਦੇ ਹਨ ਪਰ ਇਸ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ verify ਨਹੀਂ ਕਰਦੇ, ਜਿਵੇਂ ਕਮਜ਼ੋਰ assertions ਜਾ untested ਵਿਵਹਾਰ) ਕਿ coverage ਖੁਆ ਦੇਵੇਗਾ।

ਇਹ ਸਮਝਣਾ — ਕਿ ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ ਕਮਜ਼ੋਰ ਟੈਸਟਾਂ ਨੂੰ ਉੱਚ coverage ਦੇ ਪਿੱਛੇ ਛੁਪੇ ਹੋਏ ਪ੍ਰਕਟ ਕਰਦੀ ਹੈ — ਇਹੀ ਮੂਲ ਮੁੱਲ ਹੈ, coverage ਦੀ ਸੀਮਾ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹੋਏ ਕਿ ਉੱਚ coverage ਚੰਗੇ ਟੈਸਟਾਂ ਦੀ ਗ੍ਰੈਂਟੀ ਨਹੀਂ ਦਿੰਦਾ।

**ਸਮਝਣਯੋਗ ਗੱਲਾਂ** ਨੂੰ ਸਮਝਣਾ — ਕਿ ਇਹ **ਕੰਪਿਉਟੇਸ਼ਨਲ ਮਨਦਰਜਾ ਪੂਰੀ ਹੈ** (ਪ੍ਰਤੀ mutant ਲਈ ਸਿਊਟ ਚਲਾਉਣਾ, ਇਸ ਨੂੰ ਸਮੇ ਕੰਸੂਮਿੰਗ ਬਣਾਉਂਦਾ ਹੈ), ਕਿ "equivalent mutants" (mutations ਜੋ ਵਿਵਹਾਰ ਨਹੀਂ ਬਦਲਦੇ) ਨੂੰ ignore ਕਰਨ ਲਈ ਸ਼ੀਸ਼ੇ ਦੀ ਜਮਾਧਿਕਾਰ ਹਨ, ਅਤੇ ਕਿ ਟੂਲਸ ਮੌਜੂਦ ਹਨ (Stryker, PIT, mutmut) — ਵਿਹਾਰਕ ਜਾਗਰੂਕਤਾ ਨੂੰ ਪ੍ਰਤੀਬਿੰਬਿਤ ਕਰਦਾ ਹੈ ਕਿ ਇਸ ਨੂੰ ਕਦੋਂ ਅਤੇ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ (ਮਹੱਤਵਪੂਰਨ ਕੋਡ ਉੱਤੇ, ਪੀਰੀਅਡਿਕਲੀ, ਬਜਾਏ ਸਬੰਧਾਂ ਦੀ ਸ਼ਮ)।

ਕਿਉਂਕਿ ਟੈਸਟ ਕੁਆਲਿਟੀ ਅਸਲ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਹੈ (coverage ਅਕੇਲੇ ਭ੍ਰਮ ਭਰੀ ਭਰੋਸਾ ਦੇ ਸਕਦਾ ਹੈ) ਅਤੇ ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ ਇਹ ਜਾਂਚ ਕਰਕੇ ਬਹੁਤ ਮਜ਼ਬੂਤ ਮਾਪ ਫਰਨਾਵਿੱਚ ਕਿ ਟੈਸਟ ਅਸਲ ਵਿੱਚ ਖਾਮੀਆਂ ਨੂੰ ਫੜਦੇ ਹਨ, ਅਤੇ ਕਿਉਂਕਿ ਇਸ ਨੂੰ ਸਮਝਣਾ, ਇਸ ਦਾ ਫਾਇਦਾ coverage ਤੋਂ ਤੁੱਤ ਹੋਣਾ, ਅਤੇ ਇਸ ਦੀ ਵਿਹਾਰਕ ਸਮਝ ਲਾਭਦਾਇਕ ਹੈ ਟੈਸਟ ਸਿਟਾਂ ਨੂੰ ਸੱਚਮੁੱਚ ਮੁਲਾਂਕਣ ਕਰਨ ਅਤੇ ਸੁਧਾਰਨ ਲਈ, ਮਿਊਟੇਸ਼ਨ ਟੈਸਟਿੰਗ ਨੂੰ ਸਮਝਣਾ ਸੀਨੀਅਰ-ਲੈਵਲ ਜ੍ਞਾਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ — ਅਸਲ ਟੈਸਟ ਕੁਆਲਿਟੀ ਨੂੰ ਮਾਪਣ ਲਈ ਇੱਕ ਡੂੰਘੀ ਤਕਨੀਕ, coverage ਦੀ ਮੁੱਖ ਕਮਜ਼ੋਰੀ ਨੂੰ ਹੱਲ ਕਰਦੇ ਹੋਏ, ਅਤੇ ਸੀਨੀਅਰ ਰੋਲਾਂ ਲਈ ਟੈਸਟ effectiveness ਦੀ ਡੂੰਘੀ ਸਮਝ ਦੀ ਉਮੀਦ ਕਰਦੇ ਹੋਏ, coverage ਨੰਬਰਾਂ ਦੀ ਬਜਾਏ ਅਸਲ ਟੈਸਟ ਕੁਆਲਿਟੀ ਨਾਲ ਚਿੰਤਤ ਬਗੈਰ।