Mutation testing คืออะไร?

Question

Accepted Answer

**Mutation testing** ประเมิน **คุณภาพของ test suite** โดยการจงใจใส่บั๊กเล็ก ๆ ("mutant") เข้าไปในโค้ดและตรวจสอบว่าเทสต์ **จับมันได้หรือไม่** มันวัดว่าเทสต์ดีแค่ไหนจริง ๆ ในการตรวจจับข้อบกพร่อง — ไปไกลกว่า coverage ที่วัดเพียงการรัน

## Mutation testing ทำงานอย่างไร

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## ทำไมมันจึงดีกว่า coverage

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## ข้อพิจารณา

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## ทำไมจึงสำคัญ

การเข้าใจ mutation testing เป็นความรู้ระดับ senior ที่มีคุณค่าเพราะมันให้ **การวัดคุณภาพของเทสต์ที่แข็งแกร่งกว่า coverage มาก** จัดการกับจุดอ่อนสำคัญของ coverage จึงมีประโยชน์ต่อการประเมินและปรับปรุง test suite

ข้อมูลเชิงลึกพื้นฐานคือ **coverage วัดการรัน ไม่ใช่การตรวจสอบ** — โค้ดสามารถ "ถูกครอบคลุม" (ถูกรัน) โดยเทสต์ที่ไม่ได้ตรวจสอบพฤติกรรมของมันจริง ๆ (assertion ที่อ่อนแอหรือขาดหายไป) ให้ความมั่นใจผิด ๆ **Mutation testing** จัดการสิ่งนี้โดยการวัดว่าเทสต์ **ตรวจจับบั๊ก** ได้จริงหรือไม่: มันใส่บั๊กเล็ก ๆ ที่จงใจ (mutant) เข้าไปในโค้ดและตรวจสอบว่าเทสต์จับมันได้หรือไม่ (mutant ที่ "ถูกฆ่า" โดยเทสต์ที่ล้มเหลวคือสิ่งดี mutant ที่ "รอดชีวิต" หมายความว่าเทสต์ไม่ได้จับบั๊กนั้น)

**Mutation score** (เปอร์เซ็นต์ของ mutant ที่ถูกฆ่า) เป็นสัญญาณของคุณภาพเทสต์ที่แข็งแกร่งกว่า coverage มากเพราะมันเปิดเผยว่าเทสต์ตรวจสอบพฤติกรรมจริง ๆ หรือไม่ — **mutant ที่รอดชีวิตเปิดเผยช่องว่างจริง** (เทสต์รันโค้ดแต่ไม่ตรวจสอบมันอย่างดี เช่น assertion ที่อ่อนแอหรือพฤติกรรมที่ไม่ได้ทดสอบ) ที่ coverage จะพลาด

การเข้าใจสิ่งนี้ — ว่า mutation testing เปิดเผยเทสต์ที่อ่อนแอที่ซ่อนตัวอยู่หลัง coverage สูง — คือคุณค่าสำคัญ จัดการกับข้อจำกัดที่ว่า coverage สูงไม่รับประกันเทสต์ที่ดี

การเข้าใจ **ข้อพิจารณา** — ว่ามัน **มีต้นทุนการคำนวณสูง** (รัน suite หนึ่งครั้งต่อ mutant ทำให้มันช้า) ว่า "equivalent mutant" (mutation ที่ไม่เปลี่ยนพฤติกรรม) คือผู้รอดชีวิตจอมปลอมที่ควรเพิกเฉย และว่ามีเครื่องมือ (Stryker, PIT, mutmut) — สะท้อนความตระหนักในทางปฏิบัติเกี่ยวกับเมื่อใดและอย่างไรควรใช้มัน (กับโค้ดสำคัญ เป็นระยะ ๆ แทนที่จะตลอดเวลา)

เนื่องจากคุณภาพของเทสต์สำคัญจริง ๆ (coverage เพียงอย่างเดียวให้ความมั่นใจผิด ๆ ได้) และ mutation testing ให้การวัดที่แข็งแกร่งกว่ามากโดยการตรวจสอบว่าเทสต์จับบั๊กได้จริงหรือไม่ และเนื่องจากการเข้าใจมัน ข้อได้เปรียบเหนือ coverage และข้อพิจารณาในทางปฏิบัติมีประโยชน์ต่อการประเมินและปรับปรุง test suite อย่างแท้จริง การเข้าใจ mutation testing จึงเป็นความรู้ระดับ senior ที่มีคุณค่า — เทคนิคที่ซับซ้อนสำหรับการวัดคุณภาพเทสต์ที่แท้จริง จัดการกับจุดอ่อนสำคัญของ coverage และสะท้อนความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับประสิทธิภาพของเทสต์ที่คาดหวังสำหรับบทบาท senior ที่ใส่ใจคุณภาพเทสต์ที่แท้จริง ไม่ใช่แค่ตัวเลข coverage