Mutation testing là gì?

Question

Accepted Answer

**Mutation testing** đánh giá **chất lượng của một test suite** bằng cách cố ý đưa vào các lỗi nhỏ ("mutant") trong code và kiểm tra xem các test có **bắt được chúng** không. Nó đo lường test thực sự tốt đến mức nào trong việc phát hiện lỗi — vượt ra ngoài coverage, vốn chỉ đo việc thực thi.

## Mutation testing hoạt động thế nào

```text
1. Một công cụ tạo các thay đổi nhỏ (MUTATION) cho code, vd:
   → đổi + thành -, > thành >=, true thành false, xóa một câu lệnh, đổi một hằng số
   → mỗi mutation = một "lỗi" cố ý (một phiên bản MUTANT của code)
2. Chạy TEST SUITE đối với mỗi mutant:
   → test FAIL → mutant bị "KILLED" (tốt — test bắt được lỗi) ✓
   → test PASS → mutant "SỐNG SÓT" (xấu — test KHÔNG bắt được lỗi) ✗
3. MUTATION SCORE = % mutant bị killed → đo test tốt đến mức nào trong việc bắt lỗi
```

## Tại sao nó tốt hơn coverage

```text
COVERAGE → đo code có được THỰC THI không (không phải hành vi có được xác minh không) → có thể cao với
  test yếu (không assertion thật)
MUTATION TESTING → đo test có thực sự PHÁT HIỆN lỗi không (thay đổi trong hành vi):
  → một mutant sống sót cho thấy một LỖ HỔNG — test thực thi code đó nhưng không xác minh nó tốt
    (assertion yếu/thiếu, hành vi chưa test)
→ Một tín hiệu CHẤT LƯỢNG TEST mạnh hơn nhiều so với coverage.
```

## Lưu ý

```text
✓ Cho thấy test yếu (coverage cao nhưng mutant sống sót = sự tự tin giả)
⚠️ TỐN KÉM TÍNH TOÁN (chạy suite nhiều lần — một lần mỗi mutant) → chậm
⚠️ "Equivalent mutant" (mutation không đổi hành vi) → mutant sống sót giả cần bỏ qua
→ Công cụ: Stryker (JS), PIT (Java), mutmut (Python). Dùng trên code quan trọng; chạy định kỳ.
```

## Tại sao điều này quan trọng

Hiểu mutation testing là kiến thức cấp senior có giá trị vì nó cung cấp một **thước đo chất lượng test mạnh hơn nhiều so với coverage**, giải quyết điểm yếu then chốt của coverage, nên nó hữu ích để đánh giá và cải thiện test suite.

Insight căn bản là **coverage đo việc thực thi, không phải xác minh** — code có thể được "bao phủ" (thực thi) bởi test không thực sự xác minh hành vi của nó (assertion yếu hoặc thiếu), cho sự tự tin giả. **Mutation testing** giải quyết điều này bằng cách đo xem test có thực sự **phát hiện lỗi** không: nó đưa vào các lỗi nhỏ cố ý (mutant) trong code và kiểm tra xem test có bắt chúng không (một mutant "bị killed" bởi test fail là tốt; một mutant "sống sót" nghĩa là test không bắt được lỗi đó). **Mutation score** (phần trăm mutant bị killed) là một tín hiệu chất lượng test mạnh hơn nhiều so với coverage vì nó cho thấy liệu test có thực sự xác minh hành vi không — một **mutant sống sót phơi bày một lỗ hổng thực** (test thực thi code nhưng không xác minh nó tốt, vd assertion yếu hoặc hành vi chưa test) mà coverage sẽ bỏ sót.

Hiểu điều này — rằng mutation testing cho thấy test yếu ẩn sau coverage cao — là giá trị then chốt, giải quyết giới hạn rằng coverage cao không đảm bảo test tốt.

Hiểu **các lưu ý** — rằng nó **tốn kém tính toán** (chạy suite một lần mỗi mutant, làm nó chậm), rằng "equivalent mutant" (mutation không đổi hành vi) là mutant sống sót giả cần bỏ qua, và rằng các công cụ tồn tại (Stryker, PIT, mutmut) — phản ánh nhận thức thực tiễn về khi nào và cách dùng nó (trên code quan trọng, định kỳ, thay vì liên tục).

Vì chất lượng test thực sự quan trọng (chỉ coverage có thể cho sự tự tin giả) và mutation testing cung cấp một thước đo mạnh hơn nhiều bằng cách kiểm tra xem test có thực sự bắt lỗi không, và vì hiểu nó, lợi thế của nó so với coverage, và các lưu ý thực tiễn của nó là hữu ích để thực sự đánh giá và cải thiện test suite, hiểu mutation testing là kiến thức cấp senior có giá trị — một kỹ thuật tinh vi để đo chất lượng test thực, giải quyết điểm yếu then chốt của coverage, và phản ánh hiểu biết sâu hơn về hiệu quả test được kỳ vọng ở các vai trò senior quan tâm đến chất lượng test thực sự, không chỉ con số coverage.