변이 테스트(mutation testing)란 무엇인가요?

Question

Accepted Answer

**변이 테스트(mutation testing)**는 코드에 작은 버그("변이체, mutant")를 의도적으로 도입하고 테스트가 그것을 **잡아내는지** 확인하여 **테스트 스위트의 품질**을 평가합니다. 테스트가 실제로 결함을 감지하는 데 얼마나 좋은지 측정합니다 — 실행만 측정하는 커버리지를 넘어섭니다.

## 변이 테스트의 동작 방식

```text
1. 도구가 코드에 작은 변경(변이)을 만듦, 예:
   → + 를 - 로, > 를 >= 로, true 를 false 로, 구문 제거, 상수 변경
   → 각 변이 = 의도적인 "버그" (코드의 변이체 버전)
2. 각 변이체에 대해 테스트 스위트 실행:
   → 테스트 실패 → 변이체가 "죽음(killed)" (좋음 — 테스트가 버그 포착) ✓
   → 테스트 통과 → 변이체가 "생존(survived)" (나쁨 — 테스트가 버그를 못 잡음) ✗
3. 변이 점수 = 죽은 변이체 % → 테스트가 버그를 얼마나 잘 잡는지 측정
```

## 커버리지보다 나은 이유

```text
커버리지 → 코드가 실행되었는지 측정 (동작이 검증되었는지 아님) → 약한 테스트로도
  높을 수 있음 (실제 어서션 없음)
변이 테스트 → 테스트가 실제로 버그(동작 변화)를 감지하는지 측정:
  → 생존한 변이체는 틈새를 드러냄 — 테스트가 그 코드를 실행하지만 잘 검증하지 않음
    (약한/누락된 어서션, 테스트 안 된 동작)
→ 커버리지보다 훨씬 강력한 테스트 품질 신호.
```

## 고려사항

```text
✓ 약한 테스트를 드러냄 (높은 커버리지지만 생존 변이체 = 거짓 자신감)
⚠️ 계산 비용 높음 (스위트를 여러 번 실행 — 변이체마다 한 번) → 느림
⚠️ "동등 변이체"(동작을 바꾸지 않는 변이) → 무시할 거짓 생존자
→ 도구: Stryker(JS), PIT(Java), mutmut(Python). 중요 코드에 사용; 주기적으로 실행.
```

## 왜 중요한가

변이 테스트를 이해하는 것은 가치 있는 시니어 레벨 지식입니다. 이는 커버리지의 핵심 약점을 다루며 **커버리지보다 훨씬 강력한 테스트 품질 척도**를 제공하므로, 테스트 스위트를 평가하고 개선하는 데 유용합니다.

근본적 통찰은 **커버리지가 검증이 아니라 실행을 측정**한다는 것입니다 — 코드가 그 동작을 실제로 검증하지 않는 테스트(약하거나 누락된 어서션)에 의해 "커버"(실행)될 수 있어 거짓 자신감을 줍니다. **변이 테스트**는 테스트가 실제로 버그를 **감지하는지** 측정하여 이를 다룹니다: 코드에 작은 의도적 버그(변이체)를 도입하고 테스트가 그것을 잡는지 확인합니다(실패하는 테스트에 의해 "죽은" 변이체는 좋고, "생존한" 변이체는 테스트가 그 버그를 못 잡았음을 의미).

**변이 점수**(죽은 변이체의 백분율)는 테스트가 진정으로 동작을 검증하는지 드러내므로 커버리지보다 훨씬 강력한 테스트 품질 신호입니다 — **생존한 변이체는 실제 틈새를 노출**(테스트가 코드를 실행하지만 잘 검증하지 않음, 예: 약한 어서션이나 테스트 안 된 동작)하며, 이는 커버리지가 놓칠 것입니다.

이것 — 변이 테스트가 높은 커버리지 뒤에 숨은 약한 테스트를 드러낸다는 점 — 을 이해하는 것이 핵심 가치이며, 높은 커버리지가 좋은 테스트를 보장하지 않는다는 한계를 다룹니다.

**고려사항** — **계산 비용이 높음**(변이체마다 스위트를 한 번 실행하여 느림), "동등 변이체"(동작을 바꾸지 않는 변이)는 무시할 거짓 생존자라는 점, 도구가 존재함(Stryker, PIT, mutmut) — 을 이해하는 것은 언제 어떻게 사용할지(끊임없이가 아니라 중요 코드에, 주기적으로)에 대한 실용적 인식을 반영합니다.

테스트 품질은 진정으로 중요하고(커버리지만으로는 거짓 자신감을 줄 수 있음) 변이 테스트가 테스트가 실제로 버그를 잡는지 확인하여 훨씬 강력한 척도를 제공하며, 그것과 커버리지 대비 장점, 실용적 고려사항을 이해하는 것이 테스트 스위트를 진정으로 평가하고 개선하는 데 유용하므로, 변이 테스트를 이해하는 것은 가치 있는 시니어 레벨 지식입니다. 이는 실제 테스트 품질을 측정하는 정교한 기법으로, 커버리지의 핵심 약점을 다루며, 단지 커버리지 숫자가 아니라 진정한 테스트 품질에 관심 있는 시니어 역할에 기대되는 테스트 효과성에 대한 더 깊은 이해를 반영합니다.