불안정한 테스트(flaky test)란 무엇이며 어떻게 다루나요?

Question

Accepted Answer

**불안정한 테스트(flaky test)**는 코드 변경 없이 **일관되지 않게 통과하거나 실패하는** 테스트입니다 — 같은 코드에서 때로는 통과하고 때로는 실패합니다. 테스트 스위트에 대한 신뢰를 침식하므로 심각한 문제입니다. 그 원인과 해결책을 이해하는 것이 중요합니다.

## flaky test란 무엇이며 왜 해로운가

```text
FLAKY 테스트는 같은 코드에서 일관되지 않은 결과를 냄(때로 통과, 때로 실패):
  → 해로움: 신뢰 침식 — 사람들이 실패를 무시하기 시작 ("아, 그냥 flaky야") →
    진짜 실패도 놓치게 됨
  → 거짓 경보/재실행에 시간 낭비; CI 깨짐; 전체 스위트에 대한 자신감 감소
→ flaky 테스트가 모든 테스트를 불신하게 만든다면, 테스트가 없는 것보다 나쁘다.
```

## 흔한 원인

```text
✗ 타이밍 / async → 경쟁 조건; async 작업을 제대로 기다리지 않음 (UI/E2E 테스트의
  최대 원인); 임의의 sleep
✗ 순서 의존 → 테스트가 서로에/공유된 가변 상태에 의존
✗ 외부 의존성 → 실제 네트워크/서비스 (네트워크 끊김, 레이트 리밋, 다운타임)
✗ 비결정성 → 시간/날짜, 무작위성, 타임존, 로케일
✗ 테스트 환경 → 남은 상태, 정리되지 않은 데이터, 동시성/병렬성 문제
```

## flaky test 수정 및 관리

```text
✓ 근본 원인 수정: (sleep이 아닌) 조건을 기다림; 테스트를 독립적으로 만들고 상태 정리;
  외부 의존성 mock; 시간/무작위성 통제 (주입)
✓ 적절한 격리 보장 (공유 상태 없음, 순서 의존 없음)
✓ 무작정 재시도 금지 (문제를 숨김) — 조사하고 고쳐라
✓ 지속적으로 flaky한 테스트는 격리(quarantine)하여 차단하지 않게 하되 고치는 중
✓ 불안정성을 심각하게 취급 — 추적하고 해결 (전체 스위트를 저하시킴)
```

## 왜 중요한가

불안정한 테스트와 그것을 다루는 방법을 이해하는 것은 중요합니다. **flaky 테스트는 전체 테스트 스위트의 가치를 약화시키는 심각하고 흔한 문제**이므로, 가치 있는 실용 지식입니다.

flaky 테스트(같은 코드에서 일관되지 않게 통과하거나 실패)는 특히 해롭습니다. **신뢰를 침식**하기 때문입니다: 테스트가 예측 불가하게 실패하면 사람들이 실패를 무시하기 시작하고("그냥 flaky야"), 이는 곧 **진짜 실패도 놓치게 됨**을 의미합니다 — 그래서 불안정성은 전체 스위트에 대한 자신감을 저하시켜 잠재적으로 쓸모없는 것보다 나쁘게 만듭니다.

이 해로움을 이해하는 것이 불안정성을 심각하게 취급하도록 동기를 부여합니다.

**흔한 원인** — **타이밍/async 문제**(경쟁 조건, async 작업을 제대로 기다리지 않음, 임의의 sleep — 특히 UI/E2E 테스트의 최대 원인), **순서 의존**(테스트가 서로나 공유 상태에 의존), **외부 의존성**(끊김과 다운타임이 있는 실제 네트워크/서비스), **비결정성**(시간, 무작위성, 타임존, 로케일), **환경 문제**(남은 상태, 동시성) — 을 이해하는 것이 불안정성을 진단하는 데 필요합니다.

그것들을 **수정하고 관리하는** 방법 — 근본 원인 수정(sleep 대신 조건을 기다림, 테스트를 독립적이고 깨끗하게 만듦, 외부 의존성 mock, 시간과 무작위성 통제), 격리 보장, **무작정 재시도하지 않기**(문제를 숨김), 지속적으로 flaky한 테스트를 고치는 동안 격리, 불안정성을 추적하고 해결할 심각한 문제로 취급 — 을 이해하는 것은 올바른 접근을 반영합니다.

flaky 테스트는 테스트 스위트에 대한 신뢰와 가치를 약화시키는 흔하고 심각한 문제이고(많은 실제 프로젝트의 실제 이슈) 그 원인과 적절한 처리(근본 원인 수정, 격리, 단순 재시도가 아님)를 이해하는 것이 신뢰할 수 있는 테스트 스위트를 유지하는 데 필요하므로, 불안정한 테스트를 이해하는 것은 가치 있고 실용적으로 중요한 지식입니다. 이는 중대한 실제 테스팅 문제를 다루며, 테스트 스위트를 신뢰할 수 있고 믿을 수 있게 유지하는 데 중요하고, 테스팅의 가장 답답하고 해로운 이슈 중 하나를 다루는 실용적 성숙도를 반영합니다.