Kafka는 언제 사용해야 하며 언제 사용하지 말아야 합니까?

Question

Accepted Answer

Kafka는 강력하지만 **항상 올바른 도구는 아닙니다** — 대용량 이벤트 스트리밍, 파이프라인, 이벤트 기반 시스템에 뛰어나지만, 더 단순한 도구가 피하는 운영 복잡성을 더합니다. Kafka가 적합한 때(와 과한 때)를 이해하는 것은 건전한 판단을 반영합니다.

## Kafka가 좋은 선택일 때

```text
✓ 대용량 이벤트 스트리밍 / 데이터 → 수백만 이벤트; 높은 처리량 필요
✓ DATA PIPELINES → 여러 시스템 간 데이터를 안정적으로 스트리밍(데이터 백본)
✓ 같은 스트림의 다중 CONSUMER → 여러 독립 consumer/group이 데이터를 읽음
✓ EVENT-DRIVEN 아키텍처 / event sourcing → 이벤트를 내구성 있는 기록으로
✓ REPLAY 필요 → 과거 이벤트 다시 읽기
✓ REAL-TIME 스트림 처리 / 분석
→ Kafka는 확장, 스트리밍, 보존, 다중 consumer에 빛납니다
```

## Kafka가 과할 수 있을 때

```text
⚠️ Kafka는 운영 복잡성을 더함(실행, 튜닝, 모니터링할 분산 클러스터):
  → 단순한 메시징 / 작업 큐 → 더 단순한 큐(RabbitMQ, SQS, Redis)로 충분할 수 있음
  → 낮은 볼륨 → Kafka의 확장이 불필요; 더 단순한 도구가 쉬움
  → 요청/응답, 복잡한 라우팅 → 전통적 큐가 더 적합
  → 단순한 백그라운드 잡 큐만 필요 → Kafka를 쓰지 마세요
→ 기능이 필요 없다면 Kafka의 복잡성을 더하지 마세요(YAGNI)
```

## 선택하기

```text
✓ Kafka의 강점(확장, 스트리밍, 보존, 재생, 다중 consumer)이 필요할 때 Kafka 사용
✓ 더 단순한 도구(RabbitMQ, SQS, Redis, 데이터베이스)로 충분하면 그것을 사용
✓ 사용한다면 운영 부담을 줄이기 위해 MANAGED Kafka(Confluent, MSK) 고려
→ 과대광고가 아니라 실제 요구에 도구를 맞추세요
```

## 왜 중요한가

Kafka를 언제 사용할지(와 언제 사용하지 말지) 이해하는 것은 가치 있습니다. **Kafka는 강력하지만 복잡성을 더하므로** 적절히 사용하는 판단이 건전한 아키텍처 결정에 중요하기 때문입니다.

Kafka는 특정 영역에서 뛰어나지만 만능 해결책은 아니며, 적합한 때와 과한 때를 이해하는 것은 성숙한 판단을 반영합니다.

**Kafka가 좋은 선택일 때**(대용량 이벤트 스트리밍, 데이터 파이프라인, 같은 스트림의 다중 consumer, 이벤트 기반 아키텍처와 event sourcing, 재생 필요, 실시간 스트림 처리)를 이해하면 Kafka의 강점(확장, 스트리밍, 보존, 다중 consumer)이 올바른 선택이 되는 영역이 명확해집니다.

결정적으로, **Kafka가 과할 수 있을 때**를 이해하는 것도 똑같이 중요합니다. Kafka는 상당한 **운영 복잡성**(실행, 튜닝, 모니터링할 분산 클러스터)을 더하므로, 단순한 메시징이나 작업 큐, 낮은 볼륨, 요청/응답, 기본 백그라운드 잡 큐에는 **더 단순한 도구(RabbitMQ, SQS, Redis)로 충분하고 더 쉬운** 경우가 많으며, 기능이 필요 없는데 Kafka의 복잡성을 더하는 것은 과잉 엔지니어링(YAGNI)입니다.

이 균형 잡힌 관점(Kafka의 강력함을 인정하되 그 비용과 더 단순한 도구가 종종 적절함을 인식)은 Kafka가 필요가 아니라 과대광고로 채택되기도 하기에 중요합니다.

**선택하는 방법**(강점이 필요할 때 Kafka 사용, 충분하면 더 단순한 도구 사용, 사용한다면 운영 부담을 줄이기 위해 managed Kafka 고려)을 이해하는 것은 과대광고가 아니라 실제 요구에 도구를 맞추는 것을 반영합니다.

Kafka는 강력하지만 운영 복잡성을 더하므로 항상 올바른 도구는 아니며, 적합한 때(강점)와 더 단순한 도구로 충분한 때(과잉 엔지니어링 회피)를 이해하는 것이 건전한 판단을 반영하고 좋은 아키텍처 결정에 정보를 주므로, Kafka를 언제 사용할지 이해하는 것은 가치 있고 실용적으로 관련된 지식입니다.