Kafka 사용 시 흔한 함정과 실수는 무엇입니까?

Question

Accepted Answer

Kafka는 강력하지만 **흔한 함정**이 있습니다 — partitioning, 순서, consumer 동작, 전달 의미론, 운영에 대한 오해와 실수. 이를 이해하면 문제를 피하고 Kafka를 올바르게 사용하는 데 도움이 됩니다.

## 설계와 partitioning 함정

```text
✗ 너무 적은 partition → consumer 병렬성 제한(partition 수 넘어 소비 확장 불가);
  너무 많음 → 오버헤드, rebalancing 고통 → partition 수를 신중히 계획
✗ 잘못된 PARTITION KEY → 고르지 않은 분배(hot partition) 또는 잘못된 순서 범위 →
  고른 분배와 필요한 순서를 위한 key 선택
✗ 전역 순서 기대 → Kafka는 partition 내에서만 순서(흔한 오해)
✗ partition 추가는 key→partition 매핑을 바꿈 → key의 순서를 깨뜨림(주의)
```

## Consumer와 처리 함정

```text
✗ CONSUMER LAG 무시 → consumer가 모르게 뒤처짐 → 증가하는 지연
✗ 중복 미처리 → at-least-once는 중복을 의미 → 멱등 처리 필요
  (매우 흔한 실수 — 멱등성 없이 exactly-once를 가정)
✗ 느린 처리가 consumer 블로킹 → lag/rebalance 유발; 긴 처리 → rebalance 문제
✗ 잦은 REBALANCE → 느린 처리/타임아웃에서 → 소비 중단(튜닝, 최적화)
✗ 부적절한 offset commit → 재처리 또는 메시지 유실
```

## 운영과 사용 함정

```text
✗ 단순 큐로 충분한데 Kafka 사용 → 불필요한 복잡성(과잉 엔지니어링)
✗ 디스크/보존 무시 → 디스크가 가득 참(심각한 실패)
✗ under-replication / 약한 내구성 구성(acks=1) → 실패 시 데이터 유실
✗ 모니터링 없음; Kafka를 단순하게 취급(복잡한 분산 시스템임)
✗ Kafka 미보안(개방 접근)
→ Kafka의 모델을 이해하여 이 흔한 실수를 피하세요
```

## 왜 중요한가

Kafka의 흔한 함정을 이해하는 것은 가치 있는 시니어 수준 지식입니다. **흔한 실수를 인식하고 피하는 것이 Kafka를 올바르게 사용하는 데 도움**이 되므로 실제 Kafka 사용에 실용적으로 중요하기 때문입니다.

Kafka는 강력하지만 실제 문제를 일으키는 많은 미묘한 함정이 있으며, 이를 아는 것이 이 실수를 피하는 데 도움이 됩니다.

**설계와 partitioning 함정**(너무 적은 partition(병렬성 제한)이나 너무 많음(오버헤드), 잘못된 partition key(hot partition 또는 잘못된 순서), 전역 순서 기대(Kafka가 partition 내에서만 순서이므로 흔한 오해), partition 추가가 key-to-partition 매핑을 깨뜨림(순서 영향))을 이해하면 빈번하고 결과가 큰 partitioning과 순서 실수를 피하는 데 도움이 됩니다.

**consumer와 처리 함정**(consumer lag 무시(consumer가 모르게 뒤처짐), **중복 미처리**(매우 흔한 실수, at-least-once 전달이 멱등 처리를 요구하는 중복을 의미하므로 — 멱등성 없이 exactly-once를 가정하는 것이 빈번한 오류), 느린 처리가 lag과 rebalance 유발, 잦은 rebalance, 부적절한 offset commit)을 이해하면 lag, 중복, 재처리 문제를 일으키는 consumer 측 실수를 피하는 데 도움이 됩니다.

**운영과 사용 함정**(단순 큐로 충분한데 Kafka 사용(과잉 엔지니어링), 디스크/보존 무시(디스크 가득), 약한 내구성 구성(acks=1로 데이터 유실 위험), 모니터링 없음, Kafka 미보안)을 이해하면 운영과 판단 실수를 피하는 데 도움이 됩니다.

이 함정들(특히 순서 오해, 중복 처리, consumer lag, Kafka 과용에 대한 흔한 것들)을 아는 것이 Kafka를 올바르게 사용하고 많은 사용자를 잡는 실제 문제를 피하는 데 도움이 됩니다.

이 인식은 실용적 Kafka 경험을 반영합니다.

Kafka는 실제 문제를 일으키는 많은 미묘하고 흔한 함정(partitioning/순서 오해, 중복 처리, consumer lag, 과용, 운영 실수)이 있고 이를 인식하고 피하는 것이 Kafka를 올바르게 사용하는 데 도움이 되므로, Kafka의 흔한 함정을 이해하는 것은 가치 있는 시니어 수준 지식입니다.