Kafka에서 오류와 실패한 메시지를 어떻게 처리합니까?

Question

Accepted Answer

**오류와 실패한 메시지** 처리는 안정적인 Kafka consumer에 중요합니다 — 메시지 처리가 실패할 때 무엇을 할지(재시도, 건너뛰기, 또는 **dead letter queue**로 라우팅) 결정. 적절한 오류 처리는 데이터 유실과 멈춘 consumer를 방지합니다.

## 문제: 처리 실패

```text
consumer가 메시지 처리에 실패할 때(나쁜 데이터, 다운스트림 실패, 버그):
  → 영원히 BLOCKING 재시도 → consumer가 "poison" 메시지에 STUCK(진행 불가)
  → 조용히 건너뛰기 → 데이터 LOSS(메시지 유실)
  → 크래시 → consumer 재시작, 재처리, 다시 멈출 수 있음
→ 의도적인 오류 처리 전략이 필요.
```

## 오류 처리 전략

```text
✓ RETRY(한도와 함께) → 일시적 실패 재시도(백오프와 함께); 하지만 재시도 한도
  (영구적 실패에 영원히 재시도 금지)
✓ DEAD LETTER QUEUE(DLQ) → 재시도 실패 후 메시지를 별도 DLQ TOPIC으로 전송 →
  consumer가 진행(멈추지 않음); DLQ는 나중에 검사/재처리
  → 처리할 수 없는 메시지를 다루는 표준 방법(블로킹 + 유실 회피)
✓ 일시적(재시도) 대 영구적(DLQ/건너뛰기) 실패 구분
✓ 멱등 처리 → 안전한 재시도/재처리(at-least-once → 중복)
```

## 실용적 고려 사항

```text
✓ 나쁜 메시지 하나가 partition을 BLOCK하지 않게(DLQ로 옆으로 치워 → 계속 진행)
✓ 오류와 DLQ 메시지에 LOG/ALERT(가시성 — 실패를 놓치지 말 것)
✓ 수동 offset commit → 무엇이 처리된 것으로 표시되는지 정확히 제어
✓ DLQ 모니터 → 실패한 메시지는 주의 필요(증가하는 DLQ는 문제 신호)
```

## 왜 중요한가

오류와 실패한 메시지를 처리하는 법을 이해하는 것은 가치 있습니다. **적절한 오류 처리는 안정적인 Kafka consumer에 필수적**이므로 중요한 실용 지식이기 때문입니다.

consumer가 메시지 처리에 실패할 때 순진한 처리는 문제를 일으킵니다: 영원히 블로킹 재시도는 consumer를 **"poison" 메시지에 멈추게**(진행 불가) 하고, 조용히 건너뛰기는 **데이터 유실**을 일으키며, 크래시는 재처리와 다시 멈춤으로 이어지므로 의도적인 오류 처리 전략이 필요합니다.

**전략**(**한도와 함께 재시도**(백오프와 함께 일시적 실패 재시도, 영구적 실패에 영원히 재시도하지 않도록 재시도 한도), **dead letter queue(DLQ)** 패턴(재시도 실패 후 메시지를 별도 DLQ topic으로 보내 consumer가 멈추지 않고 진행, DLQ는 나중에 검사하고 재처리 — 처리할 수 없는 메시지를 다루는 표준 방법, 블로킹과 유실을 모두 회피), 일시적(재시도) 대 영구적(DLQ) 실패 구분, 멱등 처리(안전한 재시도))을 이해하는 것은 안정적인 consumer 구축의 핵심 실용 지식입니다.

특히 **DLQ 패턴**은 poison-message 문제의 표준 해결책으로, consumer가 계속 진행하면서 실패한 메시지를 나중에 처리하기 위해 보존하게 합니다.

**실용적 고려 사항**(나쁜 메시지 하나가 partition을 블로킹하지 않게(DLQ로 계속 진행), 오류와 DLQ 메시지에 로깅과 알림(가시성), 제어를 위한 수동 offset commit, DLQ 모니터링(증가하는 DLQ가 문제 신호))을 이해하는 것은 견고한 오류 처리를 반영합니다.

적절한 오류 처리는 순진한 처리가 일으키는 멈춘 consumer(블로킹)와 데이터 유실(조용한 건너뛰기)의 실제 문제를 방지합니다.

적절한 오류 처리(한도와 함께 재시도, dead letter queue, 실패 유형 구분, 멱등성)는 안정적인 Kafka consumer에 필수적이고(멈춘 consumer와 데이터 유실 방지) DLQ 패턴이 표준 해결책이며 이 전략을 이해하는 것이 중요한 실용 지식이므로, Kafka에서 오류와 실패한 메시지를 처리하는 법을 이해하는 것은 가치 있고 실용적으로 관련된 지식입니다.