Kafka에서 exactly-once 처리는 어떻게 작동합니까?

Question

Accepted Answer

**exactly-once 의미론(EOS)**은 실패와 재시도가 있어도 각 메시지가 정확히 한 번 처리되도록 보장합니다 — 유실 없음, 중복 없음. Kafka는 **멱등 producer**와 **트랜잭션**을 통해 이를 달성하지만, 복잡하고 오버헤드가 있습니다.

## 과제

```text
exactly-once는 분산 시스템에서 어려움(실패, 재시도, 중복이 불가피):
  → producer 재시도 → 중복 메시지; consumer 재처리 → 중복 효과
  → 순진한 at-least-once → 중복; at-most-once → 유실
→ exactly-once는 유실과 중복을 둘 다 피하기 위해 신중한 메커니즘이 필요.
```

## Kafka가 exactly-once를 달성하는 방식

```text
1. 멱등 PRODUCER(enable.idempotence=true):
  → producer가 재시도를 중복 제거(partition별 시퀀스 번호) → 재시도로 같은 메시지를
    두 번 보내도 한 번만 기록(재시도로 인한 중복 없음)
2. 트랜잭션:
  → 쓰기(와 consumer offset commit)를 원자적 트랜잭션으로 묶음 → 모두 성공 또는 롤백
  → "consume-process-produce"를 원자적으로: 읽기, 처리, 결과 쓰기 + offset commit을
    함께 → 파이프라인 전반의 exactly-once(Kafka 내)
→ Kafka Streams는 종단 간 exactly-once 처리에 이를 사용
```

## 범위와 트레이드오프

```text
⚠️ exactly-once는 KAFKA 내(Kafka로의 consume-process-produce):
  → 외부 부수 효과(예: 외부 DB 쓰기, API 호출)는 다루지 않음 →
    그것에는 여전히 멱등성 필요
⚠️ 오버헤드 있음(트랜잭션, 조정) → 성능 비용
→ 종종 AT-LEAST-ONCE + 멱등 처리가 더 단순하고 충분 → 정말 필요할 때만 exactly-once
  (중복 허용 불가하고 멱등성이 어려울 때)
```

## 왜 중요한가

Kafka에서 exactly-once 처리가 어떻게 작동하는지 이해하는 것은 가치 있는 시니어 수준 지식입니다. **exactly-once는 중요하지만 흔히 오해되는 보장**이므로 그것이 어떻게 작동하고 그 한계가 무엇인지 이해하는 것이 더 깊은 Kafka 지식을 반영하기 때문입니다.

exactly-once 의미론(실패에도 유실 없음, 중복 없음)은 바람직하지만 재시도와 중복이 불가피한 분산 시스템에서 진정으로 어려우며, Kafka가 이를 어떻게 달성하는지(와 그 한계)를 이해하는 것은 정교한 지식입니다.

**과제**(exactly-once가 불가피한 실패와 재시도에도 유실과 중복을 둘 다 피해야 함)를 이해하면 왜 어려운지 알 수 있습니다.

**Kafka가 달성하는 방식**(**멱등 producer**(시퀀스 번호로 재시도를 중복 제거하여 재시도로 인한 중복이 한 번 기록됨)와 **트랜잭션**(쓰기와 offset commit을 원자적으로 묶어 "consume-process-produce" 패턴 가능 — 읽기, 처리, 결과 쓰기와 offset commit이 원자적으로, Kafka 내 파이프라인 전반의 exactly-once), Kafka Streams가 종단 간 exactly-once에 이를 사용)을 이해하면 메커니즘을 알 수 있습니다.

결정적으로, **범위와 트레이드오프**를 이해하는 것이 더 깊고 정확한 이해를 반영합니다. exactly-once는 **Kafka 내**(Kafka로의 consume-process-produce)이므로 **외부 부수 효과**(외부 데이터베이스 쓰기, API 호출)는 **다루어지지 않고** 여전히 자체 멱등성이 필요합니다 — 흔히 오해되는 한계입니다.

그리고 exactly-once는 **오버헤드**(트랜잭션, 조정)가 있으므로 **at-least-once + 멱등 처리가 종종 더 단순하고 충분**하며, exactly-once는 중복이 정말 허용 불가하고 멱등성이 어려울 때를 위해 남겨둡니다.

이 균형 잡힌 이해(exactly-once가 어떻게 작동하는지, 그 실제 범위(Kafka 내, 외부 아님), 종종 불필요함을 아는 것)는 exactly-once가 모든 중복 우려를 해결한다는 흔한 오해를 피하는 정확하고 정교한 Kafka 지식을 반영합니다.

exactly-once는 중요하지만 흔히 오해되는 보장이며 Kafka가 이를 어떻게 달성하는지(멱등 producer, 트랜잭션), 그 실제 범위(Kafka 내, 외부 부수 효과 아님), 언제 실제로 필요한지를 이해하는 것이 더 깊고 정확한 Kafka 지식을 반영하므로, Kafka에서 exactly-once 처리가 어떻게 작동하는지 이해하는 것은 가치 있는 시니어 수준 지식입니다.