Kafka의 전달 의미론(at-least-once, exactly-once)은 무엇입니까?

Question

Accepted Answer

Kafka는 메시지가 유실되거나 중복될 수 있는지를 결정하는 다양한 **전달 보장**(at-most-once, at-least-once, exactly-once)을 지원합니다. 이를 이해하고 어떻게 달성하는지 아는 것은 안정적인 시스템 구축에 중요합니다.

## 세 가지 전달 의미론

```text
AT-MOST-ONCE → 메시지가 유실될 수 있지만 절대 중복되지 않음:
  → 처리 전 offset commit → 처리 실패 시 메시지를 건너뜀(유실)
  → 가끔의 유실이 허용되고 중복이 안 될 때(드묾)
AT-LEAST-ONCE → 메시지가 절대 유실되지 않지만 중복될 수 있음:
  → 처리 후 offset commit → commit 전 크래시 시 메시지 재처리(중복) → 멱등 처리 필요
  → 흔한 기본값; 안전(유실 없음)하지만 중복 처리 필요
EXACTLY-ONCE → 각 메시지가 정확히 한 번 처리됨(유실 없음, 중복 없음):
  → 가장 강력하지만 가장 어려움; Kafka 트랜잭션 + 멱등 producer 필요
```

## 보장 달성하기

```text
→ AT-LEAST-ONCE → 처리 후 commit; consumer를 멱등하게(dedup key, 멱등 연산으로
  중복을 안전하게 처리) — 실용적이고 흔함
→ EXACTLY-ONCE → Kafka 트랜잭션 API + 멱등 producer(enable.idempotence) →
  produce + offset commit을 원자적으로(Kafka 내 exactly-once, 예: Kafka Streams)
  ⚠️ exactly-once는 복잡하고 오버헤드가 있음 → 종종 AT-LEAST-ONCE + 멱등성이 더 단순하고 충분
```

## 실용 지침

```text
✓ 대부분의 시스템은 AT-LEAST-ONCE + 멱등 처리 사용(단순, 안정적)
✓ 중복이 정말 허용 불가하고 멱등성이 어려울 때 EXACTLY-ONCE 사용
✓ Producer acks(acks=all) → 내구성(produce 측에서 유실 방지)
→ 트레이드오프를 이해하고; 사용 사례가 필요로 하는 보장에 맞게 설계
```

## 왜 중요한가

Kafka의 전달 의미론을 이해하는 것은 가치 있습니다. **전달 보장이 신뢰성을 결정**(메시지가 유실되거나 중복될 수 있는지)하므로 안정적인 시스템 구축에 중요하기 때문입니다.

전달 의미론의 선택은 정확성에 직접 영향을 미칩니다.

**세 가지 전달 의미론**(**at-most-once**: 처리 전 commit으로 유실 가능하나 중복 없음, **at-least-once**: 처리 후 commit으로 유실 없으나 중복 가능하여 멱등 처리 필요(흔한 안전한 기본값), **exactly-once**: 각 메시지가 정확히 한 번 처리되는 가장 강력하나 가장 어려운 것, 트랜잭션과 멱등 producer 필요)을 이해하는 것은 신뢰성 트레이드오프를 이해하는 데 필수적입니다.

**보장을 달성하는 방법**(at-least-once는 처리 후 commit하고 consumer를 **멱등하게** 만드는 것(dedup key와 멱등 연산으로 중복 처리 — 실용적이고 흔함), exactly-once는 Kafka 트랜잭션 API와 멱등 producer를 통한 것(produce와 offset commit을 원자적으로), 다만 exactly-once는 복잡하고 오버헤드가 있는 반면 **at-least-once + 멱등성이 종종 더 단순하고 충분**)을 이해하는 것은 실용적 접근을 반영합니다.

**실용 지침**(대부분의 시스템이 at-least-once + 멱등 처리 사용, 중복이 정말 허용 불가하고 멱등성이 어려울 때만 exactly-once 사용, 내구성을 위한 producer acks)을 이해하는 것은 건전한 설계 판단을 반영합니다.

핵심 통찰은 전달 의미론이 트레이드오프(유실 대 중복 대 복잡성)를 수반하며, 흔하고 실용적인 선택은 at-least-once + 멱등성이라는 것으로, 이는 분산 시스템에서 멱등성의 더 넓은 중요성과 연결됩니다.

전달 보장이 메시지의 유실/중복 여부를 결정하여 신뢰성에 직접 영향을 미치고 의미론, 달성 방법(특히 실용적 기본값인 at-least-once + 멱등성), 트레이드오프를 이해하는 것이 안정적 시스템 구축에 중요하므로, Kafka의 전달 의미론을 이해하는 것은 가치 있고 실용적으로 중요한 Kafka 지식입니다.