Kafka에서 메시지 순서는 어떻게 작동합니까?

Question

Accepted Answer

Kafka는 **partition 내에서는 순서를 보장**하지만 **partition 간에는 보장하지 않습니다** — 결정적인 개념. 관련 이벤트의 순서를 얻으려면 같은 partition으로(같은 key를 통해) 라우팅합니다. 순서를 이해하는 것은 정확성에 중요합니다.

## partition별 순서

```text
Kafka는 보장:
  ✓ partition 내 순서 → partition 내 이벤트는 엄격히 순서(offset 기준);
    consumer가 순서대로 읽음
  ✗ partition 간 순서 없음 → 다른 partition의 이벤트는 상대적 순서 보장 없음
    (다른 consumer가 병렬로 처리)
→ 이는 FUNDAMENTAL Kafka 속성(그리고 흔한 오해의 원천)
```

## 관련 이벤트의 순서 얻기

```text
관련 이벤트의 순서를 유지하려면 → 같은 partition으로 전송:
  → 관련 이벤트에 같은 KEY 사용(key → hash → 같은 partition):
    예: orderId=5의 모든 이벤트는 key=5 사용 → 같은 partition → 그 주문의 순서 유지
  → 따라서 엔티티별 순서: 엔티티로 key(userId, orderId, accountId)
→ 순서가 필요한 이벤트가 partition을 공유하도록 key 선택
```

## 트레이드오프와 고려 사항

```text
⚠️ 순서 대 PARALLELISM → key/partition 내 순서가 그 key의 병렬성을 제한
  (한 key의 모든 이벤트를 한 consumer가 순서대로 처리)
⚠️ 몇 가지가 순서를 깸: producer 재시도(idempotence + max.in.flight=1 없이),
  partition 추가(key→partition 매핑 변경)
→ 순서가 필요 없으면 → key 없음(최대 병렬성을 위해 자유롭게 분산)
→ 순서가 필요하면 → 적절히 key; 병렬성 범위를 수용
```

## 왜 중요한가

Kafka에서 메시지 순서를 이해하는 것은 가치 있습니다. **순서는 정확성에 중요한 근본적이고 흔히 오해되는 Kafka 개념**이므로 필수적인 지식이기 때문입니다.

Kafka의 순서 보장은 구체적이며 이해가 결정적입니다.

**partition별 순서**(Kafka가 **partition 내**에서는 순서를 보장(이벤트가 offset으로 엄격히 순서, 순서대로 읽힘)하지만 **partition 간**에는 보장하지 않음(다른 partition의 이벤트가 상대적 순서 없이 병렬로 처리))을 이해하는 것은 근본적인 Kafka 속성이자 **흔한 오해의 원천**(사람들이 종종 전역 순서를 잘못 가정)이므로 이를 올바르게 이해하는 것이 정확성에 필수적입니다.

**관련 이벤트의 순서 얻기**(같은 **key**를 사용해 같은 partition으로 전송(특정 주문이나 사용자의 모든 이벤트처럼 관련 이벤트를 그 엔티티로 key하여 같은 partition으로 보내 순서 유지))를 이해하는 것은 애플리케이션이 필요로 하는 순서 정확성을 달성하는 핵심 실용 기법(key를 통한 엔티티별 순서)입니다.

**트레이드오프와 고려 사항**(key/partition 내 순서가 그 key의 **병렬성을 제한**(한 key의 모든 이벤트를 한 consumer가 순서대로 처리), 몇 가지가 순서를 깸(idempotence와 max.in.flight=1 없는 producer 재시도, key 매핑을 바꾸는 partition 추가), 순서가 필요 없으면 key 없음(최대 병렬성)이지만 필요하면 적절히 key(병렬성 범위 수용))을 이해하는 것은 병렬성을 균형 잡으면서 올바른 순서를 위해 설계하는 데 필요한 미묘한 이해를 반영합니다.

이 순서 지식은 잘못하면(전역 순서 가정, 순서가 필요한 이벤트를 key하지 않음) 실제 정확성 버그를 일으키므로 중요합니다.

순서는 정확성에 중요한 근본적이고 흔히 오해되는 Kafka 개념(partition 내에서만, 관련 이벤트 순서에 key 필요)이고 보장, key를 통한 순서 달성, 트레이드오프(순서 대 병렬성)를 이해하는 것이 필수적이므로, Kafka에서 메시지 순서를 이해하는 것은 가치 있고 필수적인 Kafka 지식입니다.