Kafka에서 partitioning 전략을 어떻게 선택합니까?

Question

Accepted Answer

**partitioning 전략**(이벤트가 topic의 partition들에 분배되는 방식)을 선택하는 것은 **순서, 병렬성, 부하 분산**에 영향을 미치는 중요한 Kafka 설계 결정입니다. partition key와 수를 신중히 선택해야 합니다.

## partitioning 작동 방식

```text
producer의 메시지는 다음에 따라 partition으로 감:
  → KEY 있음 → hash(key) → partition 결정(같은 key → 일관되게 같은 partition)
  → key 없음 → partition들에 분산(라운드 로빈 / sticky)
→ KEY 선택이 순서와 분배를 결정
```

## partition key 선택

```text
KEY는 두 가지 핵심을 결정:
  ✓ ORDERING → 같은 key의 모든 이벤트가 같은 partition으로 → 함께 순서 유지
    (예: key=userId → 한 사용자의 모든 이벤트가 순서 유지)
  ✓ DISTRIBUTION → key가 partition들에 고르게 퍼져야(좋은 cardinality) → 균형 부하
함정:
  ✗ 낮은 cardinality / 치우친 key → HOT partition(한 partition 과부하) → 병목
  ✗ 잘못된 순서 범위 → X별 순서가 필요하면 X로 key(하지만 X 내 병렬성 제한)
→ 필요한 순서와 고른 분배를 주는 key 선택
```

## partition 수 선택

```text
✓ 더 많은 partition → 더 많은 consumer 병렬성(처리량), 하지만 더 많은 오버헤드/rebalancing
✓ 성장 계획 → partition 수는 줄이기 어려움; partition 추가는 key→partition 매핑을 깸(순서)
  → 미래 확장을 위해 미리 사이징
✓ 대략적 지침: 최대 consumer 병렬성을 위한 충분한 partition(목표 처리량 / consumer당)
```

## 왜 중요한가

partitioning 전략을 선택하는 법을 이해하는 것은 가치 있습니다. 이는 순서, 병렬성, 부하에 영향을 미치는 **중요한 Kafka 설계 결정**이므로 Kafka topic을 잘 설계하는 데 관련되기 때문입니다.

partitioning은 Kafka의 중심이며, 전략(key와 수)을 선택하는 것이 시스템에 큰 영향을 미칩니다.

**partitioning 작동 방식**(메시지가 key에 따라 partition으로 감(key의 hash, 같은 key가 일관되게 같은 partition으로) 또는 key 없이 라운드 로빈 분산)을 이해하면 메커니즘이 명확해집니다.

**partition key 선택**을 이해하는 것이 핵심 결정입니다. key는 **순서**(같은 key의 모든 이벤트가 같은 partition으로 가서 함께 순서 유지, 예: 사용자 ID로 key하여 사용자 이벤트 순서 유지)와 **분배**(key가 균형 부하를 위해 partition들에 고르게 퍼져야 함)를 결정하며, 낮은 cardinality나 치우친 key가 **hot partition**(과부하, 병목)을 일으키고 잘못된 순서 범위를 선택하는 중요한 함정이 있습니다.

필요한 순서와 고른 분배를 제공하는 key를 선택하라는 지침이 핵심 기술입니다.

**partition 수 선택**(더 많은 partition이 더 많은 consumer 병렬성(처리량)을 가능하게 하나 오버헤드 동반, 성장 계획(partition 수는 줄이기 어렵고 partition 추가가 key-to-partition 매핑과 순서를 깨므로 미래 확장을 위해 미리 사이징), 최대 consumer 병렬성을 위한 대략적 사이징)을 이해하는 것은 확장성에 영향을 미치는 수 결정을 반영합니다.

이 partitioning 결정(순서/분배를 위한 key, 병렬성/성장을 위한 수)은 결과가 크고 나중에 바꾸기 어려워 순서 정확성, 부하 균형, 확장성에 직접 영향을 미치므로 중요합니다.

partitioning은 순서, 병렬성, 부하에 영향을 미치는 중심적이고 결과가 큰 Kafka 설계 결정으로 나중에 바꾸기 어렵고 partition key(순서와 고른 분배, hot partition 회피)와 수(병렬성과 성장)를 선택하는 법을 이해하는 것이 topic을 잘 설계하는 데 중요하므로, partitioning 전략을 선택하는 법을 이해하는 것은 가치 있고 실용적으로 관련된 Kafka 지식입니다.