partition은 Kafka 설계의 핵심으로, 병렬성과 확장성(데이터와 소비의 분산)을 가능하게 하면서 각 partition 내에서의 순서 보장을 제공합니다. partition을 이해하는 것은 Kafka가 어떻게 확장하고 이벤트를 정렬하는지 이해하는 열쇠입니다.
topic은 여러 PARTITION으로 분할되어 broker들에 분산됨:
→ 데이터가 partition들에 분산됨 → 저장과 부하 분산
→ CONSUMER 병렬성 → 각 partition을 group 내 한 consumer가 소비 →
더 많은 partition = 더 많은 병렬 consumer = 더 높은 처리량
→ partition(과 consumer)을 추가하여 topic 확장
→ partition은 Kafka에서 PARALLELISM과 수평 확장의 단위입니다
Kafka는 partition 내 순서를 보장(partition 간은 아님):
→ partition 내 이벤트는 엄격히 순서가 있음(offset 기준)
→ 서로 다른 partition의 이벤트는 전역 순서 보장이 없음
→ 관련 이벤트의 순서를 유지하려면 → 같은 partition으로 전송(같은 KEY 사용):
→ 예: 사용자 X의 모든 이벤트는 key=X 사용 → 같은 partition → 해당 사용자의 순서 보장
→ 더 많은 partition → 더 많은 병렬성/처리량, 하지만:
→ 순서는 각 partition 내에서만(전역 아님)
→ 더 많은 오버헤드(파일, leader election); rebalancing 영향
→ 필요에 따라 partitioning 설계: 병렬성 대 순서 범위
→ 필요한 순서를 제공하면서 고른 분배를 주는 partition KEY 선택
partition이 어떻게 확장성과 순서를 가능하게 하는지 이해하는 것은 기본적입니다. partition은 Kafka 설계의 핵심으로 확장 방식과 이벤트 정렬 방식을 모두 결정하므로 필수적인 Kafka 지식이기 때문입니다.
partition은 Kafka의 가장 중요한 두 속성의 열쇠입니다.
partition이 병렬성과 확장을 가능하게 하는 방식(topic이 broker들에 분산된 partition으로 분할되어 저장과 부하를 분산하며, 각 partition을 group 내 한 consumer가 소비하는 consumer 병렬성으로 더 많은 partition이 더 많은 병렬 consumer와 더 높은 처리량을 가능하게 함)을 이해하면 Kafka가 수평 확장하는 방식을 알 수 있으며, partition이 병렬성의 단위입니다.
partition 내 순서를 이해하는 것도 똑같이 중요합니다. Kafka는 partition 내에서는 순서를 보장하지만 partition 간에는 보장하지 않으므로, 관련 이벤트의 순서를 유지하려면 같은 key를 사용해 같은 partition으로 보내야 합니다(예: 한 사용자의 모든 이벤트에 사용자 ID를 key로 사용해 같은 partition으로 보내 해당 사용자의 순서를 유지).
key 기반 라우팅을 통한 이 partition별 순서는 topic 설계 방식에 영향을 미치는 기본 Kafka 개념입니다.
핵심 트레이드오프(더 많은 partition이 더 많은 병렬성과 처리량을 주지만 순서는 각 partition 내에서만이고 오버헤드가 더 크므로, 병렬성과 순서 범위를 균형 잡고 필요한 순서와 고른 분배를 제공하는 partition key를 선택하여 partitioning을 설계)를 이해하면 partitioning이 수반하는 중요한 설계 결정을 알 수 있습니다.
확장성(더 많은 partition)과 순서(partition별, key 기반 라우팅 필요) 사이의 이 균형이 Kafka를 효과적으로 사용하는 핵심입니다.
partition은 Kafka 설계의 핵심(병렬성/확장을 가능하게 하면서 partition별 순서 제공)이며 그것이 확장성과 순서를 가능하게 하는 방식(순서를 위한 key 기반 라우팅과 병렬성/순서 트레이드오프 포함)을 이해하는 것이 Kafka를 잘 설계하고 사용하는 데 필수적이므로, partition이 어떻게 확장성과 순서를 가능하게 하는지 이해하는 것은 필수적인 기초 Kafka 지식입니다.