Kafka의 핵심 개념(topic, partition, broker)은 무엇입니까?

Question

Accepted Answer

Kafka의 핵심 개념에는 **topic**(이벤트의 범주), **partition**(topic 내 병렬성의 단위), **broker**(서버), **producer**(쓰기), **consumer**(읽기)가 포함됩니다. 이들을 이해하는 것은 Kafka 작업의 기본입니다.

## 핵심 개념

```text
TOPIC → 이름이 있는 이벤트 범주/스트림("채널"과 같음 — 예: "orders", "clicks")
  → producer가 topic에 쓰고; consumer가 topic에서 읽음
PARTITION → topic은 PARTITION으로 분할됨(순서가 있는 추가 전용 로그):
  → PARALLELISM과 확장의 단위; 이벤트가 partition들에 분산됨
  → 순서는 partition 내에서 보장됨(partition 간에는 아님)
BROKER → Kafka SERVER(데이터 저장, 클라이언트 서빙); CLUSTER = 여러 broker
PRODUCER → topic에 이벤트를 쓰기(발행)
CONSUMER → topic에서 이벤트를 읽기(구독)
```

## Partition과 offset

```text
→ 각 partition은 순서가 있는 불변의 이벤트 시퀀스
→ 각 이벤트는 OFFSET(partition 내 위치)을 가짐
→ consumer는 자신의 offset(어디까지 읽었는지)을 추적 → 재개, 재생 가능
→ 이벤트는 partition에 남음(보존됨); consumer는 자신의 속도로 읽음
→ partition KEY가 이벤트가 어느 partition으로 갈지 결정(같은 key → 같은 partition
  → 해당 key의 순서 보장)
```

## 전체적인 구성

```text
Producer → TOPIC에 쓰기(→ key에 따라 PARTITION) → BROKER에 저장(복제됨)
  → Consumer가 partition에서 읽음(자신의 offset 추적)
→ topic이 이벤트를 조직하고; partition이 병렬성/확장을 가능하게 하며; broker가 저장/서빙하고;
  offset이 위치를 추적합니다
```

## 왜 중요한가

Kafka의 핵심 개념을 이해하는 것은 기본적입니다. **topic, partition, broker, producer, consumer는 Kafka의 구성 요소**이므로 이를 파악하는 것이 모든 Kafka 작업에 필수적이기 때문입니다.

이 개념들이 Kafka 작동 방식의 기초를 이룹니다.

**topic**(producer가 쓰고 consumer가 읽는 이름 있는 이벤트 범주/스트림)을 이해하는 것이 기본 조직 개념입니다.

**partition**을 이해하는 것은 특히 중요합니다. topic은 partition(순서가 있는 추가 전용 로그)으로 분할되며, 이는 **병렬성과 확장의 단위**이고, **순서는 partition 내에서 보장되지만 partition 간에는 보장되지 않는다**는 중요한 속성을 가집니다. 이는 Kafka가 확장하고 이벤트를 정렬하는 방식에 영향을 미치는 핵심 개념입니다.

**broker**(클러스터를 이루는 Kafka 서버), **producer**(이벤트 쓰기), **consumer**(이벤트 읽기)를 이해하면 기본 아키텍처가 완성됩니다.

**partition과 offset**(각 partition이 이벤트가 offset(위치)을 갖는 순서 있는 불변 시퀀스이고, consumer가 offset을 추적하여 재개·재생하며, 이벤트가 보존되어 consumer가 자신의 속도로 읽고, partition key가 이벤트의 partition을 결정함)을 이해하는 것은 Kafka의 데이터 모델과 순서 보장을 이해하는 데 필수적입니다.

**전체적인 구성**(복제된 broker에 저장된 topic/partition에 producer가 쓰고, consumer가 offset을 추적하며 읽음)을 이해하면 완전한 그림을 얻을 수 있습니다.

이 개념들은 다른 모든 것이 그 위에 구축되는 Kafka의 어휘이자 메커니즘입니다.

topic, partition, broker, producer, consumer, offset은 Kafka의 기본 구성 요소(특히 partition과 순서가 중요)이며 이를 이해하는 것이 모든 Kafka 작업에 필수적이므로, Kafka의 핵심 개념을 이해하는 것은 필수적인 기초 지식입니다.