Kafka의 전체 아키텍처는 무엇입니까?

Question

Accepted Answer

Kafka의 아키텍처는 partition으로 나뉘고 복제된 topic을 저장하는 **broker 클러스터**로 구성되며, **producer**가 쓰고 **consumer**가 읽고, 메타데이터 관리(과거에는 ZooKeeper, 현재는 KRaft)로 조정됩니다. 아키텍처를 이해하면 Kafka가 분산 시스템으로 어떻게 작동하는지 명확해집니다.

## 구성 요소

```text
BROKER → CLUSTER를 이루는 Kafka SERVER:
  → topic partition(데이터)을 저장; producer와 consumer 서빙
  → 여러 broker로 이루어진 클러스터 → 데이터와 부하 분산; 수평 확장
TOPIC / PARTITION → topic이 partition으로 분할되어 broker들에 분산
PRODUCER → topic(partition leader)에 이벤트 쓰기
CONSUMER(group 내) → partition에서 이벤트 읽기
COORDINATION → 메타데이터, 클러스터 상태, leader election:
  → 과거에는 ZOOKEEPER; 현재는 KRAFT(Kafka 자체 내장 합의, ZooKeeper 제거)
```

## 내구성과 가용성을 위한 복제

```text
partition은 내결함성을 위해 broker들에 걸쳐 복제됨:
  → 각 partition은 LEADER(읽기/쓰기 처리) + FOLLOWER(replica)를 가짐:
    - producer/consumer는 leader와 상호작용
    - follower는 leader 데이터를 복제 → leader 실패 시 follower가 인계
  → REPLICATION FACTOR → 복사본 수(예: 3) → 데이터 유실 없이 broker 실패에서 생존
  → IN-SYNC REPLICAS(ISR) → leader를 따라잡은 replica(내구성 보장용)
```

## 함께 작동하는 방식

```text
Producer → broker의 partition LEADER에 쓰기 → follower로 복제 →
  Consumer(group 내)가 partition에서 읽기 → 클러스터는 KRaft/ZooKeeper로 조정
→ 분산, 복제, 확장 가능한 시스템: broker가 저장/서빙, 복제가 내구성/HA 제공,
  조정이 클러스터를 관리
```

## 왜 중요한가

Kafka의 전체 아키텍처를 이해하는 것은 가치 있습니다. **Kafka가 분산 시스템으로 어떻게 작동하는지 명확히** 하여 Kafka 작업의 기초 지식이기 때문입니다.

Kafka는 분산 시스템이며, 그 아키텍처를 이해하면 확장성, 내구성, 가용성을 어떻게 달성하는지 알 수 있습니다.

**구성 요소**(broker, broker들에 분산된 topic/partition, 쓰는 producer와 읽는 consumer, **조정**(메타데이터와 클러스터 관리, 과거에는 ZooKeeper, 현재는 점점 **KRaft**를 통해 — ZooKeeper 의존성을 제거하는 Kafka 자체 내장 합의))을 이해하면 시스템의 구성 요소가 명확해집니다.

**내구성과 가용성을 위한 복제**를 이해하는 것은 특히 중요합니다. partition은 **broker들에 걸쳐 복제**되며(각각 읽기/쓰기를 처리하는 **leader**와 이를 복제하는 **follower**), leader가 실패하면 follower가 인계(가용성)하고, **replication factor**가 데이터 유실 없이 실패를 견디는 복사본 수를 결정(내구성)하며, **in-sync replica**가 내구성 보장을 확보합니다.

이 복제 메커니즘이 Kafka가 내결함성과 내구성을 달성하는 방식으로, 그 신뢰성의 핵심입니다.

**함께 작동하는 방식**(producer가 partition leader에 쓰고, follower로 복제되며, consumer가 읽고, 모두 조정됨)을 이해하면 분산, 복제, 확장 가능한 시스템으로서 Kafka의 완전한 그림을 얻을 수 있습니다.

Kafka는 분산 시스템이며 그 아키텍처(broker, leader/follower 복제, 조정)를 이해하면 확장성, 내구성, 가용성을 어떻게 달성하는지 명확해지고 이것이 Kafka 작업의 기초이므로, Kafka의 전체 아키텍처를 이해하는 것은 가치 있는 기초 지식입니다.