Kafka에서 복제는 어떻게 작동합니까?

Question

Accepted Answer

Kafka는 **내구성과 가용성**을 위해 partition을 여러 broker에 걸쳐 **복제**합니다 — 각 partition은 leader와 follower replica를 가집니다. broker가 실패하면 follower가 인계합니다. 복제를 이해하는 것이 Kafka 내결함성의 열쇠입니다.

## 복제 작동 방식

```text
각 PARTITION은 여러 broker에 걸쳐 복제됨(REPLICATION FACTOR 복사본, 예: 3):
  → LEADER replica → partition의 모든 읽기와 쓰기 처리
  → FOLLOWER replica → leader 데이터를 복제(replicate), 동기 상태 유지
  → producer/consumer는 LEADER와 상호작용; follower는 백업
→ leader의 broker가 FAIL하면 → follower가 leader로 승격(failover) → 데이터 유실 없이
  계속 가용
```

## In-Sync Replicas(ISR)

```text
ISR(In-Sync Replicas) → leader를 따라잡은 replica 집합:
  → in-sync replica만 leader가 될 자격이 있음(새 leader가 데이터를 가짐을 보장)
  → 내구성 구성: acks=all + min.insync.replicas → 충분한 ISR이 가질 때만 쓰기 확인 →
    데이터 유실 없이 실패에서 생존
→ ISR은 내구성과 가용성의 균형의 중심
```

## 내구성 대 가용성 트레이드오프

```text
→ REPLICATION FACTOR(예: 3) → 복사본이 많을수록 = 더 많은 내결함성(더 많은 실패 생존)
→ acks 설정(producer):
  acks=0 → 대기 없음(빠름, 데이터 유실 가능)  acks=1 → leader만(leader 실패 시 유실 가능)
  acks=all → 모든 ISR 확인(안전, 유실 없음, 하지만 느림)
→ min.insync.replicas → 쓰기에 필요한 최소 ISR(내구성 보장)
→ 트레이드오프: 강한 내구성(acks=all, 더 많은 replica) 대 처리량/가용성
```

## 왜 중요한가

Kafka에서 복제가 어떻게 작동하는지 이해하는 것은 가치 있습니다. 이는 **Kafka의 내구성과 가용성**(내결함성)의 열쇠이므로 Kafka를 안정적으로 이해하고 운영하는 데 중요하기 때문입니다.

복제는 Kafka가 broker 실패에도 데이터를 잃지 않고 가용성을 유지하는 방식입니다.

**복제 작동 방식**(각 partition이 replication factor에 따라 broker들에 복제되며 **leader**가 읽기/쓰기를 처리하고 **follower**가 복제, leader의 broker가 실패하면 follower가 승격(failover, 데이터 유실 없이 계속 가용))을 이해하면 Kafka의 내결함성 메커니즘을 알 수 있습니다.

**in-sync replica(ISR)**(leader를 따라잡은 replica 집합으로, in-sync replica만 leader가 될 수 있어 새 leader가 데이터를 가짐을 보장하며, 내구성 구성(acks=all + min.insync.replicas)이 충분한 ISR이 데이터를 가질 때만 쓰기를 확인하여 유실 없이 실패 생존)을 이해하는 것은 Kafka가 내구성과 가용성의 균형을 잡는 방식의 중심으로, 핵심 운영 개념입니다.

**내구성 대 가용성 트레이드오프**(replication factor(복사본이 많을수록 더 많은 내결함성), producer **acks** 설정(acks=0 빠르나 유실 가능, acks=1 leader만, acks=all 안전하나 느림), min.insync.replicas)를 이해하는 것은 내구성과 처리량/가용성의 균형을 잡는 중요한 구성 결정을 반영합니다.

이 트레이드오프는 Kafka 운영 시 실용적 결정입니다: 강한 내구성(acks=all, 더 많은 replica, 높은 min ISR) 대 성능.

복제를 이해하는 것은 Kafka를 안정적으로 운영하고 올바른 내구성 보장을 구성하는 데 필수적입니다.

복제는 Kafka의 내구성과 가용성(leader/follower 복제와 failover를 통한 내결함성)의 열쇠이며 그 메커니즘, ISR, 내구성/가용성 트레이드오프(replication factor, acks, min ISR)를 이해하는 것이 Kafka를 안정적으로 운영하고 적절한 보장을 구성하는 데 중요하므로, Kafka에서 복제가 어떻게 작동하는지 이해하는 것은 가치 있고 실용적으로 관련된 지식입니다.