Kafka는 내부적으로 어떻게 작동합니까(로그 저장, ZooKeeper/KRaft)?

Question

Accepted Answer

내부적으로 Kafka는 데이터를 디스크에 **추가 전용 로그**(segment로 조직)로 저장하고, 효율적인 I/O 기법을 사용하며, 클러스터 메타데이터를 **ZooKeeper**(과거) 또는 **KRaft**(현재)로 관리합니다. 내부를 이해하면 Kafka의 동작과 성능에 대한 이해가 깊어집니다.

## 커밋 로그 저장

```text
각 partition은 디스크에 저장된 추가 전용 LOG로, SEGMENT(파일)로 분할:
  → 새 이벤트가 끝에 APPEND됨(순차 쓰기 → 빠름)
  → 이벤트는 한 번 쓰면 불변; OFFSET으로 식별
  → 오래된 segment는 삭제(보존) 또는 compaction
  → INDEX가 offset을 파일 위치에 매핑(빠른 조회)
→ 추가 전용 로그가 Kafka 설계의 핵심(내구성, 순차적, 효율적)
```

## 효율성 기법

```text
✓ 순차 I/O → 로그에 추가는 순차 디스크 접근 → 매우 빠름(랜덤 I/O 대비)
✓ ZERO-COPY(sendfile) → 앱을 통한 복사 없이 디스크에서 네트워크로 데이터 전송
  → 매우 효율적 읽기
✓ OS PAGE CACHE → Kafka는 자체 캐시 대신 OS 캐시(메모리의 최근 데이터)에 의존
  → 최근 데이터의 빠른 읽기
✓ 배치, 압축 → 효율적 I/O
→ 이것들이 Kafka를 디스크를 쓰면서도 극도로 빠르게 함
```

## 클러스터 조정: ZooKeeper → KRaft

```text
Kafka는 관리해야 함: 클러스터 METADATA, broker 멤버십, leader ELECTION, 구성:
  → ZOOKEEPER(과거) → Kafka가 조정/메타데이터에 사용한 별도 시스템
  → KRAFT(KIP-500, 현재) → Kafka 자체 내장 합의(Raft) → ZooKeeper 의존성 제거
    → 더 단순한 운영, 더 나은 확장성(현대적 접근)
→ Kafka는 KRaft로 이동 중(자체 관리 메타데이터, 별도 ZooKeeper 없음)
```

## 왜 중요한가

Kafka가 내부적으로 어떻게 작동하는지 이해하는 것은 가치 있는 시니어 수준 지식입니다. 이는 **Kafka의 동작과 성능에 대한 이해를 깊게** 하여 정교한 지식을 반영하기 때문입니다.

Kafka의 내부를 이해하면 왜 그렇게 동작하고 수행하는지 알 수 있습니다.

**커밋 로그 저장**(각 partition이 segment로 분할된 디스크의 추가 전용 로그로, 이벤트가 순차적으로 추가(빠른 쓰기)되고 offset으로 식별되며 한 번 쓰면 불변이고 오래된 segment가 삭제 또는 compaction되며 빠른 offset 조회를 위한 index)을 이해하면 Kafka의 핵심 저장 설계(추가 전용 로그가 내구성과 효율성의 근본)를 알 수 있습니다.

**효율성 기법**(**순차 I/O**(추가가 빠른 순차 디스크 접근), **zero-copy**(앱을 통한 복사 없이 디스크에서 네트워크로 전송, 효율적 읽기), **OS page cache**(최근 데이터의 빠른 읽기를 위해 OS 캐시 의존), 배치/압축)을 이해하면 *Kafka가 디스크를 쓰면서도 왜 그렇게 빠른지*를 알 수 있으며, 이는 핵심 통찰(Kafka가 디스크를 피하는 것이 아니라 이런 설계 선택으로 높은 성능을 달성)입니다.

**클러스터 조정**(Kafka가 메타데이터, broker 멤버십, leader election을 과거에는 **ZooKeeper**로, 현재는 **KRaft**(ZooKeeper 의존성을 제거하여 더 단순한 운영과 더 나은 확장성을 주는 Kafka 자체 내장 Raft 합의, 현대적 접근)로 관리)을 이해하는 것은 Kafka의 중요한 아키텍처 진화(오래된 ZooKeeper 의존성을 제거하는 KRaft로의 이동)에 대한 인식을 반영합니다.

이 내부 이해(로그 저장, 효율성 기법, 조정 진화)는 Kafka의 성능, 내구성, 운영에 대한 이해를 깊게 하여 Kafka를 깊이 이해하는 사람을 구별합니다.

Kafka의 내부(추가 전용 로그 저장, 빠르게 만드는 효율성 기법(순차 I/O, zero-copy), ZooKeeper에서 KRaft로의 조정 진화)를 이해하는 것이 동작, 성능, 운영에 대한 이해를 깊게 하고 이것이 정교한 Kafka 지식을 반영하므로, Kafka가 내부적으로 어떻게 작동하는지 이해하는 것은 가치 있는 시니어 수준 지식입니다.