Bagaimana Kafka bekerja secara internal (penyimpanan log, ZooKeeper/KRaft)?

Question

Accepted Answer

Secara internal, Kafka menyimpan data sebagai **append-only log** di disk (diorganisir dalam segments), menggunakan teknik I/O yang efisien, dan mengelola metadata cluster melalui **ZooKeeper** (secara historis) atau **KRaft** (saat ini). Memahami internal Kafka memperdalam pemahaman tentang perilaku dan performa Kafka.

## The commit log storage

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Efficiency techniques

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Cluster coordination: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## Mengapa ini penting

Memahami bagaimana Kafka bekerja secara internal adalah pengetahuan level senior yang berharga karena **memperdalam pemahaman tentang perilaku dan performa Kafka**, mencerminkan pengetahuan yang sophisticated.

Memahami internal Kafka menjelaskan mengapa ia berperilaku dan berkinerja seperti yang dilakukannya.

Memahami **the commit log storage** — setiap partition menjadi append-only log di disk yang dibagi menjadi segments, dengan events yang ditambahkan secara berurutan (fast writes), diidentifikasi oleh offset, immutable setelah ditulis, dan segment lama dihapus atau dikompak, dengan index untuk fast offset lookups — menjelaskan desain penyimpanan inti Kafka (append-only log menjadi fundamental untuk durability dan efficiency-nya).

Memahami **efficiency techniques** — **sequential I/O** (appending menjadi fast sequential disk access), **zero-copy** (mentransfer data dari disk ke network tanpa copy melalui aplikasi, untuk efficient reads), **OS page cache** (bergantung pada OS cache untuk fast reads dari data terbaru), dan batching/compression — menjelaskan *mengapa Kafka sangat cepat meskipun menggunakan disk*, insight kunci (Kafka mencapai high performance melalui design choices ini, bukan dengan menghindari disk).

Memahami **cluster coordination** — bahwa Kafka mengelola metadata, broker membership, dan leader election melalui **ZooKeeper** secara historis atau **KRaft** sekarang (consensus Raft built-in Kafka yang menghilangkan ZooKeeper dependency untuk operasi lebih sederhana dan scalability lebih baik, pendekatan modern) — mencerminkan kesadaran akan evolusi arsitektur penting di Kafka (perpindahan ke KRaft, menghilangkan ZooKeeper dependency yang sudah lama).

Pemahaman internal ini (log storage, efficiency techniques, cluster coordination evolution) memperdalam pemahaman tentang performa, durability, dan operations Kafka, membedakan mereka yang memahami Kafka secara mendalam.

Karena memahami internal Kafka (penyimpanan append-only log, efficiency techniques seperti sequential I/O dan zero-copy yang membuatnya cepat, dan evolusi koordinasi ZooKeeper-ke-KRaft) memperdalam pemahaman tentang perilaku, performa, dan operations-nya, dan karena ini mencerminkan pengetahuan Kafka yang sophisticated, memahami bagaimana Kafka bekerja secara internal adalah pengetahuan level senior yang berharga — memperdalam pemahaman tentang performa Kafka (mengapa cepat meskipun menggunakan disk), durability (log), dan operations (KRaft), mencerminkan pemahaman sophisticated yang membedakan deep Kafka expertise, dan berguna untuk reasoning tentang perilaku Kafka dan arsitektur KRaft modern.