Bagaimanakah Kafka berfungsi secara dalaman (storan log, ZooKeeper/KRaft)?

Question

IT Interview Practice · Accepted Answer

Secara dalaman, Kafka menyimpan data sebagai **log append-only** pada disk (disusun dalam segmen), menggunakan teknik I/O yang cekap, dan menguruskan metadata kluster melalui **ZooKeeper** (secara sejarah) atau **KRaft** (kini). Memahami dalaman ini mendalamkan pemahaman tentang tingkah laku dan prestasi Kafka.

## Storan commit log

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Teknik kecekapan

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Penyelarasan kluster: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## Mengapa ia penting

Memahami cara Kafka berfungsi secara dalaman ialah pengetahuan peringkat senior yang berharga kerana ia **mendalamkan pemahaman tentang tingkah laku dan prestasi Kafka**, mencerminkan pengetahuan yang canggih.

Memahami dalaman Kafka menerangkan mengapa ia berkelakuan dan berprestasi sebagaimana adanya.

Memahami **storan commit log** — setiap partition ialah log append-only pada disk yang dipecahkan kepada segmen, dengan peristiwa ditambah secara berjujukan (penulisan pantas), dikenal pasti mengikut offset, tidak boleh diubah setelah ditulis, dan segmen lama dipadam atau dimampatkan, dengan indeks untuk carian offset pantas — menerangkan reka bentuk storan teras Kafka (log append-only yang asas kepada ketahanan dan kecekapannya).

Memahami **teknik kecekapan** — **I/O berjujukan** (penambahan ialah capaian disk berjujukan yang pantas), **zero-copy** (memindahkan data dari disk ke rangkaian tanpa menyalin melalui aplikasi, untuk pembacaan yang cekap), **OS page cache** (bergantung pada cache OS untuk pembacaan terkini yang pantas), dan batching/mampatan — menerangkan *mengapa Kafka begitu pantas walaupun menggunakan disk*, satu wawasan utama (Kafka mencapai prestasi tinggi melalui pilihan reka bentuk ini, bukan dengan mengelakkan disk).

Memahami **penyelarasan kluster** — bahawa Kafka menguruskan metadata, keahlian broker, dan pemilihan ketua melalui **ZooKeeper** secara sejarah atau **KRaft** kini (konsensus Raft terbina dalam milik Kafka sendiri yang membuang kebergantungan ZooKeeper untuk operasi yang lebih ringkas dan kebolehskalaan yang lebih baik, pendekatan moden) — mencerminkan kesedaran tentang evolusi seni bina penting dalam Kafka (peralihan ke KRaft, membuang kebergantungan ZooKeeper yang telah lama wujud).

Pemahaman dalaman ini (storan log, teknik kecekapan, evolusi penyelarasan) mendalamkan pemahaman tentang prestasi, ketahanan, dan operasi Kafka, membezakan mereka yang memahami Kafka secara mendalam.

Memandangkan memahami dalaman Kafka (storan log append-only, teknik kecekapan seperti I/O berjujukan dan zero-copy yang menjadikannya pantas, serta evolusi penyelarasan ZooKeeper-ke-KRaft) mendalamkan pemahaman tentang tingkah laku, prestasi, dan operasinya, dan memandangkan ini mencerminkan pengetahuan Kafka yang canggih, memahami cara Kafka berfungsi secara dalaman ialah pengetahuan peringkat senior yang berharga — mendalamkan pemahaman tentang prestasi Kafka (mengapa ia pantas walaupun menggunakan disk), ketahanan (log), dan operasi (KRaft), mencerminkan pemahaman canggih yang membezakan kepakaran Kafka yang mendalam, serta berguna untuk menaakul tentang tingkah laku Kafka dan seni bina KRaft moden.

Storan commit log

Teknik kecekapan

Penyelarasan kluster: ZooKeeper → KRaft

Mengapa ia penting

Soalan berkaitan