Kafka आंतरिक रूप से कैसे काम करता है (log storage, ZooKeeper/KRaft)?

Question

Accepted Answer

आंतरिक रूप से, Kafka data को disk पर एक **append-only log** के रूप में संग्रहीत करता है (segments में व्यवस्थित), efficient I/O techniques का उपयोग करता है, और cluster metadata को **ZooKeeper** (ऐतिहासिक रूप से) या **KRaft** (अब) के माध्यम से manage करता है। internals को समझना Kafka के behavior और performance की समझ को गहरा करता है।

## commit log storage

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Efficiency techniques

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Cluster coordination: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## यह क्यों महत्वपूर्ण है

Kafka आंतरिक रूप से कैसे काम करता है यह समझना मूल्यवान senior-स्तर का ज्ञान है क्योंकि यह **Kafka के behavior और performance की समझ को गहरा करता है**, परिष्कृत ज्ञान को दर्शाना।

Kafka के internals को समझना यह समझाता है कि यह जैसा व्यवहार और performance करता है वैसा क्यों करता है।

**commit log storage** को समझना — प्रत्येक partition का disk पर एक append-only log होना जो segments में विभाजित है, events sequentially append किए जाते हैं (fast writes), offset द्वारा पहचाने जाते हैं, एक बार लिखे जाने पर immutable, और पुराने segments हटाए या compacted किए जाते हैं, fast offset lookups के लिए एक index के साथ — Kafka के core storage design को समझाता है (append-only log इसकी durability और efficiency के लिए मौलिक होना)।

**efficiency techniques** को समझना — **sequential I/O** (appending fast sequential disk access होना), **zero-copy** (efficient reads के लिए data को disk से network में application के माध्यम से copy किए बिना transfer करना), **OS page cache** (हाल के data के fast reads के लिए OS cache पर निर्भर रहना), और batching/compression — समझाता है कि *Kafka disk का उपयोग करने के बावजूद इतना तेज क्यों है*, एक प्रमुख अंतर्दृष्टि (Kafka इन design विकल्पों के माध्यम से उच्च performance प्राप्त करता है, disk से बचकर नहीं)।

**cluster coordination** को समझना — कि Kafka metadata, broker membership, और leader election को ऐतिहासिक रूप से **ZooKeeper** या अब **KRaft** के माध्यम से manage करता है (Kafka का अपना built-in Raft consensus जो सरल operations और बेहतर scalability के लिए ZooKeeper dependency हटाता है, आधुनिक दृष्टिकोण) — Kafka में एक महत्वपूर्ण architectural विकास (KRaft की ओर बदलाव, लंबे समय से चली आ रही ZooKeeper dependency को हटाना) के प्रति जागरूकता दर्शाता है।

यह आंतरिक समझ (log storage, efficiency techniques, coordination विकास) Kafka की performance, durability और operations की समझ को गहरा करती है, उन लोगों को अलग करती है जो Kafka को गहराई से समझते हैं।

चूँकि Kafka के internals को समझना (append-only log storage, sequential I/O और zero-copy जैसी efficiency techniques जो इसे तेज बनाती हैं, और ZooKeeper-से-KRaft coordination विकास) इसके behavior, performance और operations की समझ को गहरा करता है, और चूँकि यह परिष्कृत Kafka ज्ञान को दर्शाता है, इसलिए Kafka आंतरिक रूप से कैसे काम करता है यह समझना मूल्यवान senior-स्तर का ज्ञान है — Kafka की performance (यह disk का उपयोग करने के बावजूद तेज क्यों है), durability (log), और operations (KRaft) की समझ को गहरा करना, गहरी Kafka विशेषज्ञता को अलग करने वाली परिष्कृत समझ को दर्शाना, और Kafka के behavior तथा आधुनिक KRaft architecture के बारे में तर्क करने के लिए उपयोगी।