Kafka లోపల ఎలా పని చేస్తుంది (లాగ్ స్టోరేజ్, ZooKeeper/KRaft)?

Question

Accepted Answer

అంతర్నిహితంగా, Kafka డేటాను డిస్క్‌పై **append-only లాగ్** గా (segments లో సంఘటితమైనది), సమర్థవంతమైన I/O పద్ధతులను ఉపయోగించి, మరియు క్లస్టర్ మెటాడేటాను **ZooKeeper** (చారిత్రికంగా) లేదా **KRaft** (ఇప్పుడు) ద్వారా నిర్వహిస్తుంది. అంతర్నిహితమైన విషయాలను అర్థం చేసుకోవడం Kafka యొక్క ప్రవర్తన మరియు పనితీరు యొక్క అర్థాన్ని లోతుగా చేస్తుంది.

## Commit లాగ్ స్టోరేజ్

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## సమర్థవంతత కৌశలాలు

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## క్లస్టర్ సమన్వయం: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## ఇది ఎందుకు ముఖ్యమైనది

Kafka ఎలా కార్యం చేస్తుందో అంతర్నిహితంగా అర్థం చేసుకోవడం విలువైన సీనియర్-స్థర ज्ञान ఎందుకంటే ఇది **Kafka యొక్క ప్రవర్తన మరియు పనితీరు యొక్క అర్థాన్ని లోతుగా చేస్తుంది**, అధిక స్థరీయ జ్ఞానాన్ని ప్రతిబింబిస్తుంది.

Kafka యొక్క అంతర్నిహితమైన విషయాలను అర్థం చేసుకోవడం ఇది ఎందుకు ఈ విధంగా ప్రవర్తిస్తుంది మరియు పనిచేస్తుందో వివరిస్తుంది.

**Commit లాగ్ స్టోరేజ్** ను అర్థం చేసుకోవడం — ప్రతి partition అనేది డిస్క్‌పై append-only లాగ్ (segments లో విభజించబడినది), ఇভెంట్‌లు క్రమాన్ని ఆధారంగా జోడించబడతాయి (వేగవంతమైన రాయడం), offset ద్వారా గుర్తించబడతాయి, రాసిన తర్వాత మార్పులేనివి, మరియు పాత segments తొలగించబడతాయి లేదా compact చేయబడతాయి, వేగవంతమైన offset కనుగొనుటకు సూచిక తో — Kafka యొక్క ప్రధాన స్టోరేజ్ డిజైన్‌ను వివరిస్తుంది (append-only లాగ్ దాని నిరంతరత మరియు సమర్థానికి ఆధారమైనది).

**సమర్థవంతత కౌశలాలు** ను అర్థం చేసుకోవడం — **sequential I/O** (జోడించడం వేగవంతమైన sequential డిస్క్ ప్రవేశం), **zero-copy** (అనువర్తనం ద్వారా నకలు చేయకుండా డిస్క్ నుండి నెట్‌వర్క్‌కు డేటా బదిలీ, సమర్థవంతమైన చదవడం కోసం), **OS page cache** (ఇటీవలి డేటా యొక్క వేగవంతమైన చదవడం కోసం OS cache పై ఆధారపడటం), మరియు batching/compression — వివరిస్తుంది *Kafkaఎందుకు డిస్క్‌ను ఉపయోగించినప్పటికీ చాలా వేగవంతమైనది*, ఒక ముఖ్య అంతర్దృష్టి (Kafka ఈ డిజైన్ ఎంపికల ద్వారా అధిక పనితీరును సాధిస్తుంది, డిస్క్ నుండి తప్పించుకోవడం ద్వారా కాదు).

**క్లస్టర్ సమన్వయం** ను అర్థం చేసుకోవడం — Kafka మెటాడేటా, broker సభ్యత్వం, మరియు నేతృత్వ ఎన్నికను **ZooKeeper** ద్వారా చారిత్రికంగా లేదా **KRaft** ఇప్పుడు (Kafka యొక్క స్వయంचాలక రుద్ధ చేసిన Raft సర్వసమ్మతం ఇది ZooKeeper ఆధారపడటం సరళ కార్యకలాపాలు మరియు మెరుగైన స్కేలబిలిటీ కోసం తొలగిస్తుంది, ఆధునిక విధానం) నిర్వహిస్తుందో తెలుసుకోవడం — Kafka లో ఒక ముఖ్య ఆర్కిటెక్చరల్ పరిణామం (KRaft కు కదలిక, దీర్ఘకాల ZooKeeper ఆధారపడటాన్ని తొలగిస్తుంది) గురించి చేతనతను ప్రతిబింబిస్తుంది.

ఈ అంతర్నిహిత అర్థం (లాగ్ స్టోరేజ్, సమర్థవంతత కౌశలాలు, సమన్వయ పరిణామం) Kafka యొక్క పనితీరు, నిరంతరత, మరియు కార్యకలాపాల గురించిన గ్రహణాన్ని లోతుగా చేస్తుంది, విస్తృతంగా Kafka లను అర్థం చేసుకున్న వారిని వేరుగా చేస్తుంది.

Kafka యొక్క అంతర్నిహితమైన విషయాలను అర్థం చేసుకోవడం (append-only లాగ్ స్టోరేజ్, sequential I/O మరియు zero-copy వంటి సమర్థవంతత కౌశలాలు ఇది వేగవంతమైనది చేస్తాయి, మరియు ZooKeeper-to-KRaft సమన్వయ పరిణామం) దాని ప్రవర్తన, పనితీరు, మరియు కార్యకలాపాల గురించిన అర్థాన్ని లోతుగా చేస్తుంది, మరియు ఇది అధిక స్థరీయ Kafka జ్ఞానాన్ని ప్రతిబింబిస్తుంది, Kafka యొక్క పనితీరును కారణం చేయడానికి ఉపయోగకరమైనది (డిస్క్‌ను ఉపయోగించినప్పటికీ ఇది వేగవంతమైనది), నిరంతరత (లాగ్), మరియు కార్యకలాపాలు (KRaft), లోతైన Kafka నిపుణత్వాన్ని వేరుగా చేస్తుంది, మరియు Kafka యొక్క ప్రవర్తన మరియు ఆధునిక KRaft ఆర్కిటెక్చర గురించి కారణం చేయడానికి ఉపయోగకరమైనది.