Kafka ਅੰਦਰੋਂ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ (log storage, ZooKeeper/KRaft)?

Question

Accepted Answer

ਅੰਦਰੋਂ, Kafka ਡਾਟਾ ਨੂੰ ਡਿਸਕ ਉੱਤੇ **append-only log** ਦੇ ਰੂਪ ਵਿੱਚ ਸਟੋਰ ਕਰਦਾ ਹੈ (segments ਵਿੱਚ ਆਯੋਜਿਤ), ਕੁਸ਼ਲ I/O ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਅਤੇ cluster metadata ਨੂੰ **ZooKeeper** (ਐਤਿਹਾਸਕ ਤੌਰ ਉੱਤੇ) ਜਾਂ **KRaft** (ਹੁਣ) ਦੁਆਰਾ ਪ੍ਰਬੰਧਿਤ ਕਰਦਾ ਹੈ। Kafka ਦੀਆਂ ਅੰਦਰੂਨੀ ਗੱਲਾਂ ਨੂੰ ਸਮਝਣਾ Kafka ਦੇ ਵਿਵਹਾਰ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਸਮਝ ਨੂੰ ਡੂੰਘਾ ਕਰਦਾ ਹੈ।

## commit log storage

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Efficiency techniques

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Cluster coordination: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

Kafka ਅੰਦਰੋਂ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ ਇਹ ਸਮਝਣਾ senior-level ਦਾ ਮੁੱਲਵਾਨ ਗਿਆਨ ਹੈ ਕਿਉਂਕਿ ਇਹ **Kafka ਦੇ ਵਿਵਹਾਰ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਸਮਝ ਨੂੰ ਡੂੰਘਾ ਕਰਦਾ ਹੈ**, ਜੋ ਉੱਚ ਤਰ੍ਹਾਂ ਦਾ ਗਿਆਨ ਦਰਸਾਉਂਦਾ ਹੈ।

Kafka ਦੀਆਂ ਅੰਦਰੂਨੀ ਗੱਲਾਂ ਨੂੰ ਸਮਝਣਾ ਇਹ ਸਮਝਾਉਂਦਾ ਹੈ ਕਿ ਇਹ ਕਿਉਂ ਇਸ ਤਰ੍ਹਾਂ ਵਿਵਹਾਰ ਕਰਦਾ ਹੈ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਦਿਖਾਉਂਦਾ ਹੈ।

**commit log storage** ਨੂੰ ਸਮਝਣਾ — ਹਰੇਕ partition ਡਿਸਕ ਉੱਤੇ ਇੱਕ append-only log ਹੋਣਾ segments ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ, events ਲੜੀ ਨਾਲ ਜੋੜੇ ਜਾ ਰਹੇ (ਤੇਜ਼ writes), offset ਦੁਆਰਾ ਪਛਾਣਿਆ ਗਿਆ, ਲਿਖਣ ਤੋਂ ਬਾਅਦ ਬਦਲਿਆ ਨਾ ਜਾ ਸਕਣ ਵਾਲਾ, ਅਤੇ ਪੁਰਾਣੇ segments ਹਟਾਏ ਜਾ ਰਹੇ ਜਾਂ ਸੰਕੁਚਿਤ ਕੀਤੇ ਜਾ ਰਹੇ, ਤੇਜ਼ offset lookups ਲਈ ਇੱਕ ਇੰਡੈਕਸ ਦੇ ਨਾਲ — Kafka ਦੇ ਮੂਲ storage ਡਿਜ਼ਾਈਨ ਨੂੰ ਸਮਝਾਉਂਦਾ ਹੈ (append-only log ਇਸ ਦੀ durability ਅਤੇ efficiency ਲਈ ਬੁਨਿਆਦੀ ਹੋਣਾ)।

**efficiency techniques** ਨੂੰ ਸਮਝਣਾ — **sequential I/O** (ਜੋੜਨਾ ਤੇਜ਼ sequential disk access ਹੋਣਾ), **zero-copy** (ਡਾਟਾ ਡਿਸਕ ਤੋਂ network ਤਕ application ਦੁਆਰਾ ਕੋਪੀ ਕੀਤੇ ਬਿਨਾਂ transfer ਕਰਨਾ, ਕੁਸ਼ਲ reads ਲਈ), **OS page cache** (ਹਾਲੀਆ ਡਾਟਾ ਦੀ ਤੇਜ਼ reads ਲਈ OS cache ਉੱਤੇ ਨਿਰਭਰ ਕਰਨਾ), ਅਤੇ batching/compression — ਇਹ ਸਮਝਾਉਂਦਾ ਹੈ *ਕਿਉਂ Kafka ਡਿਸਕ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੇ ਬਾਵਜੂਦ ਇਤਨਾ ਤੇਜ਼ ਹੈ*, ਇੱਕ ਮੁੱਖ ਸਮਝ (Kafka ਡਿਸਕ ਨੂੰ ਰੋਕ ਕੇ ਨਹੀਂ, ਬਲਕਿ ਇਨ੍ਹਾਂ design ਵਿਕਲਪਾਂ ਦੁਆਰਾ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ)।

**cluster coordination** ਨੂੰ ਸਮਝਣਾ — ਕਿ Kafka metadata, broker membership, ਅਤੇ leader election ਨੂੰ **ZooKeeper** ਦੁਆਰਾ ਪ੍ਰਬੰਧਿਤ ਕਰਦਾ ਹੈ ਜਾਂ **KRaft** ਹੁਣ (Kafka ਦਾ ਆਪਣਾ built-in Raft consensus ਜੋ ZooKeeper ਪ੍ਰਤਿਸਰੂਪਤਾ ਨੂੰ ਹਟਾਉਂਦਾ ਹੈ ਸਰਲ operations ਅਤੇ ਬਿਹਤਰ scalability ਲਈ, ਆਧੁਨਿਕ ਪਹੁੰਚ) — Kafka ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ architectural ਪਰਿਵਰਤਨ ਦੀ ਜਾਗਰੂਕਤਾ ਦਰਸਾਉਂਦਾ ਹੈ (KRaft ਲਈ ਪਰਿਵਰਤਨ, ਲੰਬੇ ਸਮੇਂ ਤਾਂ ZooKeeper ਪ੍ਰਤਿਸਰੂਪਤਾ ਨੂੰ ਹਟਾ ਕੇ)।

ਇਹ ਅੰਦਰੂਨੀ ਸਮਝ (log storage, efficiency techniques, coordination ਵਿਕਾਸ) Kafka ਦੀ ਪ੍ਰਦਰਸ਼ਨ, durability, ਅਤੇ operations ਦੀ ਸਮਝ ਨੂੰ ਡੂੰਘਾ ਕਰਦੀ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਵੱਖਰਾ ਕਰਦਾ ਹੈ ਜੋ Kafka ਨੂੰ ਡੂੰਘਿਆਈ ਨਾਲ ਸਮਝਦੇ ਹਨ।

ਕਿਉਂ ਕਿ Kafka ਦੀ ਅੰਦਰੂਨੀ ਸਮਝ (append-only log storage, efficiency techniques ਜਿਵੇਂ sequential I/O ਅਤੇ zero-copy ਜੋ ਇਸਨੂੰ ਤੇਜ਼ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਅਤੇ ZooKeeper-ਤੋਂ-KRaft coordination ਵਿਕਾਸ) ਇਸ ਦੇ ਵਿਵਹਾਰ, ਪ੍ਰਦਰਸ਼ਨ, ਅਤੇ operations ਦੀ ਸਮਝ ਨੂੰ ਡੂੰਘਾ ਕਰਦੀ ਹੈ, ਅਤੇ ਕਿਉਂ ਕਿ ਇਹ ਉੱਚ ਤਰ੍ਹਾਂ ਦਾ Kafka ਗਿਆਨ ਦਰਸਾਉਂਦਾ ਹੈ, Kafka ਅੰਦਰੋਂ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ ਇਹ ਸਮਝਣਾ senior-level ਦਾ ਮੁੱਲਵਾਨ ਗਿਆਨ ਹੈ — Kafka ਦੀ ਪ੍ਰਦਰਸ਼ਨ (ਕਿਉਂ ਇਹ ਡਿਸਕ ਦੀ ਵਰਤੋਂ ਦੇ ਬਾਵਜੂਦ ਤੇਜ਼ ਹੈ), durability (log), ਅਤੇ operations (KRaft) ਦੀ ਸਮਝ ਨੂੰ ਡੂੰਘਾ ਕਰਦੀ ਹੈ, ਉੱਚ ਤਰ੍ਹਾਂ ਦੀ ਸਮਝ ਦਰਸਾਉਂਦਾ ਹੈ ਜੋ ਡੂੰਢ Kafka ਦੀ ਮੁਹਾਰਤ ਨੂੰ ਅਲੱਗ ਕਰਦਾ ਹੈ, ਅਤੇ Kafka ਦੇ ਵਿਵਹਾਰ ਅਤੇ ਆਧੁਨਿਕ KRaft ਆਰਕੀਟੈਕਚਰ ਬਾਰੇ ਤਰਕ ਕਰਨ ਲਈ ਲਾਭਦਾਇਕ।