Kafka உள்ளிலே எப்படி வேலை செய்கிறது (log storage, ZooKeeper/KRaft)?

Question

Accepted Answer

உள்ளிலே, Kafka தரவை **append-only log** என்று disk-ல் சேமிக்கிறது (segments-ல் organize செய்யப்பட்டு), efficient I/O techniques-ஐ பயன்படுத்துகிறது, மற்றும் cluster metadata-ஐ **ZooKeeper** (வரலாற்று ரீதியாக) அல்லது **KRaft** (இப்போது) மூலம் நிர்வகிக்கிறது. Kafka-வின் internals-ஐ புரிந்துகொள்வது Kafka-வின் behavior மற்றும் performance-ஐ பற்றிய புரிதலை ஆழமாக்குகிறது.

## The commit log storage

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Efficiency techniques

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Cluster coordination: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## இது ஏன் முக்கியமானது

Kafka உள்ளிலே எப்படி வேலை செய்கிறது என்பதை புரிந்துகொள்வது valuable senior-level knowledge ஆகும் ஏனெனில் இது **Kafka-வின் behavior மற்றும் performance-ஐ பற்றிய புரிதலை ஆழமாக்குகிறது**, sophisticated knowledge-ஐ பிரதிபலிக்கிறது.

Kafka-வின் internals-ஐ புரிந்துகொள்வது அது ஏன் இப்படி behavior செய்கிறது மற்றும் செயல்பாடு செய்கிறது என்பதை விளக்குகிறது.

**The commit log storage**-ஐ புரிந்துகொள்வது — ஒவ்வொரு partition-ம் disk-ல் append-only log ஆக உள்ளது segments-ல் split செய்யப்பட்டு, events sequential ஆக append செய்யப்படும் (fast writes), offset மூலம் identify செய்யப்படும், written ஆன பிறகு immutable, மற்றும் old segments delete அல்லது compact செய்யப்படும், offset lookups-க்கு fast index உள்ளது — Kafka-வின் core storage design-ஐ விளக்குகிறது (append-only log இதன் durability மற்றும் efficiency-க்கு fundamental).

**Efficiency techniques**-ஐ புரிந்துகொள்வது — **sequential I/O** (appending fast sequential disk access ஆக உள்ளது), **zero-copy** (data-ஐ disk-ல் இருந்து network-க்கு application-ல் இருந்து copy செய்யாமல் transfer செய்வது, efficient reads-க்கு), **OS page cache** (recent data-வின் fast reads-க்கு OS cache-ல் rely செய்வது), மற்றும் batching/compression — *ஏன் Kafka disk-ஐ பயன்படுத்திக் கொண்டு மிகவும் fast இருக்கிறது* என்பதை விளக்குகிறது, ஒரு key insight (Kafka disk-ஐ avoid செய்வதன் மூலம் அல்ல, இந்த design choices-ஆல் high performance-ஐ achieve செய்கிறது).

**Cluster coordination**-ஐ புரிந்துகொள்வது — Kafka metadata, broker membership, மற்றும் leader election-ஐ historically **ZooKeeper**-ஆல் அல்லது இப்போது **KRaft**-ஆல் manage செய்கிறது (Kafka-வின் சொந்த built-in Raft consensus ஆகும் ZooKeeper dependency-ஐ remove செய்வதற்கு simpler operations மற்றும் better scalability-க்கு, modern approach) — Kafka-வில் ஒரு important architectural evolution-ஐ பற்றிய awareness-ஐ பிரதிபலிக்கிறது (KRaft-க்கு move, long-standing ZooKeeper dependency-ஐ remove செய்வது).

இந்த internal understanding (log storage, efficiency techniques, coordination evolution) Kafka-வின் performance, durability, மற்றும் operations-ஐ பற்றிய comprehension-ஐ ஆழமாக்குகிறது, Kafka-ஐ deeply புரிந்துகொண்டவர்களை வேறுபடுத்துகிறது.

Kafka-வின் internals-ஐ புரிந்துகொள்வது (append-only log storage, efficiency techniques like sequential I/O மற்றும் zero-copy ஆகியவை fast செய்கிறது, மற்றும் ZooKeeper-ல் இருந்து KRaft coordination evolution) அதன் behavior, performance, மற்றும் operations-ஐ பற்றிய புரிதலை ஆழமாக்குகிறது, மற்றும் இது sophisticated Kafka knowledge-ஐ பிரதிபலிக்கிறது, எனவே Kafka உள்ளிலே எப்படி வேலை செய்கிறது என்பதை புரிந்துகொள்வது valuable senior-level knowledge ஆகும் — Kafka-வின் performance-ஐ பற்றிய புரிதலை ஆழமாக்குகிறது (ஏன் disk-ஐ பயன்படுத்திக் கொண்டு fast இருக்கிறது), durability (log), மற்றும் operations (KRaft), sophisticated understanding-ஐ பிரதிபலிக்கிறது ஆகும் deep Kafka expertise-ஐ வேறுபடுத்துகிறது, மற்றும் Kafka-வின் behavior மற்றும் modern KRaft architecture-ஐ பற்றி reason செய்வதற்கு useful.