როგორ მუშაობს Kafka შიგნით (log storage, ZooKeeper/KRaft)?

Question

Accepted Answer

ნებისმიერად, Kafka ინახავს მონაცემებს **append-only log** სახით დისკზე (organized in segments), იყენებს ეფექტიან I/O ტექნიკას, და მართავს cluster metadata-ს **ZooKeeper**-ის საშუალებით (ისტორიულად) ან **KRaft**-ის საშუალებით (ახლა). შიგნითი სტრუქტურის გაგება ღრმავდება Kafka-ის ქცევისა და პროდუქტიულობის გაგებას.

## The commit log storage

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Efficiency techniques

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Cluster coordination: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## რატომ აქვს ეს მნიშვნელობა

Kafka-ს შიგნითი სტრუქტურის გაგება ღირებული senior-level ცოდნაა, რადგან ეს **ღრმავდება Kafka-ის ქცევისა და პროდუქტიულობის გაგებას**, რაც ასახავს მოწინავე ცოდნას.

Kafka-ს შიგნითი სტრუქტურის გაგება ხსნის, რატომ იქცევა და მუშაობს ის ისე, როგორც მუშაობს.

**commit log storage-ის გაგება** — თითოეული partition იყო append-only log დისკზე, რომელიც დაყოფილია segments-ებად, events დამატებულია თანმიმდევრობით (სწრაფი writes), identifided offset-ის მიერ, უცვლელი მას შემდეგ, რაც დაწერილია, და ძველი segments წაშლილი ან compacted, index-ით სწრაფი offset ძიებისთვის — ხსნის Kafka-ის ძირითად storage design-ს (append-only log ყოფილია fundamental მის durability-სა და efficiency-სთან).

**efficiency techniques-ის გაგება** — **sequential I/O** (appending იყო სწრაფი sequential disk access), **zero-copy** (მონაცემების გადაცემა დისკიდან network-ზე without copying through the application, efficient reads-ისთვის), **OS page cache** (relying on the OS cache სწრაფი reads-ისთვის recent data-ს), და batching/compression — ხსნის *რატომ არის Kafka ისე სწრაფი despite using disk*, ძირითადი insight (Kafka აღწევს high performance-ს through these design choices, not by avoiding disk).

**cluster coordination-ის გაგება** — რომ Kafka მართავს metadata-ს, broker membership-ს, და leader election-ს **ZooKeeper**-ის საშუალებით ისტორიულად ან **KRaft**-ის საშუალებით ახლა (Kafka-ს საკუთარი built-in Raft consensus რომელიც ამოღებს ZooKeeper dependency-ს უფრო მარტივი operations-ისთვის და better scalability-სთვის, თანამედროვე approach) — ასახავს awareness-ს Kafka-ს important architectural evolution-ის (move to KRaft, removing the long-standing ZooKeeper dependency).

ეს შიგნითი გაგება (log storage, efficiency techniques, coordination evolution) ღრმავდება Kafka-ის performance, durability, და operations-ის გაგებას, განასხვავებს იმათ, ვინც გაიგებს Kafka-ს ღრმად.

ვინაიდან Kafka-ს შიგნითი სტრუქტურის გაგება (append-only log storage, efficiency techniques როგორიცაა sequential I/O და zero-copy რომელიც ხდის მას სწრაფს, და ZooKeeper-to-KRaft coordination evolution) ღრმავდება მისი ქცევის, performance-ის, და operations-ის გაგებას, და ვინაიდან ეს ასახავს sophisticated Kafka ცოდნას, Kafka-ს შიგნითი სტრუქტურის გაგება ღირებული senior-level ცოდნაა — ღრმავდება Kafka-ის performance-ის გაგებას (რატომ არის ის სწრაფი despite using disk), durability-ს (the log), და operations-ს (KRaft), ასახავს sophisticated understanding-ს რომელიც განასხვავებს deep Kafka expertise-ს, და სასარგებლო Kafka-ს ქცევის და თანამედროვე KRaft architecture-ის reasoning-ისთვის.