Kako Kafka radi interno (spremanje dnevnika, ZooKeeper/KRaft)?

Question

Accepted Answer

Interno, Kafka sprema podatke kao **append-only dnevnik** na disku (organiziran u segmente), koristi efikasne I/O tehnike, i upravlja metapodacima klastera preko **ZooKeepera** (istorijski) ili **KRafta** (sada). Razumevanje internih mehanizama produbljuje razumevanje Kafkinog ponašanja i performansi.

## Spremanje commit dnevnika

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Tehnike efikasnosti

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Koordinacija klastera: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## Zašto je to važno

Razumevanje kako Kafka radi interno je dragoceno znanje na nivou seniora jer **produbljuje razumevanje Kafkinog ponašanja i performansi**, što odražava sofisticirano znanje.

Razumevanje Kafkinih internih mehanizama objašnjava zašto se ponaša i performira na način na koji to čini.

Razumevanje **spremanja commit dnevnika** — gde je svaka particija append-only dnevnik na disku podeljen na segmente, sa dogadjajima koji se dodaju sekvencijalno (brzo pisanje), identifikovani prema offsetu, nepromenjivi nakon pisanja, sa starim segmentima obrisanim ili kompajliranim, i indeksom za brzo pretvaranje offseta — objašnjava Kafkinu osnovnu strukturu za skladištenje (append-only dnevnik je fundamentalan za njenu trajnost i efikasnost).

Razumevanje **tehnika efikasnosti** — **sekvencijalna I/O** (dodavanje je brz sekvencijalni pristup disku), **zero-copy** (prenos podataka sa diska na mrežu bez kopiranja kroz aplikaciju, za efikasno čitanje), **OS page cache** (oslanjanje na OS cache za brzo čitanje nedavnih podataka), i batch/kompresija — objašnjava *zašto je Kafka tako brza uprkos korišćenju diska*, ključnu uvidu (Kafka postiže visoke performanse kroz ove dizajnerske izbore, a ne izbegavanjem diska).

Razumevanje **koordinacije klastera** — da Kafka upravlja metapodacima, članstvom brokera, i izborom lidera preko **ZooKeepera** istorijski ili **KRafta** sada (Kafkina sopstvena ugrađena Raft konsenzus koja uklanja ZooKeeper zavisnost za jednostavnije operacije i bolju skalabilnost, moderni pristup) — odražava svest o važnoj arhitektonskoj evoluciji u Kafki (prelazak na KRaft, uklanjanje dugoročne ZooKeeper zavisnosti).

Ovo interno razumevanje (spremanje dnevnika, tehnike efikasnosti, evolucija koordinacije) produbljuje razumevanje Kafkinih performansi, trajnosti, i operacija, razlikujući one koji razumeju Kafku duboko.

Pošto razumevanje Kafkinih internih mehanizama (append-only sprema dnevnika, tehnike efikasnosti kao što su sekvencijalna I/O i zero-copy koje je čine brzom, i ZooKeeper-to-KRaft evolucija koordinacije) produbljuje razumevanje njenog ponašanja, performansi, i operacija, i pošto ovo odražava sofisticirano Kafkino znanje, razumevanje kako Kafka radi interno je dragoceno znanje na nivou seniora — produbljujući razumevanje Kafkinih performansi (zašto je brza uprkos korišćenju diska), trajnosti (dnevnik), i operacija (KRaft), odražavajući sofisticirano razumevanje koje razlikuje duboku Kafkinu stručnost, i korisno za rezonovanje o Kafkinoj ponašanju i modernoj KRaft arhitekturi.