Kaip viduje veikia Kafka (žurnalo saugojimas, ZooKeeper/KRaft)?

Question

Accepted Answer

Viduje Kafka saugo duomenis kaip **tik append-only žurnalą** diske (organizuotą segmentais), naudoja efektyvias I/O technikas ir valdo klasterio metaduomenis per **ZooKeeper** (istoriškai) arba **KRaft** (dabar). Supratus vidinius mechanizmus, giliau supranti Kafka elgesį ir našumą.

## Commit žurnalo saugojimas

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Efektyvumo technikos

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Klasterio koordinacija: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## Kodėl tai svarbu

Suprasti, kaip viduje veikia Kafka, yra vertinga aukštesnio lygio žinių sritis, nes tai **gilina supratimą apie Kafka elgesį ir našumą**, atspindindama pažangią žinią.

Suprasti Kafka vidinius mechanizmus paaiškina, kodėl ji veikia ir dirba taip, kaip ji veikia.

Suprasti **commit žurnalo saugojimą** — kiekvienas skaidinio yra append-only žurnalas diske, padalintas į segmentus, su įvykiais, nuosekliai pridedamais (greiti rašymai), identifikuojamais pagal offset, neišmainyti kartą parašyti, ir senų segmentų ištrinami arba suspausti, su indeksu greitam offset paieškai — paaiškina Kafka pagrindinį saugojimo dizainą (append-only žurnalas būdamas fundamentalus jos patikimumui ir efektyvumui).

Suprasti **efektyvumo technikas** — **nuoseklus I/O** (pridėjimas yra greitas nuoseklus disko prieiga), **zero-copy** (duomenų perdavimas iš disko į tinklą be kopijimo per aplikaciją, greitam skaitymui), **OS puslapių cache** (pasiklausimas OS cache greitam nesenų duomenų skaitymui), ir paketi/suspaudimas — paaiškina *kodėl Kafka yra tokia greita nepaisant disko naudojimo*, pagrindinę idėją (Kafka pasiekia aukštą našumą per šias dizaino pasirinkimus, ne vengdama disko).

Suprasti **klasterio koordinaciją** — kad Kafka valdo metaduomenis, broker narystę ir lyderio rinkimą per **ZooKeeper** istoriškai arba **KRaft** dabar (Kafka savoji įmontuota Raft konsensusu, kuri pašalina ZooKeeper priklausomybę dėl paprastesnių operacijų ir geresnio mastelio, šiuolaikinis metodas) — atspindi sąmoningumą apie svarbią architektūrinę evoliuciją Kafka (perėjimą į KRaft, pašalinant ilgai gyvavusią ZooKeeper priklausomybę).

Šis vidinis supratimas (žurnalo saugojimas, efektyvumo technikos, koordinacijos evoliucija) gilina Kafka našumo, patikimumo ir operacijų suvokimą, skiriančius tuos, kurie Kafka supranta giliai.

Kadangi supratimas apie Kafka vidinius mechanizmus (append-only žurnalo saugojimas, efektyvumo technikos kaip nuoseklus I/O ir zero-copy, dėl kurių ji greita, ir ZooKeeper-į-KRaft koordinacijos evoliucija) gilina supratimą apie jos elgesį, našumą ir operacijas, ir kadangi tai atspindi pažangią Kafka žinią, supratimas, kaip viduje veikia Kafka, yra vertinga aukštesnio lygio žinių sritis — gilindama Kafka našumo suvokimą (kodėl ji greita nepaisant disko naudojimo), patikimumą (žurnalas) ir operacijas (KRaft), atspindidama pažangų supratimą, kuris skiria gilią Kafka žinovimą, ir naudingas samprotavimams apie Kafka elgesį ir modernią KRaft architektūrą.