Jak funguje Kafka interně (úložiště logů, ZooKeeper/KRaft)?

Question

Accepted Answer

Interně Kafka ukládá data jako **append-only log** na disku (organizované v segmentech), používá efektivní techniky vstupu/výstupu a spravuje metadata clusteru prostřednictvím **ZooKeeperu** (historicky) nebo **KRaftu** (nyní). Pochopení interních mechanismů prohloubuje chápání chování a výkonu Kafky.

## Úložiště commit logu

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## Techniky efektivity

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## Koordinace clusteru: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## Proč na tom záleží

Pochopení, jak Kafka funguje interně, je cenné poznatky na úrovni senior, protože **prohloubuje chápání chování a výkonu Kafky**, což odráží sofistikované znalosti.

Pochopení Kafčiných interních mechanismů vysvětluje, proč se chová a funguje tak, jak se chová.

Pochopení **úložiště commit logu** — každý oddíl je append-only log na disku rozdělený na segmenty, s událostmi připojovanými sekvenčně (rychlé zápisy), identifikovanými offsetem, neměnnými po zapsání a starými segmenty smazanými nebo zkomprimovanými, s indexem pro rychlé vyhledávání offsetů — vysvětluje základní design úložiště Kafky (append-only log je základem její odolnosti a efektivity).

Pochopení **technik efektivity** — **sekvenční I/O** (připojování je rychlý sekvenční přístup na disk), **zero-copy** (přenos dat z disku do sítě bez kopírování přes aplikaci, pro efektivní čtení), **cache operačního systému** (spoléhání se na cache OS pro rychlé čtení nedávných dat) a dávkování/komprese — vysvětluje *proč je Kafka tak rychlá přestože používá disk*, klíčová poznatek (Kafka dosahuje vysokého výkonu prostřednictvím těchto rozhodnutí o designu, ne vyhýbáním se disku).

Pochopení **koordinace clusteru** — že Kafka spravuje metadata, členství brokerů a volbu leadera prostřednictvím **ZooKeeperu** historicky nebo **KRaftu** nyní (Kafčiného vlastního zabudovaného Raft konsenzu, který odstraňuje závislost na ZooKeeperu pro jednodušší operace a lepší škálovatelnost, moderní přístup) — odráží vědomí důležité architektonické evoluce v Kafce (přechod na KRaft, odstranění dlouhodobé závislosti na ZooKeeperu).

Toto hlubší porozumění (úložiště logů, techniky efektivity, evoluce koordinace) prohloubuje pochopení výkonu, odolnosti a operací Kafky, což odlišuje ty, kteří Kafku chápou hluboce.

Proto, že pochopení Kafčiných interních mechanismů (append-only úložiště logů, techniky efektivity jako sekvenční I/O a zero-copy, která ji činí rychlou, a evoluce koordinace ZooKeeper-na-KRaft) prohloubuje chápání jejího chování, výkonu a operací, a protože to odráží sofistikované znalosti Kafky, pochopení toho, jak Kafka funguje interně, je cenné poznání na úrovni senior — prohloubující pochopení výkonu Kafky (proč je rychlá přestože používá disk), odolnosti (log) a operací (KRaft), což odráží sofistikované porozumění, které odlišuje hlubokou expertizu v Kafce, a je užitečné pro uvažování o chování Kafky a moderní architektuře KRaftu.