Jak funguje replikace v Kafce?

Question

Accepted Answer

Kafka **replikuje** oddíly (partitions) across multiple brokers pro **trvanlivost a dostupnost** — každý oddíl má vedoucího (leader) a následující repliky (follower). Pokud broker selže, follower jej převezme. Pochopení replikace je klíčové pro odolnost Kafky vůči chybám.

## Jak replikace funguje

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Kompromisy mezi trvanlivostí a dostupností

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## Proč je to důležité

Pochopení toho, jak replikace v Kafce funguje, je cenné, protože je **klíčové pro trvanlivost a dostupnost Kafky** (odolnost vůči chybám), a je důležité pro pochopení a spolehlivý provoz Kafky.

Replikace je to, jak Kafka zajišťuje, že data nejsou ztracena a zůstávají dostupná navzdory selháním brokerů.

Pochopení **jak replikace funguje** — každý oddíl replikovaný across brokers (podle replication factor) s **leaderem** zpracovávajícím čtení/zápisy a **followers** jej replikujícími, takže pokud broker leadera selže, je follower povýšen (failover, což poskytuje pokračující dostupnost bez ztráty dat) — vysvětluje mechanismus odolnosti Kafky vůči chybám.

Pochopení **in-sync replicas (ISR)** — souboru replik, které jsou synchronizovány s leaderem, kde pouze synchronizované repliky mohou být leaderem (zajišťují, že nový leader má data), a konfigurace trvanlivosti (acks=all plus min.insync.replicas) zajišťující potvrzení zápisů pouze tehdy, když dostatek ISRs má data (přežití selhání bez ztráty) — je ústředním prvkem toho, jak Kafka vyrovnává trvanlivost a dostupnost, klíčový koncept provozu.

Pochopení **kompromisů mezi trvanlivostí a dostupností** — replication factor (více kopií = více odolnosti vůči chybám), nastavení producenta **acks** (acks=0 rychlé, ale může ztratit data, acks=1 pouze leader, acks=all bezpečné, ale pomalejší), a min.insync.replicas — odráží důležitá rozhodnutí konfigurace, která vyrovnávají trvanlivost proti throughputu a dostupnosti.

Tyto kompromisy jsou praktická rozhodnutí při provozu Kafky: silnější trvanlivost (acks=all, více replik, vyšší min ISRs) versus výkon.

Pochopení replikace je nezbytné pro spolehlivý provoz Kafky a konfiguraci správných záruk trvanlivosti.

Protože replikace je klíčová pro trvanlivost a dostupnost Kafky (odolnost vůči chybám skrze leader/follower replikaci a failover) a pochopení toho — mechanismus, ISR, a kompromisy trvanlivosti/dostupnosti (replication factor, acks, min ISRs) — je důležité pro spolehlivý provoz Kafky a konfiguraci příslušných záruk, pochopení jak replikace v Kafce funguje je cenné, prakticky relevantní znalosti — centrální pro odolnost Kafky vůči chybám a trvanlivost, důležité pro pochopení toho, jak Kafka přežije selhání a pro konfiguraci záruk trvanlivosti (acks, replication factor, ISR), a klíčové pro spolehlivý provoz Kafky.