Kaip veikia replikacija Kafkoje?

Question

Accepted Answer

Kafka **replikuoja** particijas keliuose brokeriais, kad būtų užtikrinta **patvarumas ir prieinamumas** — kiekviena particija turi vadovą ir sekėjo replikus. Jei brokeris nepavyksta, sekėjas jį pakeičia. Replikacijos supratimas yra esminis Kafkos atsakomybės tolerancijai.

## Kaip veikia replikacija

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## Sinchronizuoti replikacijos (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Patvarumo ir prieinamumo kompromisai

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## Kodėl tai svarbu

Suprasti, kaip veikia replikacija Kafkoje, yra vertinga, nes tai **esminis Kafkos patvarumui ir prieinamumui** (atsakomybės tolerancija), todėl svarbu suprasti ir aptarnauti Kafką patikimai.

Replikacija yra tai, kaip Kafka užtikrina, kad duomenys nebūtų prarasti ir būtų prieinami nepaisant brokerio gedimų.

Suprasti **kaip veikia replikacija** — kiekviena particija replikuota keliuose brokeriais (pagal replikacijos koeficientą) su **vadovu**, kuris tvarko skaitymus/rašymus, ir **sekėjais**, kurie jį replikuoja, todėl jei vadovo brokeris nepavyksta, sekėjas paaukština (failover, suteikiant tęstinumą be duomenų praradimo) — paaiškina Kafkos atsakomybės tolerancijos mechanizmą.

Suprasti **sinchronizuotus replikus (ISR)** — repliku aibę, atitinkančią vadovą, kur tik sinchronizuoti replikacijos gali tapti vadovu (užtikrinant, kad naujas vadas turi duomenis), ir patvarumo konfigūraciją (acks=all ir min.insync.replicas) — užtikrinant, kad rašymai yra patvirtinti tik tada, kai pakankamai ISR turėjo duomenis (išlikę gedimų be praradimo) — yra centrinė, kaip Kafka subalansuoja patvarumą ir prieinamumą, svarbus operacinis koncepcija.

Suprasti **patvarumo ir prieinamumo kompromisus** — replikacijos koeficientą (daugiau kopijų = daugiau atsakomybės), gamintojo **acks** nustatymą (acks=0 greitas, bet gali prarasti duomenis, acks=1 tik vadovas, acks=all saugus bet lėtesnis), ir min.insync.replicas — atspindi svarbias konfigūracijos sprendimus, kurie subalansuoja patvarumą su pralaidumu ir prieinamumu.

Šie kompromisai yra praktiniai sprendimai valdant Kafką: stipresnis patvarumas (acks=all, daugiau repliku, aukštesni min ISR) lyginant su našumu.

Suprasti replikaciją yra būtina norint patikimai valdyti Kafką ir konfigūruoti tinkamas patvarumo garantijas.

Del to, kad replikacija yra esminis Kafkos patvarumui ir prieinamumui (atsakomybės tolerancija per vadovo/sekėjo replikaciją ir failover) ir supratimas apie ją — mechanizmas, ISR, ir patvarumo/prieinamumo kompromisus (replikacijos koeficientas, acks, min ISR) — yra svarbus Kafkos patikimam valdymui ir atitinkamų garantijų konfigūracijai, supratimas, kaip veikia replikacija Kafkoje, yra vertingas, praktiškai svarbus žinojimas — centrinis Kafkos atsakomybės tolerancijai ir patvarumui, svarbus norint suprasti, kaip Kafka išgyvena gedimai ir norint konfigūruoti patvarumo garantijas (acks, replikacijos koeficientas, ISR), ir esminis Kafkos patikimam valdymui.