Kokia yra Kafka bendras architektūra?

Question

Accepted Answer

Kafka architektūra susideda iš **brokerių klasterio** (serverių), kurie saugo padalintus, replikuotus topiką, su **gamintojais** (producers) rašančiais ir **vartotojais** (consumers) skaitančiais, kuriamiems koordinuoti metaduomenų valdymas (istoriškai ZooKeeper, dabar KRaft). Architektūros supratimas išaiškina, kaip Kafka veikia kaip paskirstyta sistema.

## Komponentai

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## Replikavimas patvarumui ir pasiekiamumui

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## Kaip tai veikia kartu

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## Kodėl tai svarbu

Kafka bendros architektūros supratimas yra vertingas, nes jis **išaiškina, kaip Kafka veikia kaip paskirstyta sistema**, todėl tai yra pagrindinis žinias darbui su Kafka.

Kafka yra paskirstyta sistema, ir jos architektūros supratimas paaiškina, kaip jis pasiekia mastelį, patvarumą ir pasiekiamumą.

Superant **komponentus** — **brokerius** (Kafka serverius, sudarančius klasterį, kuris saugo particijas ir aptarnauja klientus, pasiskirstydamas duomenis ir apkrovą), topiká/particijas paskirstytas brokerių, gamintojus rašančius ir vartotojus skaitančius, bei **koordinavimą** (metaduomenų ir klasterio valdymą, istoriškai per ZooKeeper, dabar vis daugiau per **KRaft** — Kafka savą integruotą konsensusą, kuris pašalina ZooKeeper priklausomybę) — išaiškina sistemos dalinis.

**Replikavimo dėl patvarumo ir pasiekiamumo** supratimas yra ypač svarbus: particijos yra **replikuotos skirtinguose brokerių** (kiekviena su **lyderiu** tvarkančiu skaitymus/rašymus ir **sekėjais** ją replikuojančiais), todėl jei lyderis žlunga, sekėjas prisiima (pasiekiamumas), su **replikacijos koeficientu** nustatančiu, kiek kopijų išgyvena nesėkmes be duomenų nuostolių (patvarumas), ir **sinchronizuotomis replikomis** užtikrinant patvarumo garantijas.

Šis replikacijos mechanizmas yra tai, kaip Kafka pasiekia atsakomybę ir patvarumą — raktas į jos patikimumą.

**Kaip tai veikia kartu** supratimas (gamintojai rašantys į particijų lyderius, replikuojami sekėjams, vartotojai skaitantys, viš koordinuojama) pateikia pilną Kafka vaizdą kaip paskirstytą, replikuotą, mastelį

Šio architektūros supratimas išaiškina, kaip Kafka pristato savo pagrindinius savybes (mastelį per paskirstytus padalintus brokerius, patvarumą ir pasiekiamumą per replikavimą).

Kadangi Kafka yra paskirstyta sistema ir jos architektūros supratimas (brokeriai, replikavimas su lyderiais/sekėjais, koordinavimas) išaiškina, kaip jis pasiekia mastelį, patvarumą ir pasiekiamumą, ir kadangi tai yra pagrindinis darbui su Kafka, Kafka bendros architektūros supratimas yra vertinga, pagrindine žinias — išaiškinanti, kaip Kafka veikia kaip paskirstyta, replikuota sistema (brokeriai, replikavimas dėl atsakomybės, koordinavimas), paaiškindama, kaip jis pristato savo pagrindinius savybes, ir pagrindinė Kafka supratimui ir valdymui.