Jaka jest ogólna architektura Kafki?

Question

Accepted Answer

Architektura Kafki składa się z **klastra brokerów** (serwerów) przechowujących podzielone i replikowane tematy, z **producentami** piszącymi i **konsumentami** czytającymi, koordynowanymi przez zarządzanie metadanymi (historycznie ZooKeeper, teraz KRaft). Zrozumienie architektury wyjaśnia, jak Kafka działa jako system rozproszony.

## Komponenty

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## Replikacja dla trwałości i dostępności

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## Jak to działa razem

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## Dlaczego to ważne

Zrozumienie ogólnej architektury Kafki jest cenne, ponieważ **wyjaśnia, jak Kafka działa jako system rozproszony**, dlatego jest to podstawowa wiedza do pracy z Kafką.

Kafka jest systemem rozproszonym, a zrozumienie jej architektury wyjaśnia, jak osiąga skalowalność, trwałość i dostępność.

Zrozumienie **komponentów** — **brokerów** (serwery Kafki tworzące klaster przechowujący partycje i obsługujący klientów, rozprowadzając dane i obciążenie), tematów/partycji rozproszonych między brokerami, producentów piszących i konsumentów czytających oraz **koordynacji** (zarządzanie metadanymi i klastrem, historycznie za pośrednictwem ZooKeeper, teraz coraz bardziej za pośrednictwem **KRaft** — wbudowanego konsensusu Kafki, który eliminuje zależność od ZooKeeper) — wyjaśnia części systemu.

Zrozumienie **replikacji dla trwałości i dostępności** jest szczególnie ważne: partycje są **replikowane między brokerami** (każda z **liderem** obsługującym odczyty/zapisy i **obserwatorami** replikującymi) tak, że jeśli lider zawiedzie, obserwator go zastępuje (dostępność), a **współczynnik replikacji** określa, ile kopii przetrwa awarie bez utraty danych (trwałość), i **zsynchronizowane repliki** zapewniają gwarancje trwałości.

Ten mechanizm replikacji jest sposobem, w jaki Kafka osiąga tolerancję błędów i trwałość — kluczowy dla jej niezawodności.

Zrozumienie **sposobu, w jaki to działa razem** (producenci piszą do liderów partycji, replikowane do obserwatorów, konsumenci czytają, wszystko koordynowane) zapewnia pełny obraz Kafki jako rozproszonego, replikowanego, skalowalnego systemu.

To rozumienie architektury wyjaśnia, jak Kafka dostarcza swoje kluczowe właściwości (skalowalność poprzez rozproszone podzielone brokery, trwałość i dostępność poprzez replikację).

Ponieważ Kafka jest systemem rozproszonym i zrozumienie jej architektury (brokery, replikacja z liderami/obserwatorami, koordynacja) wyjaśnia, jak osiąga skalowalność, trwałość i dostępność, i ponieważ jest to podstawowe dla pracy z Kafką, zrozumienie ogólnej architektury Kafki jest cenną, fundamentalną wiedzą — wyjaśniającą, jak Kafka działa jako rozproszony, replikowany system (brokery, replikacja dla tolerancji błędów, koordynacja), wyjaśniającą, jak dostarcza swoje kluczowe właściwości, i fundamentalną dla zrozumienia i obsługi Kafki.