Jakie są podstawowe koncepcje Kafki (topics, partitions, brokers)?

Question

Accepted Answer

Podstawowe koncepcje Kafki obejmują **topics** (kategorie zdarzeń), **partitions** (jednostki równoległości w ramach topics), **brokers** (serwery), **producers** (pisanie) i **consumers** (odczyt). Zrozumienie tych koncepcji jest fundamentalne do pracy z Kafką.

## Podstawowe koncepcje

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions i offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## Jak to się łączy

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## Dlaczego to ważne

Zrozumienie podstawowych koncepcji Kafki jest fundamentalne, ponieważ **topics, partitions, brokers, producers i consumers są blokami budowlanymi Kafki**, więc ich opanowanie jest niezbędne dla każdej pracy z Kafką.

Te koncepcje stanowią fundament działania Kafki.

Zrozumienie **topics** (nazwanych kategorii/strumieni zdarzeń, do których producenci piszą, a konsumenci czytają) jest podstawową koncepcją organizacyjną.

Zrozumienie **partitions** jest szczególnie ważne: topics są podzielone na partitions (uporządkowane, tylko-dołączane logi), które są **jednostką równoległości i skalowania**, z kluczową właściwością, że **porządek jest gwarantowany w ramach partition, ale nie między partitions** — kluczowa koncepcja wpływająca na to, jak Kafka się skaluje i porządkuje zdarzenia.

Zrozumienie **brokers** (serwery Kafki, tworzące klaster), **producers** (pisanie zdarzeń) i **consumers** (odczyt zdarzeń) uzupełnia podstawową architekturę.

Zrozumienie **partitions i offsets** — każda partition będąc uporządkowaną niezmienną sekwencją, gdzie zdarzenia mają **offsets** (pozycje), konsumenci śledzą swój offset, aby wznowić i powtórzyć, zdarzenia są przechowywane, aby konsumenci czytali we własnym tempie, a **partition key** określa, do której partition trafia zdarzenie (ten sam klucz → ta sama partition → porządek dla tego klucza) — jest niezbędne do zrozumienia modelu danych Kafki i gwarancji porządkowania.

Zrozumienie **jak to się łączy** (producenci piszą do topics/partitions przechowywanych na replikowanych brokers, konsumenci czytają przy śledzeniu offsets) dostarcza pełny obraz.

Te koncepcje są słownictwem i mechaniką Kafki, na której buduje się wszystko inne.

Ponieważ topics, partitions, brokers, producers, consumers i offsets są fundamentalnymi blokami budowlanymi Kafki (przy czym partitions i porządkowanie są szczególnie ważnymi koncepcjami), a zrozumienie ich jest niezbędne dla każdej pracy z Kafką, zrozumienie podstawowych koncepcji Kafki jest niezbędną, fundamentalną wiedzą — blokami budowlanymi Kafki niezbędnymi do pracy z nią, centralnymi do zrozumienia, jak Kafka organizuje, skaluje, porządkuje i przechowuje zdarzenia, oraz fundamentem dla wszystkich zagadnień związanych z Kafką.