Melyek a Kafka alapfogalmai (topics, partitions, brokers)?

Question

Accepted Answer

A Kafka alapfogalmai közé tartoznak a **topics** (eseménykategóriák), **partitions** (a párhuzamosság egységei a topicok között), **brokers** (a szerverek), **producers** (írók) és **consumers** (olvasók). Ezek megértése alapvető a Kafka-val való munkához.

## Alapfogalmak

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions és offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## Hogyan illeszkedik össze

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## Miért fontos

A Kafka alapfogalmainak megértése alapvető, mert a **topics, partitions, brokers, producers és consumers a Kafka építőelemei**, ezért ezek megértése nélkülözhetetlen bármilyen Kafka-munkához.

Ezek a fogalmak képezik a Kafka működésének alapját.

A **topics** (elnevezett eseménykategóriák/streamek, amelyekbe a producerek írnak és amelyeket a consumerek olvasnak) megértése az alapvető szervezési koncepció.

A **partitions** megértése különösen fontos: a topicok particiókra vannak osztva (rendezett, csak-hozzáfűzhető logok), amelyek a **párhuzamosság és skálázás egységei**, a fontos tulajdonsággal, hogy **a sorrend garantált egy particion belül, de nem particiók között** — ez egy kulcsfogalom, amely befolyásolja a Kafka skálázódását és eseménysorrend-kezelését.

A **brokers** (a Kafka szerverek, egy klasztert képezve), **producers** (eseményeket írók) és **consumers** (eseményeket olvasók) megértése egészíti ki az alapvető architektúrát.

A **partitions és offsets** megértése — mindegyik particio egy rendezett, immutable szekvencia, ahol az eseményeknek **offsetjai** (pozíciók) vannak, a consumerek követik az offsetjüket a folytatáshoz és visszajátszáshoz, az események megmaradnak, így a consumerek saját tempójukban olvashatnak, és a **partition key** határozza meg, mely particioba kerül egy esemény (ugyanaz a kulcs → ugyanaz a particio → sorrend az adott kulcshoz) — elengedhetetlen a Kafka adatmodelljének és sorrendjárulékainak megértéséhez.

A **hogyan illeszkedik össze** megértése (a producerek a topics/particiokba írnak, amelyek replikált brokereken tárolódnak, a consumerek olvasnak az offsetok követésével) a teljes képet adja.

Ezek a fogalmak a Kafka szókincse és mechanizmusa, amelyre minden más épít.

Mivel a topics, partitions, brokers, producers, consumers és offsets a Kafka alapvető építőelemei (a partitions és sorrend különösen fontos fogalmakkal), és mivel ezek megértése nélkülözhetetlen bármilyen Kafka-munkához, a Kafka alapfogalmainak megértése alapvető, fundamentális ismeret — a Kafka-val való munkához szükséges építőelemek, központiak a Kafka szervezésének, skálázásának, sorrend-kezelésének és eseménytárolásának megértéséhez, és minden Kafka-témakör alapja.