Kokie yra pagrindinės Kafka koncepcijos (temos, skaidai, brokeriai)?

Question

Accepted Answer

Kafka pagrindinės koncepcijos apima **temas** (įvykių kategorijas), **skaidus** (lygiagretaus apdorojimo vienetus temose), **brokerius** (serverius), **gamintojus** (rašymo operacijas) ir **vartotojus** (skaitymo operacijas). Šių koncepcijų supratimas yra esmingas darbui su Kafka.

## Pagrindinės koncepcijos

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Skaidai ir ofsetai

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## Kaip tai veikia kartu

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## Kodėl tai svarbu

Supratimas apie Kafka pagrindines koncepcijas yra esmingas, nes **temos, skaidai, brokeriai, gamintojai ir vartotojai yra Kafka statybiniai blokai**, todėl jų supratimas yra būtinas bet kokiam Kafka darbui.

Šios koncepcijos sudaro pagrindą, kaip veikia Kafka.

Supratimas apie **temas** (pavadintas įvykių kategorijas/srautus, į kuriuos gamintojai rašo ir iš kurių vartotojai skaito) yra pagrindinė organizavimo koncepcija.

Supratimas apie **skaidus** yra ypač svarbus: temos yra suskaidytos į skaidus (sutvarkytas, tik pridedamos žurnalus), kurie yra **lygiagretaus apdorojimo ir skalabilumo vienetas**, turintys svarbią savybę, kad **eilės tvarka garantuojama skaido ribose, bet ne skirtinguose skaiduose** – tai yra pagrindinė koncepcija, turinčiai įtakos Kafka skalabilumui ir įvykių tvarkai.

Supratimas apie **brokerius** (Kafka serverius, sudarančius klasterį), **gamintojus** (rašančius įvykius) ir **vartotojus** (skaitančius įvykius) užbaigia pagrindinę architektūrą.

Supratimas apie **skaidus ir ofsetus** – kiekvienas skaidus yra sutvarkytas, nepakeičiamas sekų rinkinys, kuriame įvykiai turi **ofsetus** (pozicijas), vartotojai stebi jų ofsetą, kad galėtų tęsti ir pakartoti, įvykiai išlaikomi, kad vartotojai skaitytų savo tempu, ir **skaido raktas** nustato, į kurį skaidą įvykis eina (tas pats raktas → tas pats skaidus → tvarka tam raktui) – tai yra esmingas supratimui apie Kafka duomenų modelį ir eilės tvarkos garantijas.

Supratimas apie **kaip tai veikia kartu** (gamintojai rašo į temas/skaidus, saugomas replikuotuose brokerių, vartotojai skaito, stebėdami ofsetus) suteikia išsamų vaizdą.

Šios koncepcijos yra Kafka žodynas ir mechanika, kurie sudaro viską kita.

Kadangi temos, skaidai, brokeriai, gamintojai, vartotojai ir ofsetai yra pagrindiniai Kafka statybiniai blokai (skaidai ir tvarka yra ypač svarbios koncepcijos), ir kadangi jų supratimas yra būtinas bet kokiam Kafka darbui, Kafka pagrindinių koncepcijų supratimas yra esmingas, fundamentalus žinios – Kafka statybiniai blokai, būtini darbui su ja, centriniai supratimui, kaip Kafka organizuoja, skaliuoja, tvarkė ir saugo įvykius, ir pagrindas visuose Kafka temoms.