Kaip veikia producentai ir vartotojai „Kafka

Question

Accepted Answer

**Producentai** publikuoja (rašo) įvykius į Kafka temas, o **vartotojai** prenumeruoja (skaito) iš jų įvykius. Suprasti, kaip jie veikia — įskaitant skaidymą skiltimis, poslinkius ir vartotojų grupes — yra esmingas žingsnis naudojant Kafka.

## Producentai — įvykių rašymas

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Vartotojai — įvykių skaitymas

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Vartotojų grupės (svarbios skalėjimui)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Kodėl tai svarbu

Suprasti, kaip veikia producentai ir vartotojai, yra esminė žinia, nes jie yra **kaip duomenys teka į ir iš Kafka**, todėl tai yra būtina naudojant Kafka.

Producentai rašo įvykius, o vartotojai juos skaito — pagrindinis duomenų srautas.

Suprasti **producentus** — publikuojant įvykius į temas, kurioje **raktas nustato skiltį** (tas pats raktas eina į tą pačią skiltį siekiant išlaikyti tvarką, jei rakto nėra, jis paskirstomas apskritai), konfigūruojant patvirtinimus patvarumui ir grupavimą per paketą — apima kaip duomenys patenka į Kafka.

Suprasti **vartotojus** — skaitant įvykius, kai sekama jų **poslinkis** (padėtis), siekiant atnaujinti iš vietos kur jie sustojo, skaitymas savo tempu, nes įvykiai yra išsaugoti, galėjimas **grąžinti** iš bet kurio poslinko ir patvirtinti poslinkius, kad būtų užregistruotas darbas — apima kaip duomenys yra skaitomi, įskaitant Kafka unikalų grąžinimo galimybę.

Svarbiausia, suprasti **vartotojų grupes** yra būtina Kafka skalėjimui: vartotojai dirba kartu, kur **kiekviena skiltis yra vartojama vieno grupės vartotojo** (leidžiama lygiagretaus apdorojimo, skalėjimo pridedant vartotojus iki skiltų skaičiaus), su automatiniu **persvarstymu**, jei vartotojas neveikia (gedimų tolerancija), o **skirtingos vartotojų grupės kiekviena skaito visus įvykius nepriklausomai** (leidžiama pub/sub, kur kelios grupės kiekviena gauna pilną srautą).

Šis vartotojų grupės modelis yra pagrindinis tam, kaip Kafka skalėja suvartojimą ir palaiko tiek eilės tipo (grupės viduje), tiek pub/sub (per grupes) šablonus.

Besidominant duomenų srautu tarp producentų ir vartotojų į ir iš Kafka, ir nes jų veikimo supratimas — skaldymas skiltimis, poslinkiai, grąžinimas ir ypač vartotojų grupės (raktas į skalėjimą ir eilės/pub-sub dualumą) — yra būtinas naudojant Kafka, suprasti kaip veikia producentai ir vartotojai yra būtina, pagrindinė Kafka žinja — esminė duomenų srautui Kafka, o vartotojų grupės yra ypatingai svarbios suprasti Kafka skalėjimą ir vartojimo modelį, ir būtina kiekvienam naudojančiam Kafka.