Kako delujejo proizvajalci in potrošniki v Kafki?

Question

Accepted Answer

**Proizvajalci** objavljajo (pišejo) dogodki v Kafkove teme, in **potrošniki** se naročijo na (berejo) dogodke iz njih. Razumevanje, kako delujejo — vključno s particioniranjem, offseti in skupinami potrošnikov — je temeljno za uporabo Kafke.

## Proizvajalci — pisanje dogodkov

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Potrošniki — branje dogodkov

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Skupine potrošnikov (ključne za skalabilnost)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Zakaj je to pomembno

Razumevanje, kako delujejo proizvajalci in potrošniki, je temeljno, ker so **način, kako podatki vstopajo in izstopajo iz Kafke**, zato je bistveno za uporabo Kafke.

Proizvajalci pišejo dogodke in potrošniki jih berejo — osnovni tok podatkov.

Razumevanje **proizvajalcev** — objavljanja dogodkov v teme, pri čemer **ključ določa particijo** (isti ključ gre v isto particijo za urejanje, brez ključa se distribuira krožno), konfiguriranje potrditev za trajnost in skupiniranje za prepustnost — pokriva, kako podatki vstopajo v Kafko.

Razumevanje **potrošnikov** — branje dogodkov medtem, ko sledijo njihovemu **offsetu** (položaju) za nadaljevanje od tam, kjer so prenehali, branje s svojo hitrostjo, ker so dogodki ohranjeni, sposobnost **ponovnega predvajanja** od katerega koli offseta in potrjevanja offsetov za zapis napredka — pokriva, kako se podatki berejo, vključno s Kafkinim značilnim ponovnim predvajanjem.

Se pravi, razumevanje **skupin potrošnikov** je bistveno za Kafkin model skalabilnosti: potrošniki, ki delujejo skupaj, pri čemer je **vsaka particija potrošena s strani enega potrošnika v skupini** (omogoča paralelno obdelavo, skaliranje z dodajanjem potrošnikov do števila particij), s samodejnim **ponovno uravnoteženjem**, če potrošnik ne uspe (toleranca napak), medtem ko **različne skupine potrošnikov vsaka neodvisno berejo vse dogodke** (omogoča pub/sub, kjer vsaka skupina dobi polni tok).

Ta model skupin potrošnikov je temelj za to, kako Kafka skalira porabo in podpira tako vrste kot red čakanja (znotraj skupine) in pub/sub (med skupinami) vzorce.

Ker so proizvajalci in potrošniki način, kako podatki vstopajo in izstopajo iz Kafke, in ker je razumevanje njihovega delovanja — particioniranja, offsetov, ponovnega predvajanja in posebej skupin potrošnikov (ključ do skalabilnosti in dualnosti vrste čakanja/pub-sub) — bistveno za uporabo Kafke, je razumevanje, kako delujejo proizvajalci in potrošniki, bistveno, temeljno Kafkino znanje — temeljno za tok podatkov v Kafki, pri čemer so skupine potrošnikov posebej pomembne za razumevanje Kafkinega modela skalabilnosti in porabe ter potrebne za vsakogar, ki uporablja Kafko.