Kako proizvodači i konzumenti funkcioniraju u Kafki?

Question

Accepted Answer

**Proizvodači** objavljuju (pišu) događaje u Kafkine teme, a **konzumenti** se pretplaćuju na (čitaju) događaje iz njih. Razumijevanje kako funkcioniraju — uključujući particioniranje, offsete i grupe konzumenata — je temeljno za korištenje Kafke.

## Proizvodači — pisanje događaja

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Konzumenti — čitanje događaja

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Grupe konzumenata (ključne za skaliranje)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Zašto je to važno

Razumijevanje kako funkcioniraju proizvodači i konzumenti je temeljno jer su oni **način na koji podaci ulaze i izlaze iz Kafke**, zato je bitno za korištenje Kafke.

Proizvodači pišu događaje, a konzumenti ih čitaju — osnovni tok podataka.

Razumijevanje **proizvodača** — objavljivanja događaja u teme, s **ključem koji određuje particiju** (isti ključ ide u istu particiju za redoslijed, bez ključa distribuira se round-robin), konfiguracija acknowledgmenata za trajnost, te batch procesiranja za propusnost — pokriva kako podaci ulaze u Kafku.

Razumijevanje **konzumenata** — čitanja događaja dok prate svoj **offset** (poziciju) kako bi se nastavili gdje su stali, čitanja vlastitom brzinom jer su eventi zadržani, mogućnosti **ponovnog čitanja** iz bilo kojeg offseta, te commitment offseta kako bi se zabilježio napredak — pokriva kako se podaci čitaju, uključujući Kafkinu specifičnu mogućnost ponovnog čitanja.

Najvažnije je razumijevanje **grupa konzumenata** bitno za Kafkin model skaliranja: konzumenti koji surađuju gdje **svaku particiju čita jedan konzument u grupi** (omogućujući paralelnu obradu, skaliranje dodavanjem konzumenata do broja particija), s automatskim **prebalansiranjenm** ako konzument ne uspije (tolerancija greške), dok **različite grupe konzumenata neovisno čitaju sve događaje** (omogućujući pub/sub gdje svaka grupa dobije puni tok).

Ovaj model grupa konzumenata je temeljan za kako se Kafka skalira konzumiranje i podržava oboje red čekanja (unutar grupe) i pub/sub (između grupa) uzorka.

Budući da su proizvodači i konzumenti kako podaci ulaze i izlaze iz Kafke, te budući da je razumijevanje kako funkcioniraju — particioniranje, offseti, ponovno čitanje, i posebice grupe konzumenata (ključ za skaliranje i dualnost red čekanja/pub-sub) — bitno za korištenje Kafke, razumijevanje kako funkcioniraju proizvodači i konzumenti je bitno, temeljno Kafkino znanje — temeljno za tok podataka u Kafki, s grupama konzumenata koje su posebice važne za razumijevanje Kafkina modela skaliranja i konzumiranja, te nužne za svakoga tko koristi Kafku.