Jak fungují producenti a spotřebitelé v Kafce?

Question

Accepted Answer

**Producenti** publikují (zapisují) události do Kafka topiců a **spotřebitelé** se přihlašují k jejich (čtení) událostí. Pochopení toho, jak fungují — včetně dělení na oddíly, offsetů a skupin spotřebitelů — je základní pro použití Kafky.

## Producenti — zápis událostí

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Spotřebitelé — čtení událostí

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Skupiny spotřebitelů (klíčové pro škálování)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Proč je to důležité

Pochopení toho, jak fungují producenti a spotřebitelé, je základní, protože jsou to **způsob, jak data vstupují a vystupují z Kafky**, takže je to nezbytné pro používání Kafky.

Producenti zapisují události a spotřebitelé je čtou — základní tok dat.

Pochopení **producentů** — publikování událostí do topiců, s **klíčem určujícím oddíl** (stejný klíč jde do stejného oddílu pro řazení, bez klíče se distribuuje round-robin), konfigurování potvrzení pro trvanlivost a dávkování pro propustnost — pokrývá způsob, jak data vstupují do Kafky.

Pochopení **spotřebitelů** — čtení událostí při sledování jejich **offsetu** (pozice) k obnovení odkud skončili, čtení jejich vlastním tempem, protože jsou události uchovávány, schopnost **přehrát** z jakéhokoliv offsetu a potvrzování offsetů k zaznamenání pokroku — pokrývá způsob, jak se data čtou, včetně charakteristické schopnosti Kafky přehrávat.

Nejdůležitější je pochopení **skupin spotřebitelů**, které je nezbytné pro model škálování Kafky: spotřebitelé pracující společně, kde **každý oddíl je spotřebován jedním spotřebitelem ve skupině** (umožňuje paralelní zpracování, škálování přidáním spotřebitelů až do počtu oddílů), s automatickým **vyvažováním** v případě selhání spotřebitele (tolerance poruch), zatímco **různé skupiny spotřebitelů si každá čtou všechny události nezávisle** (umožňuje pub/sub, kde více skupin si každá vezme celý proud).

Tento model skupiny spotřebitelů je základní pro to, jak se Kafka škáluje spotřeba a podporuje vzory podobné frontě (v rámci skupiny) a pub/sub (mezi skupinami).

Protože producenti a spotřebitelé jsou způsob, jak data vstupují a vystupují z Kafky, a protože pochopení jejich fungování — dělení na oddíly, offsety, přehrávání a zvláště skupiny spotřebitelů (klíč ke škálování a dualitě fronty/pub-sub) — je nezbytné pro použití Kafky, je pochopení toho, jak fungují producenti a spotřebitelé, nezbytné, základní znalosti Kafky — základní pro tok dat v Kafce, přičemž skupiny spotřebitelů jsou zvláště důležité pro pochopení modelu škálování a spotřeby Kafky a nezbytné pro všechny, kteří Kafku používají.