Hoe werken producers en consumers in Kafka?

Question

Accepted Answer

**Producers** publiceren (schrijven) events naar Kafka-onderwerpen, en **consumers** abonneren zich op (lezen) events ervan. Inzicht in hoe ze werken — inclusief partitionering, offsets en consumer groups — is fundamenteel voor het gebruik van Kafka.

## Producers — events schrijven

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events lezen

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (essentieel voor schaling)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Waarom het belangrijk is

Inzicht in hoe producers en consumers werken is fundamenteel omdat zij **hoe gegevens in en uit Kafka stromen**, dus het is essentieel voor het gebruik van Kafka.

Producers schrijven events en consumers lezen ze — de basisgegevensstroom.

Inzicht in **producers** — events publiceren naar onderwerpen, waarbij de **key de partitie bepaalt** (dezelfde key gaat naar dezelfde partitie voor ordening, geen key distribueert round-robin), acknowledgments configureren voor duurzaamheid, en batching voor doorvoer — dekt hoe gegevens Kafka binnenkomen.

Inzicht in **consumers** — events lezen terwijl ze hun **offset** (positie) bijhouden om te hervatten vanaf waar zij stopten, lezen in hun eigen tempo omdat events behouden blijven, in staat zijn om **replay uit te voeren** vanaf elke offset, en offsets committen om voortgang vast te leggen — dekt hoe gegevens worden gelezen, inclusief Kafka's onderscheidende replay-mogelijkheid.

Het allerbelangrijkste is dat inzicht in **consumer groups** essentieel is voor Kafka's schaalmodel: consumers die samenwerken waarbij **elke partitie door één consumer in de groep wordt verbruikt** (parallelle verwerking inschakelen, schalen door consumers toe te voegen tot aan het aantal partities), met automatische **herbalancering** als een consumer uitvalt (foutentolerantie), terwijl **verschillende consumer groups elk onafhankelijk alle events lezen** (pub/sub mogelijk maken waarbij meerdere groepen elk de volledige stroom krijgen).

Dit consumer-group-model is fundamenteel voor hoe Kafka het verbruik schaalt en zowel queue-achtige (binnen een groep) als pub/sub-patronen (tussen groepen) ondersteunt.

Omdat producers en consumers hoe gegevens in en uit Kafka stromen, en omdat inzicht in hoe zij werken — partitionering, offsets, replay, en vooral consumer groups (de sleutel tot schaling en de queue/pub-sub-dualiteit) — essentieel is voor het gebruik van Kafka, is inzicht in hoe producers en consumers werken essentiële, fundamentele Kafka-kennis — fundamenteel voor de gegevensstroom in Kafka, met consumer groups vooral belangrijk voor het begrijpen van Kafka's schaal- en verbruiksmodel, en noodzakelijk voor iedereen die Kafka gebruikt.