Wie funktionieren Producer und Consumer in Kafka?

Question

Accepted Answer

**Producer** veröffentlichen (schreiben) Events in Kafka-Topics, und **Consumer** abonnieren (lesen) Events von ihnen. Das Verständnis ihrer Funktionsweise — einschließlich Partitionierung, Offsets und Consumer Groups — ist grundlegend für die Nutzung von Kafka.

## Producer — Events schreiben

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumer — Events lesen

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer Groups (Schlüssel zur Skalierung)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Warum es wichtig ist

Das Verständnis, wie Producer und Consumer funktionieren, ist grundlegend, da sie **wie Daten in und aus Kafka fließen**, daher ist es unverzichtbar für die Nutzung von Kafka.

Producer schreiben Events und Consumer lesen sie — der grundlegende Datenfluss.

Das Verständnis von **Producern** — Veröffentlichung von Events in Topics, wobei der **Schlüssel die Partition bestimmt** (derselbe Schlüssel geht in dieselbe Partition für Reihenfolge, kein Schlüssel verteilt Round-Robin), Konfiguration von Bestätigungen für Dauerhaftigkeit und Batching für Durchsatz — deckt ab, wie Daten in Kafka gelangen.

Das Verständnis von **Consumern** — Lesen von Events während sie ihren **Offset** (Position) verfolgen, um von dort weiterzumachen, wo sie aufgehört haben, Lesen in ihrem eigenen Tempo, da Events beibehalten werden, die Möglichkeit, von jedem Offset zu **wiederholen**, und das Committen von Offsets, um Fortschritt aufzuzeichnen — deckt ab, wie Daten gelesen werden, einschließlich Kafkas charakteristische Replay-Fähigkeit.

Vor allem ist das Verständnis von **Consumer Groups** für Kafkas Skalierungsmodell unverzichtbar: Consumer arbeiten zusammen, wobei **jede Partition von einem Consumer in der Gruppe konsumiert wird** (parallele Verarbeitung ermöglichend, Skalierung durch Hinzufügen von Consumern bis zur Partitionsanzahl), mit automatischem **Rebalancing**, wenn ein Consumer ausfällt (Fehlertoleranz), während **verschiedene Consumer Groups jeweils alle Events unabhängig lesen** (Pub/Sub ermöglichend, wobei mehrere Gruppen jeweils den vollständigen Stream erhalten).

Dieses Consumer-Group-Modell ist grundlegend für die Skalierung des Konsums in Kafka und unterstützt sowohl Queue-ähnliche (innerhalb einer Gruppe) als auch Pub/Sub-Muster (über Gruppen hinweg).

Da Producer und Consumer **wie Daten in und aus Kafka fließen**, und da das Verständnis ihrer Funktionsweise — Partitionierung, Offsets, Replay und besonders Consumer Groups (Schlüssel zur Skalierung und Queue/Pub-Sub-Dualität) — unverzichtbar für die Nutzung von Kafka ist, ist das Verständnis, wie Producer und Consumer funktionieren, unverzichtbares, grundlegendes Kafka-Wissen — grundlegend für den Datenfluss in Kafka, wobei Consumer Groups besonders wichtig für das Verständnis von Kafkas Skalierungs- und Konsumptionsmodell sind und notwendig für jeden, der Kafka nutzt.