Hvordan fungerer producere og consumere i Kafka?

Question

Accepted Answer

**Producere** publicerer (skriver) events til Kafka-topics, og **consumere** abonnerer på (læser) events fra dem. Det er afgørende at forstå, hvordan de fungerer — herunder partitionering, offsets og consumer groups — for at kunne bruge Kafka.

## Producere — skrivning af events

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumere — læsning af events

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (vigtig for skalering)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Hvorfor det betyder noget

At forstå, hvordan producere og consumere fungerer, er fundamentalt, fordi de er **hvordan data flyder ind og ud af Kafka**, så det er vigtigt for at bruge Kafka.

Producere skriver events, og consumere læser dem — den grundlæggende dataflow.

At forstå **producere** — publicering af events til topics, hvor **nøglen bestemmer partitionen** (samme nøgle går til samme partition for rækkefølge, ingen nøgle distribueres round-robin), konfigurering af acknowledgments for holdbarhed, og batching for throughput — dækker, hvordan data kommer ind i Kafka.

At forstå **consumere** — læsning af events mens deres **offset** (position) spores for at kunne genoptage derfra, hvor de stoppede, læsning i deres eget tempo, da events bevares, mulighed for at **afspille** fra enhver offset, og commit af offsets for at registrere fremskridt — dækker, hvordan data læses, herunder Kafkas særegne afspilningskapacitet.

Mest importantly, at forstå **consumer groups** er afgørende for Kafkas skaleringsmodel: consumere, der arbejder sammen, hvor **hver partition forbruges af én consumer i gruppen** (muliggør parallel behandling, skalering ved at tilføje consumere op til partitionsantallet), med automatisk **rebalancering**, hvis en consumer fejler (fejltolerance), mens **forskellige consumer groups hver læser alle events uafhængigt** (muliggør pub/sub, hvor flere grupper hver får den fulde stream).

Denne consumer-group-model er fundamental for, hvordan Kafka skalerer forbrug og understøtter både køagtige (inden for en gruppe) og pub/sub (på tværs af grupper) mønstre.

Da producere og consumere er, hvordan data flyder ind og ud af Kafka, og da forståelse af deres funktion — partitionering, offsets, afspilning, og især consumer groups (nøglen til skalering og køen/pub-sub-dualiteten) — er vigtig for at bruge Kafka, er forståelse af, hvordan producere og consumere fungerer, vigtig, grundlæggende Kafka-viden — fundamental for dataflowet i Kafka, hvor consumer groups er særligt vigtige for at forstå Kafkas skalerings- og forbrugsmodel, og nødvendige for enhver, der bruger Kafka.