Hvordan fungerer produsenter og konsumenter i Kafka?

Question

Accepted Answer

**Produsenter** publiserer (skriver) hendelser til Kafka-emner, og **konsumenter** abonnerer på (leser) hendelser fra dem. Å forstå hvordan de fungerer — inkludert partisjonering, offsets og konsumentgrupper — er fundamental for å bruke Kafka.

## Produsenter — skrive hendelser

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Konsumenter — lese hendelser

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Konsumentgrupper (nøkkelen for skalering)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Hvorfor det er viktig

Å forstå hvordan produsenter og konsumenter fungerer er fundamental fordi de er **hvordan data flyter inn og ut av Kafka**, så det er essensielt for å bruke Kafka.

Produsenter skriver hendelser og konsumenter leser dem — den grunnleggende dataflytingen.

Å forstå **produsenter** — publisering av hendelser til emner, med **nøkkelen som bestemmer partisjonen** (samme nøkkel går til samme partisjon for rekkefølge, ingen nøkkel distribuerer round-robin), konfigurering av bekreftelser for holdbarhet, og batching for gjennomstrømning — dekker hvordan data kommer inn i Kafka.

Å forstå **konsumenter** — lese hendelser mens du sporer **offset** (posisjon) for å gjenoppta fra hvor de sluttet, lesing i eget tempo siden hendelser beholdes, mulighet til å **spille av** fra hvilken som helst offset, og forplikting av offsets for å registrere progresjon — dekker hvordan data leses, inkludert Kafkas særegne avspillingsfunksjonalitet.

Mest kritisk er det å forstå **konsumentgrupper** essensielt for Kafkas skaleringsmodell: konsumenter som arbeider sammen der **hver partisjon blir konsumert av en konsument i gruppen** (muliggjør parallell behandling, skalering ved å legge til konsumenter opp til antall partisjoner), med automatisk **rebalansering** hvis en konsument svikter (feiltoleranse), mens **ulike konsumentgrupper hver leser alle hendelser uavhengig** (muliggjør pub/sub der flere grupper får hver sin fulle strøm).

Denne konsumentgruppemodellen er fundamental for hvordan Kafka skalerer forbruk og støtter både kø-lignende (innenfor en gruppe) og pub/sub (på tvers av grupper) mønstre.

Siden produsenter og konsumenter er hvordan data flyter inn og ut av Kafka, og siden å forstå hvordan de fungerer — partisjonering, offsets, avspilling, og spesielt konsumentgrupper (nøkkelen til skalering og kø/pub-sub-dualiteten) — er essensielt for å bruke Kafka, er forståelse av hvordan produsenter og konsumenter fungerer essensielt, grunnleggende Kafka-kunnskap — fundamental for dataflytingen i Kafka, med konsumentgrupper som spesielt viktig for å forstå Kafkas skalerings- og forbruksmodell, og nødvendig for alle som bruker Kafka.