Hvordan fungerer meldingsrekkefølge i Kafka?

Question

Accepted Answer

Kafka garanterer **rekkefølge innenfor en partisjon**, men **ikke på tvers av partisjoner** — et viktig konsept. For å få rekkefølge for relaterte hendelser, sender du dem til samme partisjon (via samme nøkkel). Å forstå rekkefølge er viktig for korrekthet.

## Rekkefølge per partisjon

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## Få rekkefølge for relaterte hendelser

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Avveiinger og hensyn

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## Hvorfor det er viktig

Å forstå meldingsrekkefølge i Kafka er verdifullt fordi **rekkefølge er et grunnleggende, ofte misforstått Kafka-konsept** som er viktig for korrekthet, så det er essential kunnskap.

Kafkas rekkefølgegaranti er spesifikk og viktig å forstå.

Å forstå **rekkefølge per partisjon** — at Kafka garanterer rekkefølge **innenfor en partisjon** (hendelser strengt ordnet etter offset, lest i rekkefølge) men **ikke på tvers av partisjoner** (hendelser i ulike partisjoner uten relativ rekkefølge, behandlet parallelt) — er en grunnleggende Kafka-egenskap og en **vanlig kilde til misforståelse** (folk antar ofte feilaktig global rekkefølge), så å forstå det riktig er essensielt for korrekthet.

Å forstå hvordan man **får rekkefølge for relaterte hendelser** — ved å sende dem til samme partisjon ved å bruke samme **nøkkel** (så relaterte hendelser som alle hendelser for en spesifikk ordre eller bruker, nøklet på den entiteten, går til samme partisjon og forblir ordnet) — er den sentrale praktiske teknikken for å oppnå rekkefølgekorrekthet som applikasjoner trenger (per-enhet-rekkefølge via nøkling).

Å forstå **avveiingene og hensynene** — at rekkefølge innenfor en nøkkel/partisjon **begrenser parallelisme** for den nøkkelen (alle hendelser for en nøkkel behandlet av én consumer i rekkefølge), at noen ting bryter rekkefølge (producer-forsøk uten idempotens og max.in.flight=1, tillegg av partisjoner som endrer nøkkeltilordning), og at du bør bruke ingen nøkkel når rekkefølge ikke er nødvendig (for maksimal parallelisme) men nøkle passende når det er (akseptere parallelismens omfang) — reflekterer den nyanserte forståelsen som trengs for å designe for korrekt rekkefølge samtidig som du balanserer parallelisme.

Denne rekkefølgekunnskap er viktig fordi å få det galt (anta global rekkefølge, eller ikke nøkle hendelser som trenger rekkefølge) forårsaker ekte korrekthetsfeil.

Siden rekkefølge er et grunnleggende, ofte misforstått Kafka-konsept (kun per-partisjon, krever nøkler for rekkefølge av relaterte hendelser) viktig for korrekthet, og siden å forstå garantien, hvordan oppnå rekkefølge via nøkler, og avveiingene (rekkefølge vs parallelisme) er essensielt, er å forstå meldingsrekkefølge i Kafka verdifullt, essential Kafka-kunnskap — et grunnleggende, ofte misforstått konsept kritisk for korrekthet, hvor å forstå rekkefølge per partisjon og nøkkelbasert ruting for relaterte hendelser (og parallelisme-avveiingen) er nødvendig for å designe Kafka-systemer som ordner hendelser korrekt, et nøkkelkonsept som hver Kafka-bruker må forstå nøyaktig.