Hvordan vælger du en partitioneringsstrategi i Kafka?

Question

Accepted Answer

Valg af en **partitioneringsstrategi** — hvordan events distribueres på tværs af et topics partitioner — er en vigtig Kafka-designbeslutning, der påvirker **rækkefølge, parallelisme og lastfordeling**. Partitionsnøglen og antallet af partitioner skal vælges omhyggeligt.

## Hvordan partitionering fungerer

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Valg af partitionsnøgle

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Valg af partitionsantal

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Hvorfor det betyder noget

At forstå, hvordan du vælger en partitioneringsstrategi, er værdifuldt, fordi det er en **vigtig Kafka-designbeslutning**, der påvirker rækkefølge, parallelisme og last, så det er relevant for at designe Kafka-topics godt.

Partitionering er central for Kafka, og valg af strategi (nøgle og antal) påvirker systemet betydeligt.

At forstå **hvordan partitionering fungerer** — messages går til en partition baseret på nøglen (hash af nøglen, så den samme nøgle konsekvent går til den samme partition) eller distribueres round-robin uden en nøgle — præciserer mekanismen.

At forstå, hvordan man **vælger partitionsnøglen**, er den afgørende beslutning: nøglen bestemmer **rækkefølge** (alle events med den samme nøgle går til den samme partition og ordnes sammen, f.eks. nøglering efter bruger-id for at ordne en brugers events) og **distribution** (nøgler skal sprede sig jævnt på tværs af partitioner for afbalanceret last), med de vigtige faldgruber af lav-kardinalitet eller skæve nøgler, der forårsager **hot partitions** (overbelastede, en flaskehals) og valg af forkert ordeningsomfang.

Vejledningen om at vælge en nøgle, der giver den nødvendige rækkefølge og jævn distribution, er den vigtige færdighed.

At forstå, hvordan man **vælger partitionsantal** — flere partitioner muliggør mere consumer-parallelisme (gennemstrømning), men med overhead, planering for vækst (da partitionsantal er svært at reducere, og tilføjelse af partitioner bryder nøgle-til-partition-mapping og dermed rækkefølge, så du dimensionerer for fremtidig skala på forhånd), og grovt dimensionering for peak consumer-parallelisme — afspejler antalsbeeslutningen, der påvirker skalerbarhed.

Disse partitioneringsbeslutninger (nøgle for rækkefølge/distribution, antal for parallelisme/vækst) er vigtige, fordi de er væsentlige og vanskelige at ændre senere, og de påvirker direkte rækkefølge-korrekthed, lastbalance og skalerbarhed.

Da partitionering er en central, væsentlig Kafka-designbeslutning (der påvirker rækkefølge, parallelisme og last), der er svær at ændre senere, og da forståelse for, hvordan du vælger partitionsnøglen (for rækkefølge og jævn distribution, undgåelse af hot partitions) og antallet (for parallelisme og vækst), er vigtig for at designe topics godt, er forståelse for, hvordan du vælger en partitioneringsstrategi, værdifuld, praktisk-relevant Kafka-viden — en vigtig, væsentlig designbeslutning, der påvirker rækkefølge, lastfordeling og skalerbarhed, der kræver omhyggelig valg af partitionsnøgle og antal, og central for at designe Kafka-topics, der ordner korrekt, balancerer last og skalerer.