Kako odabrati strategiju particioniranja u Kafki?

Question

Accepted Answer

Odabir **strategije particioniranja** — kako se eventi distribuiraju kroz particije teme — važna je Kafka odluka pri dizajniranju koja utječe na **redoslijed, paralelizam i distribuciju opterećenja**. Ključ particije i broj particija moraju biti odabrani pažljivo.

## Kako particioniranje funkcionira

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Odabir ključa particije

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Odabir broja particija

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Zašto je važno

Razumijevanje kako odabrati strategiju particioniranja vrijedno je jer je to **važna Kafka odluka pri dizajniranju** koja utječe na redoslijed, paralelizam i opterećenje, te je relevantna za dobar dizajn Kafka tema.

Particioniranje je temelj Kafke, a odabir strategije (ključa i broja) značajno utječe na sustav.

Razumijevanje **kako particioniranje funkcionira** — poruke odlaze u particiju na temelju ključa (heš ključa, tako da isti ključ dosljedno ide u istu particiju) ili se distribuiraju round-robin bez ključa — pojašnjava mehanizam.

Razumijevanje kako **odabrati ključ particije** ključna je odluka: ključ određuje **redoslijed** (svi eventi s istim ključem odlaze u istu particiju i su uređeni zajedno, npr. particioniranje prema ID-u korisnika za redoslijed događaja korisnika) i **distribuciju** (ključevi trebaju biti ravnomjerno rašireni kroz particije za uravnoteženo opterećenje), s važnim zamkama niskokardinalnih ili iskrivljenih ključeva koji uzrokuju **vruće particije** (preopterećene, usko grlo) i odabir pogrešnog opsega redoslijeda.

Smjernica za odabir ključa koji pruža potreban redoslijed i ravnomjernu distribuciju ključna je vještina.

Razumijevanje kako **odabrati broj particija** — više particija omogućuje veći paralelizam potrošača (propusnost) ali s generalnom potrošnjom, planiranje za rast (jer je broj particija teško smanjiti i dodavanje particija prekida mapiranje ključa na particiju i time redoslijed, tako da unaprijed dimenzionirате za budući opseg) i grubi raspored za paralelizam maksimalnog potrošača — odražava odluku broja koja utječe na skalabilnost.

Ove odluke o particioniranju (ključ za redoslijed/distribuciju, broj za paralelizam/rast) važne su jer su posljedične i teške se promijeniti kasnije, izravno utječući na ispravnost redoslijeda, balansiranje opterećenja i skalabilnost.

Budući da je particioniranje centralna, posljedična Kafka odluka pri dizajniranju (koja utječe na redoslijed, paralelizam i opterećenje) teška se promijeniti kasnije, i budući da je razumijevanje kako odabrati ključ particije (za redoslijed i ravnomjernu distribuciju, izbjegavanje vruće particije) i broj (za paralelizam i rast) važno za dobar dizajn tema, razumijevanje kako odabrati strategiju particioniranja vrijedno je, praktično relevantno Kafka znanje — važna, posljedična Kafka odluka pri dizajniranju koja utječe na redoslijed, distribuciju opterećenja i skalabilnost, zahtijevajući pažljiv odabir ključa particije i broja, te je temelj dizajniranja Kafka tema koje pravilno raspoređuju redoslijed, balansiraju opterećenje i skaliraju se.