Kaip pasirinkti skaidymo strategiją Kafka?

Question

Accepted Answer

Pasirinkimas **skaidymo strategijos** — kaip renginiai paskirstomi per temos skaidus — yra svarbus Kafka projektavimo sprendimas, turintis įtakos **užsakymui, lygiagretumui ir apkrovos paskirstymui**. Skaidymo raktas ir skaičius turi būti parinkti atsargiai.

## Kaip skaidymas veikia

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Skaidymo rakto pasirinkimas

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Skaidų skaičiaus pasirinkimas

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Kodėl tai svarbu

Supratimas, kaip pasirinkti skaidymo strategiją, yra vertingas, nes tai yra **svarbus Kafka projektavimo sprendimas**, turintis įtakos lygiagretumui, apkrovai ir užsakymui, todėl tai svarbu gerai projek­tuojant Kafka temas.

Skaidymas yra esminė Kafka dalis, o strategijos pasirinkimas (raktas ir skaičius) reikš­mingai veikia sistemą.

Supratimas, **kaip skaidymas veikia** — pranešimai eidami į skaidą pagal raktą (rakto maiša, todėl tas pats raktas nuosekliai eina į tą patį skaidą) arba paskirstomi apskritai be rakto — paaiškina mechanizmą.

Supratimas, kaip **pasirinkti skaidymo raktą**, yra lemiamas sprendimas: raktas nustato **užsakymą** (visi renginiai su tuo pačiu raktu eidami į tą patį skaidą ir būdami užsakyti kartu, pvz., raktavimas pagal naudotojo ID užsakyti naudotojo renginių) ir **paskirstymą** (raktams reikėdant tolygiai pasiskirstyti skaidais dėl subalansuotos apkrovos), su svarbiais spąstais, kad žemo kardinalumo arba iškreipti raktai sukelia **karštas skaidus** (perkrautos, kliūtis) ir neteisingos užsakymo srities pasirinkimas.

Patarimas pasirinkti raktą, suteikiantį reikalingą užsakymą ir tolygų paskirstymą, yra pagrindinė įgūdis.

Supratimas, kaip **pasirinkti skaidų skaičių** — daugiau skaidų suteikiant daugiau vartotojo lygiagretizmo (pralaidumą), bet su pridėta apkrova, plėtros planavimu (kadangi skaidų skaičius sunkiai mažinamas ir skaidų pridėjimas sulaužo rakto-į-skaidą atitiktį ir taip pažeidžia užsakymą, todėl iš anksto dydyje būsimiems reikalavimams), ir maždaug dydyje piko vartotojo lygiagretizmui — atspindi skaičiaus sprendimą, turintį įtakos masteliui.

Šie skaidymo sprendimai (raktas užsakymui/paskirstymui, skaičius lygiagretizmui/augimui) yra svarbūs, nes jie yra reikšmingi ir sunkiai keičiami vėliau, tiesiogiai veikdami užsakymo teisingumą, apkrovos balansą ir masteliavimą.

Kadangi skaidymas yra esmingas, reikšmingas Kafka projektavimo sprendimas (veikiantis užsakymą, lygiagretumą ir apkrovą), kuris sunkiai keičiamas vėliau, ir kadangi supratimas, kaip pasirinkti skaidymo raktą (užsakymui ir tolygiam paskirstymui, vengtant karštų skaidų) ir skaičių (lygiagretizmui ir augimui), yra svarbus temų projektavimui, supratimas, kaip pasirinkti skaidymo strategiją, yra vertingas, praktiškai taikomas Kafka žinias — svarbus, reikšmingas projektavimo sprendimas, veikiantis užsakymą, apkrovos paskirstymą ir masteliavimą, reikalaujantis atsargaus skaidymo rakto ir skaičiaus pasirinkimo, ir esmingas Kafka temoms projek­tuoti, kurios teisingai užsakytos, balansuoja apkrovą ir masteliuojasi.