Jak si vyberete strategii dělení v Kafce?

Question

Accepted Answer

Výběr **strategie dělení** — jak jsou události distribuovány napříč oddíly tématu — je důležité rozhodnutí při návrhu Kafky ovlivňující **řazení, paralelismus a distribuci zátěže**. Klíč oddílu a počet oddílů musí být vybrány pečlivě.

## Jak dělení funguje

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Výběr klíče oddílu

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Výběr počtu oddílů

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Proč je to důležité

Rozmění, jak si vybrat strategii dělení, je cenné, protože jde o **důležité rozhodnutí při návrhu Kafky** ovlivňující paralelismus, zátěž a řazení, takže je relevantní pro správný návrh Kafka témat.

Dělení je centrální pro Kafku a výběr strategie (klíče a počtu) výrazně ovlivňuje systém.

Rozmění **jak dělení funguje** — zprávy jdou do oddílu na základě klíče (hash klíče, takže stejný klíč konzistentně jde do stejného oddílu) nebo jsou distribuovány round-robin bez klíče — objasňuje mechanismus.

Rozmění, jak **vybrat klíč oddílu**, je klíčové rozhodnutí: klíč určuje **řazení** (všechny události se stejným klíčem jdou do stejného oddílu a jsou seřazeny společně, např. klíčování podle ID uživatele pro řazení událostí uživatele) a **distribuci** (klíče musí být rovnoměrně rozprostřeny v oddílech pro vyváženou zátěž), s důležitými úskalími nízkých kardinalit nebo vychýlených klíčů způsobujících **horké oddíly** (přetížené, úzké místo) a výběrem nesprávného rozsahu řazení.

Navádění vybrat klíč poskytující potřebné řazení a rovnoměrnou distribuci je klíčová dovednost.

Rozmění, jak **vybrat počet oddílů** — více oddílů umožňuje větší paralelismus spotřebitelů (propustnost), ale s režií, plánování na růst (protože počet oddílů je těžké snížit a přidání oddílů narušuje mapování klíče na oddíl a tím pádem i řazení, takže měříte velikost pro budoucí škálování předem), a zhruba měříte pro špičkový paralelismus spotřebitelů — odráží rozhodnutí o počtu, které ovlivňuje škálovatelnost.

Tato rozhodnutí o dělení (klíč pro řazení/distribuci, počet pro paralelismus/růst) jsou důležitá, protože jsou důsledná a jejich změna později je těžká, přímo ovlivňující správnost řazení, vyvážení zátěže a škálovatelnost.

Protože dělení je centrální, důležité rozhodnutí při návrhu Kafky (ovlivňující řazení, paralelismus a zátěž), které je těžké později změnit, a protože rozmění, jak si vybrat klíč oddílu (pro řazení a rovnoměrnou distribuci, vyhýbání se horkým oddílům) a počet (pro paralelismus a růst), je důležité pro správný návrh témat, rozmění, jak si vybrat strategii dělení, je cenné, prakticky relevantní znalosti Kafky — důležité, důsledné rozhodnutí při návrhu ovlivňující řazení, distribuci zátěže a škálovatelnost, vyžadující pečlivý výběr klíče oddílu a počtu, a centrální pro návrh Kafka témat, která řadí správně, vyrovnávají zátěž a škálují.