Jak wybrać strategię partycjonowania w Kafce?

Question

Accepted Answer

Wybór **strategii partycjonowania** — jak zdarzenia są rozprowadzane między partycje tematu — to ważna decyzja projektowa Kafki wpływająca na **porządkowanie, równoległość i dystrybucję obciążenia**. Klucz partycji i liczba partycji muszą być wybrane ostrożnie.

## Jak działa partycjonowanie

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Wybór klucza partycji

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Wybór liczby partycji

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Dlaczego to ważne

Zrozumienie, jak wybrać strategię partycjonowania, jest wartościowe, ponieważ to **ważna decyzja projektowa Kafki** wpływająca na porządkowanie, równoległość i obciążenie, dlatego jest istotne dla prawidłowego projektowania tematów Kafki.

Partycjonowanie jest centralnym elementem Kafki, a wybór strategii (klucza i liczby) znacząco wpływa na system.

Zrozumienie **jak działa partycjonowanie** — wiadomości trafiające do partycji na podstawie klucza (hash klucza, więc ten sam klucz konsekwentnie trafia do tej samej partycji) lub rozprowadzane w systemie round-robin bez klucza — wyjaśnia mechanizm.

Zrozumienie, jak **wybrać klucz partycji** to kluczowa decyzja: klucz określa **porządkowanie** (wszystkie zdarzenia z tym samym kluczem trafiają do tej samej partycji i są porządkowane razem, np. klucz to ID użytkownika do porządkowania zdarzeń użytkownika) i **dystrybucję** (klucze muszą być równomiernie rozprowadzone między partycje dla zrównoważonego obciążenia), z ważnymi pułapkami niskiej kardynalności lub skośnych kluczy powodujących **gorące partycje** (przeciążone, wąskie gardło) i wybraniem złego zakresu porządkowania.

Wskazówką jest wybranie klucza zapewniającego potrzebne porządkowanie i równomierną dystrybucję — to kluczowa umiejętność.

Zrozumienie, jak **wybrać liczbę partycji** — więcej partycji umożliwia większą równoległość konsumentów (przepustowość), ale z kosztem, planowanie na przyszłość (ponieważ liczba partycji jest trudna do zmniejszenia, a dodanie partycji łamie mapowanie klucza do partycji i tym samym porządkowanie, dlatego rozmiar się ustala na przyszłą skalę z góry), i przybliżony rozmiar dla szczytowej równoległości konsumentów — odzwierciedla decyzję o liczbie wpływającą na skalowalność.

Te decyzje partycjonowania (klucz dla porządkowania/dystrybucji, liczba dla równoległości/wzrostu) są ważne, ponieważ są konsekwencyjne i trudne do zmiany później, bezpośrednio wpływając na poprawność porządkowania, równowagę obciążenia i skalowalność.

Ponieważ partycjonowanie to centralna, konsekwencja decyzja projektowa Kafki (wpływająca na porządkowanie, równoległość i obciążenie), która jest trudna do zmiany później, a zrozumienie, jak wybrać klucz partycji (dla porządkowania i równomiernej dystrybucji, unikając gorących partycji) i liczbę (dla równoległości i wzrostu) jest ważne dla prawidłowego projektowania tematów, zrozumienie jak wybrać strategię partycjonowania to cenna, praktycznie istotna wiedza Kafki — ważna, konsekwencja decyzja projektowa wpływająca na porządkowanie, dystrybucję obciążenia i skalowalność, wymagająca ostrożnego wyboru klucza partycji i liczby, i centralna dla projektowania tematów Kafki, które porządkują poprawnie, równoważą obciążenie i skalują się.