Bagaimanakah anda memilih strategi partitioning dalam Kafka?

Question

Accepted Answer

Memilih **strategi partitioning** — cara peristiwa diagihkan merentasi partition sesuatu topic — ialah keputusan reka bentuk Kafka yang penting yang menjejaskan **penyusunan, keselarian, dan pengagihan beban**. Kunci dan jumlah partition mesti dipilih dengan teliti.

## Bagaimana partitioning berfungsi

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Memilih kunci partition

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Memilih jumlah partition

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Mengapa ia penting

Memahami cara memilih strategi partitioning amat berharga kerana ia merupakan **keputusan reka bentuk Kafka yang penting** yang menjejaskan penyusunan, keselarian, dan beban, jadi ia relevan untuk mereka bentuk topic Kafka dengan baik.

Partitioning adalah teras kepada Kafka, dan memilih strategi (kunci dan jumlah) memberi kesan ketara kepada sistem.

Memahami **bagaimana partitioning berfungsi** — mesej pergi ke partition berdasarkan kunci (hash kunci, jadi kunci yang sama secara konsisten pergi ke partition yang sama) atau diagih secara round-robin tanpa kunci — menjelaskan mekanismenya.

Memahami cara **memilih kunci partition** ialah keputusan yang kritikal: kunci menentukan **penyusunan** (semua peristiwa dengan kunci yang sama pergi ke partition yang sama dan disusun bersama, contohnya mengunci dengan ID pengguna untuk menyusun peristiwa pengguna) dan **pengagihan** (kunci perlu tersebar sekata merentasi partition untuk beban seimbang), dengan perangkap penting kunci berkardinaliti rendah atau senget yang menyebabkan **hot partition** (terlebih beban, satu kesesakan) dan memilih skop penyusunan yang salah.

Panduan untuk memilih kunci yang memberikan penyusunan yang diperlukan dan pengagihan sekata ialah kemahiran utama.

Memahami cara **memilih jumlah partition** — lebih banyak partition membolehkan lebih banyak keselarian consumer (throughput) tetapi dengan overhead, merancang untuk pertumbuhan (kerana jumlah partition sukar dikurangkan dan menambah partition merosakkan pemetaan kunci-ke-partition dan justeru penyusunan, jadi anda menyaiz untuk skala masa depan terlebih dahulu), dan menyaiz secara kasar untuk keselarian consumer puncak — mencerminkan keputusan jumlah yang menjejaskan kebolehskalaan.

Keputusan partitioning ini (kunci untuk penyusunan/pengagihan, jumlah untuk keselarian/pertumbuhan) adalah penting kerana ia ketara dan sukar diubah kemudian, secara langsung menjejaskan ketepatan penyusunan, keseimbangan beban, dan kebolehskalaan.

Memandangkan partitioning ialah keputusan reka bentuk Kafka yang teras dan ketara (menjejaskan penyusunan, keselarian, dan beban) yang sukar diubah kemudian, dan memandangkan memahami cara memilih kunci partition (untuk penyusunan dan pengagihan sekata, mengelakkan hot partition) dan jumlah (untuk keselarian dan pertumbuhan) adalah penting untuk mereka bentuk topic dengan baik, memahami cara memilih strategi partitioning ialah pengetahuan Kafka yang berharga dan relevan secara praktikal — keputusan reka bentuk yang penting dan ketara yang menjejaskan penyusunan, pengagihan beban, dan kebolehskalaan, memerlukan pemilihan teliti kunci dan jumlah partition, serta teras kepada mereka bentuk topic Kafka yang menyusun dengan betul, menyeimbangkan beban, dan boleh skala.