Bagaimana Anda memilih strategi partisi di Kafka?

Question

Accepted Answer

Memilih **strategi partisi** — bagaimana event didistribusikan ke seluruh partisi suatu topik — merupakan keputusan desain Kafka yang penting yang mempengaruhi **pengurutan, paralelisme, dan distribusi beban**. Kunci partisi dan jumlah partisi harus dipilih dengan hati-hati.

## Bagaimana partisi bekerja

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Memilih kunci partisi

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Memilih jumlah partisi

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Mengapa ini penting

Memahami cara memilih strategi partisi bernilai tinggi karena merupakan **keputusan desain Kafka yang penting** yang mempengaruhi paralelisme, beban, dan pengurutan, sehingga relevan untuk merancang topik Kafka dengan baik.

Partisi adalah inti Kafka, dan memilih strategi (kunci dan jumlah) secara signifikan mempengaruhi sistem.

Memahami **bagaimana partisi bekerja** — pesan masuk ke partisi berdasarkan kunci (hash kunci, sehingga kunci yang sama secara konsisten masuk ke partisi yang sama) atau didistribusikan round-robin tanpa kunci — memperjelas mekanismenya.

Memahami cara **memilih kunci partisi** adalah keputusan yang krusial: kunci menentukan **pengurutan** (semua event dengan kunci yang sama masuk ke partisi yang sama dan diurutkan bersama, misalnya menggunakan user ID untuk mengurutkan event pengguna) dan **distribusi** (kunci perlu tersebar merata di seluruh partisi untuk beban yang seimbang), dengan perangkap penting dari kunci dengan kardinalitas rendah atau kunci yang miring menyebabkan **hot partition** (kelebihan beban, menjadi bottleneck) dan memilih ruang pengurutan yang salah.

Panduan untuk memilih kunci yang memberikan pengurutan dan distribusi yang diperlukan adalah keterampilan kunci.

Memahami cara **memilih jumlah partisi** — lebih banyak partisi memungkinkan paralelisme konsumen yang lebih besar (throughput) tetapi dengan overhead, perencanaan untuk pertumbuhan (karena jumlah partisi sulit dikurangi dan menambah partisi merusak pemetaan kunci-ke-partisi dan dengan demikian pengurutan, jadi Anda mengukur untuk skala masa depan di awal), dan secara kasar mengukur untuk paralelisme konsumen puncak — mencerminkan keputusan jumlah yang mempengaruhi skalabilitas.

Keputusan partisi ini (kunci untuk pengurutan/distribusi, jumlah untuk paralelisme/pertumbuhan) penting karena konsekuensial dan sulit diubah nanti, secara langsung mempengaruhi kebenaran pengurutan, keseimbangan beban, dan skalabilitas.

Karena partisi adalah keputusan desain Kafka yang sentral, konsekuensial (mempengaruhi pengurutan, paralelisme, dan beban) yang sulit diubah nanti, dan karena memahami cara memilih kunci partisi (untuk pengurutan dan distribusi merata, menghindari hot partition) dan jumlah (untuk paralelisme dan pertumbuhan) penting untuk merancang topik dengan baik, memahami cara memilih strategi partisi bernilai tinggi, pengetahuan Kafka yang relevan secara praktis — keputusan desain yang penting, konsekuensial yang mempengaruhi pengurutan, distribusi beban, dan skalabilitas, memerlukan pemilihan hati-hati dari kunci partisi dan jumlah, dan sentral untuk merancang topik Kafka yang mengurutkan dengan benar, menyeimbangkan beban, dan skalabel.