Bagaimana partisi memungkinkan skalabilitas dan pengurutan dalam Kafka?

Question

Accepted Answer

**Partisi** adalah inti desain Kafka — mereka memungkinkan **paralelisme dan skalabilitas** (mendistribusikan data dan konsumsi) sambil memberikan **jaminan pengurutan dalam setiap partisi**. Memahami partisi adalah kunci untuk memahami bagaimana Kafka berkembang dan mengurutkan peristiwa.

## Partisi memungkinkan paralelisme dan skala

```text
A topic is split into multiple PARTITIONS, distributed across brokers:
  → data is spread across partitions → distribute storage and load
  → CONSUMER PARALLELISM → each partition consumed by one consumer in a group →
    more partitions = more parallel consumers = higher throughput
  → scale a topic by adding partitions (and consumers)
→ partitions are the unit of PARALLELISM and horizontal scaling in Kafka
```

## Pengurutan dalam partisi

```text
Kafka guarantees ORDER WITHIN a partition (not across partitions):
  → events in a partition are strictly ordered (by offset)
  → events across DIFFERENT partitions have NO global order guarantee
→ to keep related events ORDERED → send them to the SAME partition (via the same KEY):
  → e.g. all events for user X use key=X → same partition → ordered for that user
```

## Pertukaran kunci

```text
→ MORE partitions → more parallelism/throughput, but:
  → ordering only within each partition (not globally)
  → more overhead (files, leader elections); rebalancing impact
→ DESIGN partitioning by your needs: parallelism vs ordering scope
  → choose a partition KEY that gives the ordering you need AND even distribution
```

## Mengapa ini penting

Memahami bagaimana partisi memungkinkan skalabilitas dan pengurutan adalah fundamental karena **partisi adalah inti desain Kafka**, menentukan cara skalanya dan cara mengurutkan peristiwa, sehingga ini adalah pengetahuan Kafka yang penting.

Partisi adalah kunci untuk dua properti Kafka yang paling penting.

Memahami **bagaimana partisi memungkinkan paralelisme dan skala** — topik dibagi menjadi partisi yang didistribusikan di broker, menyebarkan penyimpanan dan beban, dengan **paralelisme konsumen** di mana setiap partisi dikonsumsi oleh satu konsumen dalam grup (jadi lebih banyak partisi memungkinkan lebih banyak konsumen paralel dan throughput lebih tinggi) — menjelaskan cara Kafka berkembang secara horizontal, dengan partisi sebagai unit paralelisme.

Memahami **pengurutan dalam partisi** sama pentingnya: Kafka menjamin **urutan dalam partisi tetapi tidak di seluruh partisi**, jadi untuk menjaga peristiwa terkait tetap terurut Anda harus **mengirimnya ke partisi yang sama melalui kunci yang sama** (misalnya semua peristiwa untuk pengguna menggunakan ID pengguna sebagai kunci, memastikan mereka pergi ke partisi yang sama dan tetap terurut untuk pengguna tersebut).

Pengurutan per-partisi ini dengan routing berbasis kunci adalah konsep Kafka fundamental yang mempengaruhi cara Anda merancang topik.

Memahami **pertukaran kunci** — lebih banyak partisi memberikan lebih banyak paralelisme dan throughput tetapi dengan pengurutan hanya dalam setiap partisi (bukan global) dan lebih banyak overhead, jadi Anda merancang partisi dengan menyeimbangkan paralelisme terhadap ruang lingkup pengurutan dan memilih kunci partisi yang memberikan pengurutan yang diperlukan dan distribusi yang merata — mencerminkan keputusan desain penting yang melibatkan partisi.

Keseimbangan antara skalabilitas (lebih banyak partisi) dan pengurutan (per-partisi, memerlukan routing berbasis kunci) adalah inti penggunaan Kafka secara efektif.

Karena partisi adalah inti desain Kafka (memungkinkan paralelisme/skala sambil memberikan pengurutan per-partisi) dan memahami bagaimana mereka memungkinkan skalabilitas dan pengurutan — termasuk routing berbasis kunci untuk pengurutan dan pertukaran paralelisme/pengurutan — penting untuk merancang dan menggunakan Kafka dengan baik, memahami bagaimana partisi memungkinkan skalabilitas dan pengurutan adalah pengetahuan Kafka yang penting dan fundamental — inti cara Kafka berkembang (partisi sebagai unit paralelisme) dan mengurutkan peristiwa (pengurutan per-partisi melalui kunci), dan konsep kunci untuk merancang topik Kafka secara efektif, fundamental untuk bekerja dengan Kafka.