Bagaimana partition membolehkan kebolehskalaan dan susunan dalam Kafka?

Question

Accepted Answer

**Partition** adalah pusat kepada reka bentuk Kafka — ia membolehkan **keselarian dan kebolehskalaan** (mengagihkan data dan penggunaan) sambil menyediakan **jaminan susunan dalam setiap partition**. Memahami partition adalah kunci untuk memahami cara Kafka berskala dan menyusun event.

## Partition membolehkan keselarian dan skala

```text
A topic is split into multiple PARTITIONS, distributed across brokers:
  → data is spread across partitions → distribute storage and load
  → CONSUMER PARALLELISM → each partition consumed by one consumer in a group →
    more partitions = more parallel consumers = higher throughput
  → scale a topic by adding partitions (and consumers)
→ partitions are the unit of PARALLELISM and horizontal scaling in Kafka
```

## Susunan dalam partition

```text
Kafka guarantees ORDER WITHIN a partition (not across partitions):
  → events in a partition are strictly ordered (by offset)
  → events across DIFFERENT partitions have NO global order guarantee
→ to keep related events ORDERED → send them to the SAME partition (via the same KEY):
  → e.g. all events for user X use key=X → same partition → ordered for that user
```

## Pertukaran utama

```text
→ MORE partitions → more parallelism/throughput, but:
  → ordering only within each partition (not globally)
  → more overhead (files, leader elections); rebalancing impact
→ DESIGN partitioning by your needs: parallelism vs ordering scope
  → choose a partition KEY that gives the ordering you need AND even distribution
```

## Mengapa ia penting

Memahami cara partition membolehkan kebolehskalaan dan susunan adalah asas kerana **partition adalah pusat kepada reka bentuk Kafka**, menentukan kedua-dua cara ia berskala dan cara ia menyusun event, jadi ia merupakan pengetahuan Kafka yang penting.

Partition ialah kunci kepada dua sifat Kafka yang paling penting.

Memahami **cara partition membolehkan keselarian dan skala** — topic dibahagikan kepada partition yang diagihkan merentas broker, menyebarkan storan dan beban, dengan **keselarian consumer** di mana setiap partition digunakan oleh satu consumer dalam group (jadi lebih banyak partition membolehkan lebih banyak consumer selari dan throughput lebih tinggi) — menjelaskan cara Kafka berskala secara mendatar, dengan partition menjadi unit keselarian.

Memahami **susunan dalam partition** sama pentingnya: Kafka menjamin **susunan dalam satu partition tetapi tidak merentas partition**, jadi untuk mengekalkan event berkaitan tersusun anda mesti **menghantarnya ke partition yang sama melalui key yang sama** (cth. semua event bagi seorang pengguna menggunakan ID pengguna itu sebagai key, memastikan ia pergi ke partition yang sama dan kekal tersusun untuk pengguna itu).

Susunan per-partition dengan routing berasaskan key ini merupakan konsep Kafka asas yang mempengaruhi cara anda mereka bentuk topic.

Memahami **pertukaran utama** — lebih banyak partition memberi lebih banyak keselarian dan throughput tetapi dengan susunan hanya dalam setiap partition (bukan global) dan lebih banyak overhead, jadi anda mereka bentuk partitioning dengan mengimbangi keselarian berbanding skop susunan dan memilih partition key yang menyediakan susunan yang diperlukan serta pengagihan yang sekata — mencerminkan keputusan reka bentuk penting yang melibatkan partitioning.

Keseimbangan antara kebolehskalaan (lebih banyak partition) dan susunan (per-partition, memerlukan routing berasaskan key) ini adalah pusat kepada penggunaan Kafka secara berkesan.

Memandangkan partition adalah pusat kepada reka bentuk Kafka (membolehkan keselarian/skala sambil menyediakan susunan per-partition) dan memahami cara ia membolehkan kebolehskalaan dan susunan — termasuk routing berasaskan key untuk susunan dan pertukaran keselarian/susunan — adalah perlu untuk mereka bentuk dan menggunakan Kafka dengan baik, memahami cara partition membolehkan kebolehskalaan dan susunan merupakan pengetahuan asas Kafka yang penting — pusat kepada cara Kafka berskala (partition sebagai unit keselarian) dan menyusun event (susunan per-partition melalui key), serta konsep utama untuk mereka bentuk topic Kafka secara berkesan, asas untuk bekerja dengan Kafka.