Bagaimana cara kerja pengurutan pesan di Kafka?

Question

Accepted Answer

Kafka menjamin **pengurutan dalam satu partisi** tetapi **tidak menjamin pengurutan lintas partisi** — konsep yang sangat penting. Untuk mendapatkan pengurutan bagi pesan-pesan terkait, Anda merutekannya ke partisi yang sama (melalui kunci yang sama). Memahami pengurutan penting untuk kebenaran sistem.

## Per-partition ordering

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## Getting ordering for related events

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Trade-offs and considerations

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## Mengapa ini penting

Memahami pengurutan pesan di Kafka sangat berharga karena **pengurutan adalah konsep fundamental Kafka yang sering disalahpahami** dan penting untuk kebenaran sistem, sehingga merupakan pengetahuan yang sangat penting.

Garansi pengurutan Kafka sangat spesifik dan krusial untuk dipahami.

Memahami **per-partition ordering** — bahwa Kafka menjamin urutan **dalam satu partisi** (pesan-pesan diurutkan secara ketat berdasarkan offset, dibaca secara berurutan) tetapi **tidak di lintas partisi** (pesan-pesan di partisi berbeda tidak memiliki urutan relatif, diproses secara paralel) — adalah properti Kafka yang fundamental dan **sumber umum kesalahpahaman** (orang sering salah mengasumsikan pengurutan global), sehingga memahaminya dengan benar sangat penting untuk kebenaran sistem.

Memahami cara **mendapatkan pengurutan untuk pesan-pesan terkait** — mengirimnya ke partisi yang sama dengan menggunakan **kunci yang sama** (sehingga pesan-pesan terkait seperti semua pesan untuk pesanan atau pengguna tertentu, dengan kunci entitas tersebut, masuk ke partisi yang sama dan tetap berurutan) — adalah teknik praktis kunci untuk mencapai kebenaran pengurutan yang dibutuhkan aplikasi (pengurutan per-entitas melalui keying).

Memahami **trade-offs dan pertimbangan** — bahwa pengurutan dalam satu kunci/partisi **membatasi paralelisme** untuk kunci tersebut (semua pesan dari satu kunci diproses oleh satu consumer secara berurutan), bahwa beberapa hal memecah pengurutan (producer retries tanpa idempotence dan max.in.flight=1, penambahan partisi mengubah pemetaan kunci), dan bahwa Anda harus tidak menggunakan kunci ketika pengurutan tidak diperlukan (untuk paralelisme maksimal) tetapi menggunakan kunci dengan tepat ketika diperlukan (menerima cakupan paralelisme) — mencerminkan pemahaman nuansa yang diperlukan untuk merancang pengurutan yang benar sambil menyeimbangkan paralelisme.

Pengetahuan pengurutan ini penting karena kesalahpahaman (mengasumsikan pengurutan global, atau tidak memberi kunci pesan-pesan yang memerlukan pengurutan) menyebabkan bug kebenaran sistem yang nyata.

Karena pengurutan adalah konsep fundamental Kafka yang sering disalahpahami (hanya per-partisi, memerlukan kunci untuk pengurutan pesan-pesan terkait) dan penting untuk kebenaran, dan karena memahami garansi, cara mencapai pengurutan melalui kunci, dan trade-offs (pengurutan vs paralelisme) sangat penting, memahami pengurutan pesan di Kafka adalah pengetahuan Kafka yang berharga dan penting — konsep fundamental yang sering disalahpahami dan krusial untuk kebenaran, di mana memahami per-partition ordering dan key-based routing untuk pesan-pesan terkait (dan trade-off paralelisme) diperlukan untuk merancang sistem Kafka yang mengurutkan pesan dengan benar, konsep kunci yang harus dipahami dengan akurat oleh setiap pengguna Kafka.