Message ordering ใน Kafka ทำงานอย่างไร?

Question

Accepted Answer

Kafka รับประกัน **ordering ภายใน partition** แต่ **ไม่รับประกันข้าม partition** — เป็นแนวคิดสำคัญ ในการได้ ordering สำหรับ events ที่เกี่ยวข้องกัน คุณต้อง route มันไปยัง partition เดียวกัน (ผ่าน key เดียวกัน) การเข้าใจ ordering มีความสำคัญต่อความถูกต้อง

## Ordering ภายใน partition

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## การได้ ordering สำหรับ events ที่เกี่ยวข้องกัน

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Trade-off และข้อพิจารณา

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## ทำไมจึงสำคัญ

การเข้าใจ message ordering ใน Kafka นั้นมีคุณค่าเพราะ **ordering เป็นแนวคิดพื้นฐานของ Kafka ที่มักถูกเข้าใจผิด** ซึ่งสำคัญต่อความถูกต้อง จึงเป็นความรู้ที่จำเป็น

การรับประกัน ordering ของ Kafka มีความเฉพาะเจาะจงและสำคัญที่ต้องเข้าใจ

การเข้าใจ **ordering ภายใน partition** — ว่า Kafka รับประกัน order **ภายใน partition** (events เรียงลำดับอย่างเคร่งครัดตาม offset อ่านตามลำดับ) แต่ **ไม่รับประกันข้าม partition** (events ใน partition ต่างกันไม่มี order สัมพัทธ์ ถูก process แบบ parallel) — เป็นคุณสมบัติพื้นฐานของ Kafka และเป็น **แหล่งที่มาของความเข้าใจผิดที่พบบ่อย** (ผู้คนมักสมมติผิด ๆ ว่ามี global ordering) ดังนั้นการเข้าใจมันอย่างถูกต้องจึงจำเป็นต่อความถูกต้อง

การเข้าใจวิธี **ได้ ordering สำหรับ events ที่เกี่ยวข้องกัน** — การส่งมันไปยัง partition เดียวกันโดยใช้ **key เดียวกัน** (เพื่อให้ events ที่เกี่ยวข้องกันอย่าง events ทั้งหมดสำหรับ order หรือ user ใดหนึ่ง โดย key ด้วย entity นั้น ไปยัง partition เดียวกันและคงลำดับ) — เป็นเทคนิคเชิงปฏิบัติสำคัญสำหรับการได้ความถูกต้องของ ordering ที่ application ต้องการ (ordering ต่อ entity ผ่านการ key)

การเข้าใจ **trade-off และข้อพิจารณา** — ว่า ordering ภายใน key/partition **จำกัด parallelism** สำหรับ key นั้น (events ทั้งหมดของ key หนึ่งถูก process โดย consumer เดียวตามลำดับ), ว่ามีบางอย่างที่ทำลาย ordering (producer retry โดยไม่มี idempotence และ max.in.flight=1, การเพิ่ม partition เปลี่ยน key mapping) และว่าควรไม่ใช้ key เมื่อไม่ต้องการ ordering (เพื่อ parallelism สูงสุด) แต่ key อย่างเหมาะสมเมื่อต้องการ (ยอมรับ parallelism scope) — สะท้อนถึงความเข้าใจที่ละเอียดที่จำเป็นต่อการออกแบบให้ ordering ถูกต้องในขณะที่สมดุล parallelism

ความรู้เรื่อง ordering นี้สำคัญเพราะการทำผิด (สมมติ global ordering หรือไม่ key events ที่ต้องการ ordering) ก่อให้เกิดบั๊กด้านความถูกต้องจริง

เนื่องจาก ordering เป็นแนวคิดพื้นฐานของ Kafka ที่มักถูกเข้าใจผิด (เฉพาะภายใน partition ต้องการ key สำหรับ ordering ของ events ที่เกี่ยวข้องกัน) ซึ่งสำคัญต่อความถูกต้อง และเนื่องจากการเข้าใจการรับประกัน, วิธีได้ ordering ผ่าน key และ trade-off (ordering เทียบกับ parallelism) เป็นสิ่งจำเป็น การเข้าใจ message ordering ใน Kafka จึงเป็นความรู้เกี่ยวกับ Kafka ที่จำเป็นและมีคุณค่า — แนวคิดพื้นฐานที่มักถูกเข้าใจผิดและสำคัญต่อความถูกต้อง ที่การเข้าใจ ordering ภายใน partition และการ route ตาม key สำหรับ events ที่เกี่ยวข้องกัน (และ trade-off เรื่อง parallelism) จำเป็นต่อการออกแบบระบบ Kafka ที่เรียงลำดับ events ได้ถูกต้อง เป็นแนวคิดสำคัญที่ผู้ใช้ Kafka ทุกคนต้องเข้าใจอย่างถูกต้อง