คุณเลือก partitioning strategy ใน Kafka อย่างไร?

Question

Accepted Answer

การเลือก **partitioning strategy** — วิธีที่ events ถูกกระจายไปยัง partition ต่าง ๆ ของ topic — เป็นการตัดสินใจด้านการออกแบบ Kafka ที่สำคัญซึ่งส่งผลต่อ **ordering, parallelism และ load distribution** partition key และจำนวนต้องเลือกอย่างระมัดระวัง

## partitioning ทำงานอย่างไร

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## การเลือก partition key

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## การเลือกจำนวน partition

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## ทำไมจึงสำคัญ

การเข้าใจวิธีเลือก partitioning strategy นั้นมีคุณค่าเพราะมันเป็น **การตัดสินใจด้านการออกแบบ Kafka ที่สำคัญ** ซึ่งส่งผลต่อ ordering, parallelism และ load จึงเกี่ยวข้องกับการออกแบบ topic ของ Kafka ให้ดี

Partitioning เป็นหัวใจของ Kafka และการเลือก strategy (key และจำนวน) ส่งผลต่อระบบอย่างมาก

การเข้าใจ **ว่า partitioning ทำงานอย่างไร** — ข้อความไปยัง partition ตาม key (hash ของ key เพื่อให้ key เดียวกันไปยัง partition เดียวกันเสมอ) หรือกระจายแบบ round-robin หากไม่มี key — ช่วยให้เข้าใจกลไก

การเข้าใจวิธี **เลือก partition key** เป็นการตัดสินใจที่สำคัญ: key กำหนด **ordering** (events ทั้งหมดที่มี key เดียวกันไปยัง partition เดียวกันและเรียงลำดับด้วยกัน เช่น key ด้วย user ID เพื่อเรียงลำดับ events ของผู้ใช้) และ **distribution** (key ต้องกระจายอย่างสม่ำเสมอข้าม partition เพื่อ load ที่สมดุล) โดยมีกับดักสำคัญคือ key ที่มี cardinality ต่ำหรือ skew ทำให้เกิด **hot partition** (overload เป็น bottleneck) และการเลือก ordering scope ที่ผิด

คำแนะนำให้เลือก key ที่ให้ ordering ที่ต้องการและ distribution ที่สม่ำเสมอเป็นทักษะสำคัญ

การเข้าใจวิธี **เลือกจำนวน partition** — partition มากขึ้นช่วยให้ consumer parallelism มากขึ้น (throughput) แต่มี overhead, การวางแผนเพื่อการเติบโต (เพราะจำนวน partition ลดยากและการเพิ่ม partition ทำลาย key-to-partition mapping จึง ordering ดังนั้นต้อง size เพื่อ scale ในอนาคตล่วงหน้า) และการ size คร่าว ๆ สำหรับ consumer parallelism สูงสุด — สะท้อนถึงการตัดสินใจเรื่องจำนวนที่ส่งผลต่อ scalability

การตัดสินใจ partitioning เหล่านี้ (key สำหรับ ordering/distribution, จำนวนสำหรับ parallelism/การเติบโต) สำคัญเพราะมันส่งผลกระทบและเปลี่ยนยากในภายหลัง โดยส่งผลโดยตรงต่อความถูกต้องของ ordering, ความสมดุลของ load และ scalability

เนื่องจาก partitioning เป็นการตัดสินใจด้านการออกแบบ Kafka ที่เป็นหัวใจและส่งผลกระทบ (ต่อ ordering, parallelism และ load) ซึ่งเปลี่ยนยากในภายหลัง และเนื่องจากการเข้าใจวิธีเลือก partition key (เพื่อ ordering และ distribution ที่สม่ำเสมอ หลีกเลี่ยง hot partition) และจำนวน (เพื่อ parallelism และการเติบโต) สำคัญต่อการออกแบบ topic ให้ดี การเข้าใจวิธีเลือก partitioning strategy จึงเป็นความรู้เกี่ยวกับ Kafka ที่มีคุณค่าและเกี่ยวข้องกับการปฏิบัติจริง — การตัดสินใจด้านการออกแบบที่สำคัญและส่งผลกระทบต่อ ordering, load distribution และ scalability ต้องเลือก partition key และจำนวนอย่างระมัดระวัง และเป็นหัวใจของการออกแบบ topic ของ Kafka ที่เรียงลำดับถูกต้อง สมดุล load และ scale ได้