Data partitioning และ sharding คืออะไร?

Question

IT Interview Practice · Accepted Answer

**Data partitioning** (sharding) แบ่งข้อมูลออกข้ามหลายเซิร์ฟเวอร์/ฐานข้อมูลเพื่อให้แต่ละแห่งเก็บเพียงส่วนย่อย — ทำให้สามารถขยายขนาดข้อมูลและภาระงานในแนวนอนได้เกินกว่าเซิร์ฟเวอร์เดียว การเลือกวิธีแบ่ง (partition key และกลยุทธ์) เป็นเรื่องสำคัญยิ่ง

## partitioning/sharding คืออะไร

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## กลยุทธ์การแบ่งพาร์ติชัน

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## การตัดสินใจที่สำคัญยิ่ง: partition key

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## ความท้าทาย

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## ทำไมจึงสำคัญ

การเข้าใจ data partitioning และ sharding มีคุณค่าเพราะมันเป็น **เทคนิคสำคัญสำหรับการขยายข้อมูลให้เกินกว่าเซิร์ฟเวอร์เดียว** ซึ่งเป็นความท้าทายสำคัญสำหรับระบบขนาดใหญ่ ดังนั้นจึงเป็นความรู้การออกแบบระบบที่สำคัญ

Partitioning/sharding — การแบ่งข้อมูลออกข้ามหลายเซิร์ฟเวอร์เพื่อให้แต่ละแห่งเก็บเพียงส่วนย่อย — ทำให้สามารถ **ขยายขนาดพื้นที่จัดเก็บและภาระงานในแนวนอน** ได้เกินกว่าความสามารถของเครื่องเดียว ซึ่งจำเป็นเมื่อข้อมูลหรือ throughput เกินกว่าที่เซิร์ฟเวอร์เดียวจะรองรับได้

การเข้าใจ **กลยุทธ์** และข้อแลกเปลี่ยนของแต่ละแบบ — **hash-based** (กระจายสม่ำเสมอหลีกเลี่ยง hotspot แต่ทำให้ range query และการ reshard ทำได้ยาก), **range-based** (range query มีประสิทธิภาพแต่เสี่ยงต่อ hotspot จากความเอนเอียง), directory-based (ยืดหยุ่นแต่มี overhead ในการ lookup) และ geographic — จำเป็นต่อการเลือกวิธีแบ่ง

ที่สำคัญที่สุด การเข้าใจว่า **partition key เป็นการตัดสินใจที่สำคัญที่สุด** คือความเข้าใจหลัก: key ที่ดี (cardinality สูง กระจายสม่ำเสมอ สอดคล้องกับรูปแบบ query เพื่อให้ query เข้าถึง shard เดียวแทนที่จะเข้าถึงทุก shard) ช่วยกระจายภาระงานอย่างสม่ำเสมอและทำให้ query มีประสิทธิภาพ ขณะที่ key ที่ไม่ดีทำให้เกิด hotspot (shard เดียวถูกโอเวอร์โหลด), ข้อมูลไม่สม่ำเสมอ หรือ query แบบ scatter-gather — และเนื่องจากเปลี่ยนภายหลังได้ยาก การเลือกอย่างรอบคอบจึงจำเป็น

การเข้าใจ **ความท้าทาย** — ที่ว่า cross-shard query และ join ทำได้ยากและช้า การ rebalance และเพิ่ม shard ซับซ้อน และ transaction ข้าม shard ทำได้ยาก — มีความสำคัญเพราะสิ่งเหล่านี้ทำให้ sharding ทรงพลังแต่ซับซ้อนอย่างมาก ดังนั้นควรใช้เมื่อจำเป็นจริง ๆ (หลังจากการขยายแบบเรียบง่ายกว่าเช่น caching และ replication)

เนื่องจากการขยายข้อมูลให้เกินกว่าเซิร์ฟเวอร์เดียวเป็นความท้าทายสำคัญสำหรับระบบขนาดใหญ่ และ partitioning/sharding (พร้อมการตัดสินใจ partition key ที่สำคัญยิ่งและข้อแลกเปลี่ยนกับความท้าทายของมัน) เป็นเทคนิคสำหรับสิ่งนี้ และเนื่องจากการเข้าใจกลยุทธ์ ความสำคัญของ partition key และความท้าทายมีความสำคัญต่อการออกแบบระบบขนาดใหญ่ การเข้าใจ data partitioning และ sharding จึงเป็นความรู้การออกแบบระบบที่มีคุณค่าและเกี่ยวข้องกับการปฏิบัติจริง — เป็นเทคนิคสำคัญสำหรับการขยายข้อมูลในแนวนอน ต้องอาศัยความเข้าใจอย่างรอบคอบเกี่ยวกับกลยุทธ์การแบ่ง การเลือก partition key ที่สำคัญยิ่ง และความท้าทายที่มีนัยสำคัญ และเป็นแกนกลางในการออกแบบระบบที่ขยายข้อมูลได้เกินกว่าความจุของเซิร์ฟเวอร์เดียว

partitioning/sharding คืออะไร

กลยุทธ์การแบ่งพาร์ติชัน

การตัดสินใจที่สำคัญยิ่ง: partition key

ความท้าทาย

ทำไมจึงสำคัญ

คำถามที่เกี่ยวข้อง