ما هو تقسيم البيانات (Data Partitioning) والتجزئة (Sharding)؟

Question

Accepted Answer

**تقسيم البيانات** (التجزئة) يقسّم البيانات عبر عدة خوادم/قواعد بيانات بحيث يحتفظ كل منها بمجموعة فرعية — مما يتيح التوسع الأفقي للبيانات والحمل بما يتجاوز خادم واحد. اختيار كيفية تقسيم البيانات (مفتاح التقسيم والاستراتيجية) حاسم جداً.

## ما هو التقسيم/التجزئة

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## استراتيجيات التقسيم

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## الاختيار الحاسم: مفتاح التقسيم

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## التحديات

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## سبب أهميته

فهم تقسيم البيانات والتجزئة قيّم لأنها **تقنية أساسية للتوسع بالبيانات بما يتجاوز خادماً واحداً**، وهي تحدٍ حاسم للأنظمة الكبيرة، لذا فهي معرفة تصميم نظام مهمة.

التقسيم/التجزئة — تقسيم البيانات عبر عدة خوادم بحيث يحتفظ كل منها بمجموعة فرعية — يتيح **التوسع الأفقي للتخزين والحمل** بما يتجاوز قدرة جهاز واحد، وهو ضروري عندما تتجاوز البيانات أو الإنتاجية ما يستطيع خادم واحد التعامل معه.

فهم **الاستراتيجيات** والمقايضات الخاصة بها — **القائمة على التجزئة** (التوزيع المتساوي لتجنب نقاط الاختناق، لكن يجعل استعلامات النطاق وإعادة التجزئة صعبة)، **القائمة على النطاق** (استعلامات نطاق فعالة لكن تخاطر بنقاط اختناق من عدم التوازن)، القائمة على الدليل (مرنة مع تكلفة البحث)، والجغرافية — ضروري لاختيار كيفية تقسيم البيانات.

الأهم، فهم أن **مفتاح التقسيم هو أهم قرار** هو الفهم الأساسي: مفتاح جيد (عدد كبير من القيم المختلفة، توزيع متساوٍ، متوافق مع أنماط الاستعلام بحيث تصيب الاستعلامات جزء واحد بدلاً من الكل) يوزع الحمل بالتساوي ويتيح استعلامات فعالة، بينما مفتاح سيء يسبب نقاط اختناق (جزء واحد محمّل بشدة)، بيانات غير متساوية، أو استعلامات scatter-gather — وبما أنه من الصعب تغييره لاحقاً، الاختيار بحذر ضروري.

فهم **التحديات** — أن الاستعلامات والربطات عبر أجزاء متعددة صعبة وبطيئة، إعادة التوازن وإضافة أجزاء معقدة، والمعاملات عبر أجزاء متعددة صعبة — مهم لأن هذه تجعل التجزئة قوية لكن معقدة جداً، لذا يجب استخدامها عند الحاجة الحقيقية فقط (بعد تقنيات توسع أبسط مثل التخزين المؤقت والنسخ المتماثلة).

بما أن التوسع بالبيانات بما يتجاوز خادم واحد هو تحدٍ حاسم للأنظمة الكبيرة والتقسيم/التجزئة (مع قرار مفتاح التقسيم الحاسم والمقايضات والتحديات) هي التقنية لتحقيقه، وبما أن فهم الاستراتيجيات وأهمية مفتاح التقسيم والتحديات مهم لتصميم أنظمة كبيرة الحجم، فهم تقسيم البيانات والتجزئة قيّم وعملي جداً وهو معرفة تصميم نظام — تقنية أساسية للتوسع الأفقي للبيانات، تتطلب فهماً دقيقاً لاستراتيجيات التقسيم واختيار مفتاح التقسيم الحاسم والتحديات الكبيرة، وهي محورية لتصميم أنظمة توسّع البيانات بما يتجاوز قدرة خادم واحد.