தரவு பிভাজனம் (Data Partitioning) மற்றும் শার்டிங் (Sharding) என்றால் என்ன?

Question

Accepted Answer

**தரவு பிভாજனம்** (sharding) தரவை பல சேவையகங்கள்/தரவுத்தளங்களுக்கு பிரிக்கிறது, இதனால் ஒவ்வொன்றும் ஒரு உபசமூக்களை வைத்திருக்கும் — ஒரு சேவையகத்தைத் தாண்டிய தரவு மற்றும் சுமையின் கிடைமட்ட அளவிடுதலை செயல்படுத்துகிறது. பிவாজனம் செய்வது எப்படி (பிভாஜன விசை மற்றும் உத்தி) விமர்சனமாக உள்ளது.

## பிவாஜனம்/शার्टिং் என்றால் என்ன

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## பிவாஜன உத்திகள்

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## முக்கியமான தேர்வு: பிவாஜன விசை

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## சவால்கள்

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## ஏன் இது முக்கியமாக இருக்கிறது

தரவு பிவாஜனம் மற்றும் sharding ஐ புரிந்துகொள்வது மதிப்புமிக்கது, ஏனெனில் இது **ஒரு சேவையகத்தைத் தாண்டிய தரவை அளவிடுவதற்கான முக்கிய நுட்பம்**, பெரிய அமைப்புகளுக்கான முக்கியமான சவால், எனவே இது முக்கியமான அமைப்பு-வடிவமைப்பு அறிவு.

பிவாஜனம்/sharding — ஒரு சேவையகத்தின் திறன்மீறி, பல சேவையகங்களுக்கு தரவை பிரிப்பது, ஒவ்வொன்றும் ஒரு உபசமூக்களை வைத்திருக்கும் — **சேமிப்பு மற்றும் சுமையின் கிடைமட்ட அளவிடுதல்** ஐ செயல்படுத்துகிறது, பொதுவாக தரவு அல்லது திறன்முறை ஒரு சேவையகம் கையாள முடியும் அளவை மீறும்போது அপরিहार்யமாக உள்ளது.

**உத்திகள்** மற்றும் அவற்றின் வர்த்தகம் — **hash-அடிப்படையிலான** (சমான விநியோகம் hotspots தவிர்க்கிறது, ஆனால் வரம்பு வினவல்கள் மற்றும் resharding கடினமாக்கிறது), **range-அடிப்படையிலான** (திறமையான வரம்பு வினவல்கள் ஆனால் skew இலிருந்து hotspots ஆபத்து), directory-அடிப்படையிலான (lookup overhead உடன் நমনীய), மற்றும் புவியியல் — புரிந்துகொள்வது பிவாஜனம் செய்வது எப்படி தேர்ந்தெடுப்பதற்கு அவசியம்.

மிகவும் முக்கியமாக, **பிவாஜன விசை மிக முக்கியமான முடிவு** என்பதை புரிந்துகொள்வது முக்கிய insight: ஒரு நல்ல விசை (உচ்চ cardinality, சமான விநியோகம், வினவல் முறைகளுடன் சீரமைக்கப்பட்ட, இதனால் வினவல்கள் அனைத்து shards க்கு பதிலாக ஒரு shard ஐ அடிக்கிறது) சுமையை சমায়ப்பாக பரப்புகிறது மற்றும் திறமையான வினவல்களை செயல்படுத்துகிறது, ஆனால் ஒரு கெட்ட விசை hotspots (ஒரு shard overloaded), சமற்படுத்தப்படாத தரவு, அல்லது scatter-gather வினவல்களை ஏற்படுத்துகிறது — மற்றும் பின்னர் மாற்ற கடினமாக இருப்பதால், கவனமாக தேர்ந்தெடுப்பது அপরिहার்யமாக உள்ளது.

**சவால்கள்** — cross-shard வினவல்கள் மற்றும் joins கடினம் மற்றும் மெதுவாக உள்ளன, rebalancing மற்றும் shards சேர்ப்பது சிக்கலாக உள்ளது, மற்றும் cross-shard பரிமாற்றங்கள் கடினம் — புரிந்துகொள்வது முக்கியமாக உள்ளது, ஏனெனில் இவை sharding ஐ சக்திமிக்கவாக வளர்ந்துவிட்டாலும் குறிப்பாக சிக்கலாக்கும், எனவே இது உண்மையாக தேவைப்படும்போது (caching மற்றும் replication போன்ற எளிமையான அளவிடுதலுக்குப் பிறகு) பயன்படுத்தப்பட வேண்டும்.

ஒரு சேவையகத்தின் அதிர்வு தரவு அளவிடுவது பெரிய அமைப்புகளுக்கான முக்கியமான சவால், மற்றும் பிவாஜனம்/sharding (முக்கியமான பிவாஜன-விசை முடிவு மற்றும் அதன் வர்த்தகங்கள் மற்றும் சவால்களுடன்) அதற்கான நுட்பம், மற்றும் உத்திகள், பிவாஜன-விசை முக்கியத்துவம், மற்றும் சவால்களை புரிந்துகொள்வது பெரிய-அளவிலான அமைப்புகளை வடிவமைப்பதற்கு முக்கியமாக உள்ளது, தரவு பிவாஜனம் மற்றும் sharding ஐ புரிந்துகொள்வது மதிப்புமிக்கது, நடைமுறை-பொருந்தக்கூடிய அமைப்பு-வடிவமைப்பு அறிவு — கிடைமட்ட தரவு அளவிடுதলுக்கான முக்கிய நுட்பம், பிவாஜன உத்திகள் மீது கவனமாக বোதி தேவை, முக்கியமான பிவாஜன-விசை தேர்வு, மற்றும் குறிப்பாக சவால்கள், மற்றும் ஒரு சேவையகத்தின் திறன்மீறி தரவை அளவிடும் அமைப்புகளை வடிவமைப்பதற்கு மைய.