Veri bölümlendirme (partitioning) ve parçalama (sharding) nedir?

Question

Accepted Answer

**Veri bölümlendirme** (sharding) verileri birden fazla sunucu/veritabanına bölerek her birinin bir alt kümeyi tutmasını sağlar — bu şekilde veri ve yükün tek bir sunucunun ötesinde yatay olarak ölçeklendirilmesini mümkün kılar. Bölümlendirme şeklinin seçilmesi (bölümleme anahtarı ve stratejisi) kritik öneme sahiptir.

## Bölümlendirme/parçalama nedir

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## Bölümlendirme stratejileri

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## Kritik seçim: bölümleme anahtarı

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## Zorluklar

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## Neden önemli

Veri bölümlendirme ve parçalama hakkında bilgi sahibi olmak değerlidir çünkü bu, **verileri tek bir sunucunun ötesine ölçeklemek için temel bir tekniktir**, büyük sistemler için kritik bir zorluk olduğu için, bu nedenle sistem tasarımı bilgisi açısından önemlidir.

Bölümlendirme/parçalama — verileri birden fazla sunucuya bölerek her birinin bir alt kümeyi tutması — bir makinenin kapasitesinin ötesinde **depolama ve yükün yatay ölçeklendirilmesini** mümkün kılar, bu da veri veya aktarım hızı tek bir sunucunun işleyebileceği miktarı aştığında zorunludur.

Stratejileri ve onların değiş-tokuşlarını anlamak — **hash-tabanlı** (sıcak noktaları önleyen eşit dağılım, ancak aralık sorguları ve yeniden parçalamayı zorlaştırır), **aralık-tabanlı** (etkili aralık sorguları fakat çarpıklıktan kaynaklanan sıcak noktaları riskle taşır), dizin-tabanlı (araştırma yükü ile esnek) ve coğrafi — bölümlendirme şeklinin seçilmesi için gereklidir.

En kritik olarak, **bölümleme anahtarının en önemli karar olduğunu** anlamanın anahtar içgörü olduğunu anlamak: iyi bir anahtar (yüksek kardinalite, eşit dağılım, sorgu desenleriyle hizalanmış olup sorguların tüm parçalar yerine bir parçaya isabet etmesini sağlayan) yükü eşit şekilde dağıtır ve etkili sorguları mümkün kılarken, kötü bir anahtar sıcak noktalar (bir parça aşırı yüklü), eşitsiz veriler veya dağınık-toplama sorguları yaratır — ve bunu daha sonra değiştirmek zor olduğu için, dikkatli seçim yapılması zorunludur.

**Zorlukları** anlamak — parçalar-arası sorguları ve birleştirmelerin zor ve yavaş olması, yeniden dengeleme ve parçaların eklenmesinin karmaşık olması, ve parçalar-arası işlemlerin zor olması — önemlidir çünkü bunlar parçalamayı güçlü kılarlar ancak önemli ölçüde karmaşıktırlar, bu nedenle gerçekten gerekli olduğunda (önbellekleme ve çoğaltma gibi daha basit ölçeklendirmeden sonra) kullanılmalıdır.

Verileri tek bir sunucunun ötesine ölçeklemek büyük sistemler için kritik bir zorluk olduğundan ve bölümlendirme/parçalama (kritik bölümleme-anahtarı kararı ve onun değiş-tokuşları ve zorlukları ile) bunun tekniği olduğundan, ve stratejileri, bölümleme-anahtarı önemini, ve zorlukları anlamak büyük ölçekli sistemler tasarlamak için önemli olduğundan, veri bölümlendirme ve parçalama hakkında bilgi sahibi olmak değerli, pratik olarak uygun sistem-tasarımı bilgisidir — yatay veri ölçeklendirmesi için temel bir tekniktir, bölümleme stratejileri, kritik bölümleme-anahtarı seçimi, ve önemli zorlukların dikkatli olarak anlaşılmasını gerektirir, ve verileri tek bir sunucunun kapasitesinin ötesine ölçeklendiren sistemleri tasarlamaya merkezdir.