Kafka'da bir partisyon stratejisini nasıl seçersiniz?

Question

Accepted Answer

Bir **partisyon stratejisini seçmek** — olayların bir konu'nun bölümleri arasında nasıl dağıtıldığı — **sıralama, paralellik ve yük dağıtımını** etkileyen önemli bir Kafka tasarım kararıdır. Partition key'i ve sayısı dikkatli bir şekilde seçilmelidir.

## Partisyon nasıl çalışır

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Partition key'i seçmek

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Partition sayısını seçmek

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Neden önemli

Partisyon stratejisini nasıl seçeceğinizi anlamak değerlidir çünkü sıralama, paralellik ve yükü etkileyen **önemli bir Kafka tasarım kararı** olduğundan, Kafka konuları iyi tasarlamak için geçerlidir.

Partisyon Kafka'nın merkezinde yer alır ve stratejisini seçmek (key ve sayı) sistemi önemli ölçüde etkiler.

**Partisyon nasıl çalışır** — iletilerin key'e dayalı olarak bir bölüme gitmesi (key'in hash'i, bu nedenle aynı key tutarlı bir şekilde aynı bölüme gider) veya key olmadan round-robin şeklinde dağıtılması — mekanizmi açıklığa kavuşturur.

**Partition key'ini seçmeyi** anlamak çok önemli bir karardır: key **sıralamayı** belirler (aynı key'e sahip tüm olaylar aynı bölüme gider ve birlikte sıralanır, örn. bir kullanıcının olaylarını sıralamak için user ID'ye göre key'leme) ve **dağıtımı** belirler (key'lerin yük dengelenmesi için bölümler arasında eşit şekilde yayılması gerekir), düşük kardinalite veya eğrilmiş key'lerin **hot partition'lara** (aşırı yüklü, bir darboğaz) neden olması ve yanlış sıralama kapsamı seçilmesi gibi önemli tuzaklarla birlikte.

Gerekli sıralamayı ve eşit dağıtımı sağlayan bir key seçme rehberliği asıl beceridir.

**Partition sayısını seçmeyi** anlamak — daha fazla partition daha fazla consumer paralelizmini (iş hacmi) mümkün kılar ancak ek yük ile birlikte, büyüme için planlama (partition sayısını azaltmak zordur ve partition ekleme key-partition eşlemesini kırar ve böylece sıralamayı, bu nedenle ileride ölçek için önceden boyutlandırırsınız) ve kabaca peak consumer paralelizmi için boyutlandırma — sayı kararının ölçeklenebilirliği etkileyen karar yansıtır.

Bu partisyon kararları (sıralama/dağıtım için key, paralellik/büyüme için sayı) önemlidir çünkü sonuç doğuran ve daha sonra değiştirilmesi zor olan, sıralama doğruluğunu, yük dengesini ve ölçeklenebilirliği doğrudan etkileyen kararlar olduğundan.

Partisyon merkezi, sonuç doğuran bir Kafka tasarım kararı (sıralama, paralellik ve yükü etkileyen) olduğundan ve daha sonra değiştirilmesi zor olduğundan ve partition key'ini seçmeyi (sıralama ve eşit dağıtım için, hot partition'lardan kaçınmak) ve sayıyı (paralellik ve büyüme için) anlamak Kafka konularını iyi tasarlamak için önemli olduğundan, partisyon stratejisini seçmeyi anlamak değerli, pratik olarak ilgili Kafka bilgisidir — sıralama, yük dağıtımı ve ölçeklenebilirliği etkileyen önemli, sonuç doğuran tasarım kararı, partition key'i ve sayısının dikkatli seçimini gerektiren ve doğru sıralamayan, yükü dengeleyen ve ölçeklenen Kafka konularını tasarlamanın merkezinde yer alır.