Kafka'da bölümler (partitions) ölçeklenebilirlik ve sıralamayı nasıl sağlar?

Question

IT Interview Practice · Accepted Answer

**Bölümler (Partitions)** Kafka'nın tasarımının merkezinde yer alır — **paralelliği ve ölçeklenebilirliği** sağlarlar (verileri ve tüketimi dağıtarak) aynı zamanda **her bölüm içinde sıralama garantileri** sunarak. Kafka'nın nasıl ölçeklendiğini ve olayları nasıl sıraldığını anlamak için bölümleri anlamak anahtarıdır.

## Bölümler paralelliği ve ölçeği sağlar

```text
A topic is split into multiple PARTITIONS, distributed across brokers:
  → data is spread across partitions → distribute storage and load
  → CONSUMER PARALLELISM → each partition consumed by one consumer in a group →
    more partitions = more parallel consumers = higher throughput
  → scale a topic by adding partitions (and consumers)
→ partitions are the unit of PARALLELISM and horizontal scaling in Kafka
```

## Bölümler içinde sıralama

```text
Kafka guarantees ORDER WITHIN a partition (not across partitions):
  → events in a partition are strictly ordered (by offset)
  → events across DIFFERENT partitions have NO global order guarantee
→ to keep related events ORDERED → send them to the SAME partition (via the same KEY):
  → e.g. all events for user X use key=X → same partition → ordered for that user
```

## Temel uzlaşma

```text
→ MORE partitions → more parallelism/throughput, but:
  → ordering only within each partition (not globally)
  → more overhead (files, leader elections); rebalancing impact
→ DESIGN partitioning by your needs: parallelism vs ordering scope
  → choose a partition KEY that gives the ordering you need AND even distribution
```

## Neden önemli

Bölümlerin ölçeklenebilirlik ve sıralamayı nasıl sağladığını anlamak temeldir çünkü **bölümler Kafka'nın tasarımının merkezindedir**, hem nasıl ölçeklendiğini hem de olayları nasıl sıraladığını belirler; bu nedenle Kafka bilgisi açısından gereklidir.

Bölümler Kafka'nın en önemli iki özelliğinin anahtarıdır.

**Bölümlerin paralelliği ve ölçeği nasıl sağladığını anlamak** — bir konunun bölümlere bölünmesi ve bu bölümlerin broker'lar arasında dağıtılması, depolama ve yükü yayarak, **tüketici paralelliği** ile (her bölüm bir tüketici grubu içinde bir tüketici tarafından tüketilir; bu nedenle daha fazla bölüm daha fazla paralel tüketici ve daha yüksek verim sağlar) — Kafka'nın yatay olarak nasıl ölçeklendiğini açıklar; bölümler paralelliğin birimidir.

**Bölümler içinde sıralamayı anlamak** eşit derecede önemlidir: Kafka **bir bölüm içinde sıralamayı garanti eder fakat bölümler arasında değil**, bu nedenle ilgili olayları sıralamada tutmak için **aynı anahtarla aynı bölüme göndermelisiniz** (örn. bir kullanıcının tüm olayları kullanıcının kimliğini anahtar olarak kullanarak, onları aynı bölüme gitmesi ve o kullanıcı için sıralanmış kalması için).

Bu anahtar tabanlı yönlendirme ile bölüm başına sıralama Kafka'nın temel bir konseptidir ve konuları nasıl tasarladığınızı etkiler.

**Temel uzlaşmayı anlamak** — daha fazla bölüm daha fazla paralelliği ve verimi vermek fakat sıralama sadece her bölüm içinde (küresel değil) ve daha fazla yükü, bu nedenle bölümlemeyi paralelliği sıralama kapsamı ile dengeleyerek ve gerekli sıralamayı ve eşit dağılımı sağlayan bir bölüm anahtarı seçerek tasarlarsınız — bölümlemenin içerdiği önemli tasarım kararını yansıtır.

Ölçeklenebilirlik (daha fazla bölüm) ile sıralama (bölüm başına, anahtar tabanlı yönlendirme gerektiren) arasındaki bu denge Kafka'yı etkili bir şekilde kullanmanın merkezindedir.

Bölümler Kafka'nın tasarımının merkezinde olduğundan (paralelliği/ölçeği sağlarken bölüm başına sıralamayı sağlayan) ve bölümlerin ölçeklenebilirlik ve sıralamayı nasıl sağladığını anlamak — sıralama için anahtar tabanlı yönlendirme ve paralelliği/sıralama uzlaşmasını içeren — Kafka'yı iyi tasarlamak ve kullanmak için gereklidir; bölümlerin ölçeklenebilirlik ve sıralamayı nasıl sağladığını anlamak gereklidir, temel Kafka bilgisidir — Kafka'nın ölçeklendiği şekli (bölümler paralelliğin birimi) ve olayları sıraladığı şekli (anahtarlar aracılığıyla bölüm başına sıralama) için merkezidir ve Kafka konularını etkili bir şekilde tasarlamak için önemli bir konseptidir; Kafka ile çalışmak için temeldir.

Bölümler paralelliği ve ölçeği sağlar

Bölümler içinde sıralama

Temel uzlaşma

Neden önemli

İlgili sorular