Kafka'nın temel kavramları nelerdir (topics, partitions, brokers)?

Question

Accepted Answer

Kafka'nın temel kavramları **topics** (event kategorileri), **partitions** (topics içinde paralellik birimleri), **brokers** (sunucular), **producers** (yazma) ve **consumers** (okuma) içerir. Bu kavramları anlamak Kafka ile çalışmak için temeldir.

## Temel kavramlar

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions ve offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## Nasıl bir araya gelir

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## Neden önemli

Kafka'nın temel kavramlarını anlamak temeldir çünkü **topics, partitions, brokers, producers ve consumers Kafka'nın yapı taşlarıdır**, bu nedenle bunları anlamak herhangi bir Kafka işi için gereklidir.

Bu kavramlar Kafka'nın nasıl çalıştığının temelini oluşturur.

**Topics** (adlandırılmış event kategorileri/akışları; producers yazarken consumers okurken) temel organize edici kavramı anlamak önemlidir.

**Partitions** anlamak özellikle önemlidir: topics partitions'a bölünür (sıralı, append-only loglar) ve bunlar **paralellik ve ölçeklenme birimlerdir**, önemli bir özellikle **bir partition içinde sıra garantili ancak partitions arasında değildir** — Kafka'nın nasıl ölçeklendiğini ve event'leri sıralandığını etkileyen önemli bir kavram.

**Brokers** (Kafka sunucuları, bir cluster oluşturan), **producers** (event'leri yazanlar) ve **consumers** (event'leri okuyanlar) anlamak temel mimarisi tamamlar.

**Partitions ve offsets** anlamak — her partition'ın sıralı immutable bir sequence olması ve event'lerin **offsets** (pozisyonlar) sahip olması, consumers'ın offset'lerini izleyerek resume ve replay etmesi, event'lerin saklanması böylece consumers kendi hızında okuyabilmesi ve **partition key** bir event'in hangi partition'a gideceğini belirlemesi (aynı key → aynı partition → o key için sıralama) — Kafka'nın data modeli ve sıralama garantilerini anlamak için gereklidir.

**Nasıl bir araya gelir** anlamak (producers topics/partitions'a yazarken bunlar replicated brokers'da saklanır, consumers offsets'leri izleyerek okur) tam resmi sağlar.

Bu kavramlar Kafka'nın her şey için temelini oluşturan dil ve mekanikleridir.

Topics, partitions, brokers, producers, consumers ve offsets Kafka'nın temel yapı taşları olduğundan (partitions ve sıralama özellikle önemli kavramlardır) ve bunları anlamak herhangi bir Kafka işi için gerekli olduğundan, Kafka'nın temel kavramlarını anlamak gerekli, temel bilgidir — Kafka ile çalışmak için gerekli yapı taşları, Kafka'nın event'leri nasıl organize ettiğini, ölçeklendirdiğini, sıralandığını ve depoladığını anlamak için merkezi ve tüm Kafka konuları için temel.