Kafka'nın genel mimarisi nedir?

Question

Accepted Answer

Kafka'nın mimarisi, **broker kümesinden** (sunucular) oluşur ve bölünmüş, çoğaltılmış konuları (topics) depolar, **üreticiler** (producers) yazarken **tüketiciler** (consumers) okur ve meta veri yönetimi tarafından koordine edilir (tarihsel olarak ZooKeeper, şimdi KRaft). Mimarinin anlaşılması, Kafka'nın dağıtılmış bir sistem olarak nasıl çalıştığını açıklar.

## Bileşenler

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## Dayanıklılık ve kullanılabilirlik için çoğaltma

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## Birlikte nasıl çalıştığı

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## Neden önemli

Kafka'nın genel mimarisini anlamak değerlidir çünkü **Kafka'nın dağıtılmış bir sistem olarak nasıl çalıştığını açıklar** ve bu nedenle Kafka ile çalışmak için temel bilgidir.

Kafka dağıtılmış bir sistemdir ve mimarisini anlamak, ölçeklenebilirlik, dayanıklılık ve kullanılabilirliğini nasıl başardığını açıklar.

**Bileşenleri** anlamak — **brokerlar** (Kafka sunucuları, küme oluşturur, bölümleri depolar ve istemcilere hizmet verir, verileri ve yükü dağıtır), konular/bölümler brokerlar arasında dağıtılır, üreticiler yazarken tüketiciler okur ve **koordinasyon** (meta veri ve küme yönetimi, tarihsel olarak ZooKeeper aracılığıyla, şimdi giderek artan şekilde **KRaft** aracılığıyla — Kafka'nın kendi yerleşik konsensüsü, ZooKeeper bağımlılığını kaldırır) — sistemin parçalarını açıklığa kavuşturur.

**Dayanıklılık ve kullanılabilirlik için çoğaltmayı** anlamak özellikle önemlidir: bölümler **brokerlar arasında çoğaltılır** (her biri okuma/yazma işlemlerini gerçekleştiren bir **lider** ve onu çoğaltan **takipçilere** sahip), bu nedenle bir lider başarısız olursa takipçi onun yerine geçer (kullanılabilirlik), **çoğaltma faktörü** veri kaybı olmadan kaç kopyanın hataları hayatta kaldığını belirler (dayanıklılık) ve **senkron çoğaltmalar** dayanıklılık garantilerini sağlar.

Bu çoğaltma mekanizması, Kafka'nın hata toleransı ve dayanıklılığını nasıl başardığıdır — güvenilirliğinin anahtarıdır.

**Birlikte nasıl çalıştığını** anlamak (üreticiler bölüm liderlere yazarken, takipçilere çoğaltılır, tüketiciler okur, hepsi koordine edilir) Kafka'nın dağıtılmış, çoğaltılmış, ölçeklenebilir bir sistem olarak tam resmini sağlar.

Bu mimari anlayış, Kafka'nın temel özelliklerini (dağıtılmış bölünmüş brokerlar aracılığıyla ölçeklenebilirlik, çoğaltma aracılığıyla dayanıklılık ve kullanılabilirlik) nasıl sunduğunu açıklığa kavuşturur.

Kafka dağıtılmış bir sistem olduğundan ve mimarisini anlamak (brokerlar, liderler/takipçilere sahip çoğaltma, koordinasyon) ölçeklenebilirlik, dayanıklılık ve kullanılabilirliğini nasıl başardığını açıklar ve bu Kafka ile çalışmak için temel olduğundan, Kafka'nın genel mimarisini anlamak değerli, temel bilgidir — Kafka'nın dağıtılmış, çoğaltılmış bir sistem (brokerlar, hata toleransı için çoğaltma, koordinasyon) olarak nasıl çalıştığını açıklığa kavuşturur, temel özelliklerini nasıl sunduğunu açıklar ve Kafka'yı anlamak ve işletmek için temeldir.