Kafka'da üreticiler ve tüketiciler nasıl çalışır?

Question

Accepted Answer

**Üreticiler** Kafka konularına olaylar yayınlar (yazar) ve **tüketiciler** bunlardan olayları alırlar (okurlar). Nasıl çalıştıklarını anlamak — bölümleme, offset'ler ve tüketici grupları dahil — Kafka'yı kullanmak için temeldir.

## Üreticiler — olayları yazma

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Tüketiciler — olayları okuma

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Tüketici grupları (ölçeklendirme için önemli)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Neden önemli

Üreticiler ve tüketicilerin nasıl çalıştığını anlamak temeldir çünkü bunlar **verilerin Kafka'ya giriş ve çıkışının nasıl olduğudur** ve bu nedenle Kafka'yı kullanmak için gereklidir.

Üreticiler olayları yazar ve tüketiciler onları okur — temel veri akışı.

**Üreticileri** anlamak — olaylara konulara yayınlamak, **anahtar bölümü belirlemek** (aynı anahtar sıralama için aynı bölüme gitmek, anahtar olmadan round-robin dağılımı yapmak), dayanıklılık için onaylamaları yapılandırmak ve verim için toplu işleme — verilerin Kafka'ya nasıl girdiğini kapsar.

**Tüketicileri** anlamak — olayları okurken nerede bıraktıklarından devam etmek için **offset'lerini** (konumlarını) takip etmek, olaylar saklandığı için kendi hızlarında okumak, herhangi bir offset'ten **tekrar oynatma** yapabilmek ve ilerlemeyi kaydetmek için offset'leri kaydetmek — verilerin nasıl okunduğunu, Kafka'nın ayırt edici tekrar oynatma yeteneğini de kapsar.

En önemlisi, **tüketici grupları** anlamak Kafka'nın ölçeklendirme modeli için gereklidir: birlikte çalışan tüketiciler burada **her bölüm gruptaki bir tüketici tarafından tüketilir** (paralel işleme sağlamak, tüketiciler ekleyerek bölüm sayısına kadar ölçeklendirmek), bir tüketici başarısız olursa otomatik **yeniden dengeleme** (hata toleransı), **farklı tüketici grupları her biri tüm olayları bağımsız olarak okur** (birden fazla grubun her birinin tam akışı aldığı pub/sub'ı sağlamak).

Bu tüketici grubu modeli Kafka'nın tüketimi nasıl ölçeklendirdiğine ve hem kuyruk benzeri (bir grup içinde) hem de pub/sub (gruplar arasında) desenleri desteklemesine temeldir.

Üreticiler ve tüketiciler verilerin Kafka'ya giriş ve çıkışı olduğundan ve bunların işleyişini anlamak — bölümleme, offset'ler, tekrar oynatma ve özellikle tüketici grupları (ölçeklendirmenin anahtarı ve kuyruk/pub-sub dualitesi) — Kafka'yı kullanmak için gerekli olduğundan, üreticiler ve tüketicilerin nasıl çalıştığını anlamak Kafka bilgisinin temel, vakıf niteliğindedir — Kafka'daki veri akışına fundamental, tüketici grupları özellikle Kafka'nın ölçeklendirme ve tüketim modelini anlamak için önemli ve Kafka'yı kullanan herkes için gereklidir.