Jak działają producenci i konsumenci w Kafka?

Question

Accepted Answer

**Producenci** publikują (zapisują) zdarzenia do tematów Kafka, a **konsumenci** subskrybują (czytają) zdarzenia z nich. Zrozumienie, jak działają — w tym partycjonowanie, offsety i grupy konsumentów — jest fundamentalne dla korzystania z Kafka.

## Producenci — zapisywanie zdarzeń

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Konsumenci — odczytywanie zdarzeń

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Grupy konsumentów (kluczowe dla skalowania)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Dlaczego to ważne

Zrozumienie, jak działają producenci i konsumenci, jest fundamentalne, ponieważ są to **sposoby, w jakie dane przepływają do i z Kafka**, dlatego jest to niezbędne do korzystania z Kafka.

Producenci zapisują zdarzenia, a konsumenci je czytają — podstawowy przepływ danych.

Zrozumienie **producентów** — publikowania zdarzeń do tematów, gdzie **klucz określa partycję** (ten sam klucz trafia do tej samej partycji dla porządku, brak klucza rozdziela round-robin), konfiguracja potwierdzeń dla trwałości i grupowanie dla przepustowości — obejmuje sposób wejścia danych do Kafka.

Zrozumienie **konsumentów** — odczytywania zdarzeń podczas śledzenia ich **offsetu** (pozycji) w celu wznowienia od miejsca, w którym się skończyło, czytania własnym tempem, ponieważ zdarzenia są przechowywane, możliwości **odtworzenia** z dowolnego offsetu i zatwierdzania offsetów w celu zanotowania postępu — obejmuje sposób czytania danych, w tym charakterystyczną możliwość odtworzenia Kafka.

Najważniejsze jest zrozumienie **grup konsumentów**, które są niezbędne dla modelu skalowania Kafka: konsumenci pracujący razem, gdzie **każda partycja jest konsumowana przez jednego konsumenta w grupie** (umożliwiając przetwarzanie równoległe, skalowanie poprzez dodawanie konsumentów do liczby partycji), z automatycznym **równoważeniem** w przypadku awarii konsumenta (tolerancja na uszkodzenia), podczas gdy **różne grupy konsumentów niezależnie czytają wszystkie zdarzenia** (umożliwiając pub/sub, gdzie każda grupa otrzymuje pełny strumień).

Ten model grupy konsumentów jest fundamentalny dla sposobu skalowania konsumpcji w Kafka i wspiera zarówno wzorce podobne do kolejki (w ramach grupy), jak i pub/sub (między grupami).

Ponieważ producenci i konsumenci to sposób przepływu danych do i z Kafka, i ponieważ zrozumienie ich działania — partycjonowanie, offsety, odtwarzanie, a szczególnie grupy konsumentów (klucz do skalowania i dualności kolejka/pub-sub) — jest niezbędne do korzystania z Kafka, zrozumienie, jak działają producenci i konsumenci, jest niezbędną, podstawową wiedzą o Kafka — fundamentalną dla przepływu danych w Kafka, gdzie grupy konsumentów są szczególnie ważne dla zrozumienia modelu skalowania i konsumpcji Kafka, i niezbędne dla każdego, kto korzysta z Kafka.