Cum funcționează producătorii și consumatorii în Kafka?

Question

Accepted Answer

**Producătorii** publică (scriu) evenimente în subiecte Kafka, iar **consumatorii** se abonează la (citesc) evenimente din acestea. Înțelegerea modului în care funcționează — inclusiv partițiile, offseturile și grupurile de consumatori — este fundamentală pentru utilizarea Kafka.

## Producători — scrierea evenimentelor

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumatori — citirea evenimentelor

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Grupuri de consumatori (cheie pentru scalare)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## De ce este important

Înțelegerea modului în care funcționează producătorii și consumatorii este fundamentală, deoarece aceștia sunt **modul în care datele curg către și din Kafka**, deci este esențial pentru utilizarea Kafka.

Producătorii scriu evenimente, iar consumatorii le citesc — fluxul de date de bază.

Înțelegerea **producătorilor** — publicarea evenimentelor în subiecte, cu **cheia determinând partiția** (aceeași cheie mergând în aceeași partiție pentru ordonare, fără cheie distribuind round-robin), configurarea confirmatoarelor pentru durabilitate și procesarea în loturi pentru debit — acoperă modul în care datele intră în Kafka.

Înțelegerea **consumatorilor** — citirea evenimentelor în timp ce urmăresc **offsetul lor** (poziția) pentru a relua de la locul în care s-au oprit, citind în propriul ritm deoarece evenimentele sunt reținute, fiind capabili să **redea** din orice offset și să confirme offseturile pentru a înregistra progresul — acoperă modul în care sunt citite datele, inclusiv capacitatea distinctivă a Kafka de a reda.

Cea mai importantă este înțelegerea **grupurilor de consumatori**, esențială pentru modelul de scalare al Kafka: consumatorii care lucrează împreună unde **fiecare partiție este consumată de un consumator din grup** (permițând procesarea paralelă, scalare prin adăugarea consumatorilor până la numărul de partiții), cu **reechilibrare automată** dacă un consumator se defectează (toleranță la erori), în timp ce **diferitele grupuri de consumatori citesc fiecare toate evenimentele în mod independent** (permițând pub/sub unde fiecare grup primește fluxul complet).

Acest model de grup de consumatori este fundamental pentru modul în care Kafka scalează consumul și susține atât modelele asemănătoare cozilor (în cadrul unui grup) cât și pub/sub (în întregul grupuri).

Deoarece producătorii și consumatorii sunt modul în care datele curg către și din Kafka, și deoarece înțelegerea funcționării lor — partițiile, offseturile, redarea și mai ales grupurile de consumatori (cheia pentru scalare și dualitatea coadă/pub-sub) — este esențială pentru utilizarea Kafka, înțelegerea modului în care funcționează producătorii și consumatorii este cunoaștere esențială și fundamentală a Kafka — fundamentală pentru fluxul de date în Kafka, cu grupurile de consumatori fiind deosebit de importante pentru înțelegerea modelului de scalare și consum al Kafka, și necesară pentru oricine utilizează Kafka.