Si punojnë produesit dhe konsumatorët në Kafka?

Question

Accepted Answer

**Produesit** publikojnë (shkruajnë) ngjarje në temat e Kafka-s, dhe **konsumatorët** abonohemi në (lexojnë) ngjarje prej tyre. Të kuptosh se si funksionojnë ata — përfshirë ndarjen në particion, ofsetat, dhe grupet e konsumatorëve — është themelor për përdorimin e Kafka-s.

## Produesit — shkrimi i ngjarjeve

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Konsumatorët — leximi i ngjarjeve

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Grupet e konsumatorëve (kyçe për shkallëzim)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Pse ka rëndësi

Të kuptosh se si funksionojnë produesit dhe konsumatorët është themelor sepse ata janë **si rrjedhin të dhënat në dhe jashtë Kafka-s**, kështu që është thelbësor për përdorimin e Kafka-s.

Produesit shkruajnë ngjarje dhe konsumatorët i lexojnë ato — rrjedha bazë e të dhënave.

Të kuptosh **produesit** — publikimin e ngjarjeve në tema, ku **çelësi përcakton particionin** (i njëjti çelës shkon në të njëjtin particion për renditjen, pa çelës shpërndan round-robin), konfigurimin e pranueshmërisë për qëndrueshmëri, dhe grupimin për përvojën — mbuloni se si të dhënat hyjnë në Kafka.

Të kuptosh **konsumatorët** — leximin e ngjarjeve ndërsa ndjek **ofsetin** e tyre (pozicionin) për të vazhduar nga ku u ndërstopuan, leximin me ritmin e tyre pasi ngjaret ruhen, duke qenë në gjendje të **riluajnë** nga çdo offset, dhe duke përpunuar ofsetat për të regjistruar përparimin — mbulojnë se si të dhënat lexohen, përfshirë aftësinë dalluese të riluajtjes në Kafka.

Më e rëndësishme, të kuptosh **grupet e konsumatorëve** është thelbësor për modelin e shkallëzimit të Kafka-s: konsumatorët që punojnë së bashku ku **çdo particion konsumohet nga një konsumator në grup** (duke mundësuar përpunimin paralel, shkallëzimin duke shtuar konsumatorë deri në numrin e particionit), me **riekvilibrim** automatik nëse një konsumator dështon (toleranca e gabimeve), ndërsa **grupet e ndryshëm të konsumatorëve lexojnë secili të gjitha ngjaret në mënyrë të pavarur** (duke mundësuar pub/sub ku çdo grup merr rrjedhën e plotë).

Ikjo model grupe konsumatorësh është themelor për se si shkallëzohet Kafka konsumimi dhe mbështet si modelet e ngjashme me radhë (brenda një grupi) ashtu edhe pub/sub (në grupe).

Meqenëse produesit dhe konsumatorët janë si rrjedhin të dhënat në dhe jashtë Kafka-s, dhe meqenëse të kuptosh punësimet e tyre — ndarje në particion, ofsetat, riluajtje, dhe veçanërisht grupet e konsumatorëve (kyçja për shkallëzim dhe dualitetin e radhës/pub-sub) — është thelbësor për përdorimin e Kafka-s, të kuptosh se si funksionojnë produesit dhe konsumatorët është thelbësor, njohuri themelore e Kafka-s — themelor për rrjedhën e të dhënave në Kafka, me grupet e konsumatorëve të cilat janë veçanërisht të rëndësishme për të kuptuar modelin e shkallëzimit dhe konsumimit të Kafka-s, dhe të nevojshme për këdo që përdor Kafka-n.