Kafka లో producers మరియు consumers ఎలా పని చేస్తాయి?

Question

IT Interview Practice · Accepted Answer

**Producers** Kafka topics కు events ను publish చేస్తాయి (write చేస్తాయి), మరియు **consumers** వాటి నుండి events ను subscribe చేస్తాయి (read చేస్తాయి). వాటి పని చేయడం ఎలా ఉందో అర్థం చేసుకోవడం — partitioning, offsets, మరియు consumer groups సహా — Kafka ను ఉపయోగించడానికి ఆధారమైనది.

## Producers — events లను write చేయడం

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events లను read చేయడం

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (స్కేలింగ్ కోసం కీ)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## ఇది ఎందుకు ముఖ్యమైనది

Producers మరియు consumers ఎలా పని చేస్తాయో అర్థం చేసుకోవడం ఆధారమైనది ఎందుకంటే అవి **డేటా Kafka లోకి మరియు బయటకి ఎలా ప్రవహిస్తుందో**, కాబట్టి Kafka ను ఉపయోగించడానికి ఇది అవసరమైనది.

Producers events లను write చేస్తాయి మరియు consumers వాటిని read చేస్తాయి — ప్రాథమిక డేటా ప్రవాహం.

**Producers** అర్థం చేసుకోవడం — topics కు events ను publish చేయడం, **partition నిర్ణయించే key** (ఒకే key ఒకే partition కు సరళ క్రమం కోసం, key లేనిది round-robin గా పంపిణీ చేయడం), మనిషిత్వం కోసం acknowledgments ను కాన్ఫిగర్ చేయడం, మరియు throughput కోసం batching — డేటా Kafka లోకి ఎలా ప్రవేశిస్తుందో కవర్ చేస్తుంది.

**Consumers** అర్థం చేసుకోవడం — events లను read చేయడం వాటి **offset** (position) ట్రాక్ చేస్తూ ఎక్కడ నుండి ప్రారంభించాలో తిరిగి ఆరంభించడానికి, వారి స్వంత గతిలో read చేయడం ఎందుకంటే events నిలువు ఉన్నాయి, ఏదైనా offset నుండి **replay** చేయగలిగిన సామర్థ్యం, మరియు offsets ను commit చేయడం progress ను రికార్డ్ చేయడానికి — డేటా ఎలా read చేయబడుతుందో కవర్ చేస్తుంది, Kafka యొక్క విలక్షణ replay సామర్థ్యం సహా.

పైన పేర్కొన్న అన్నీ, **consumer groups** అర్థం చేసుకోవడం Kafka యొక్క స్కేలింగ్ నమూనా కోసం అవసరమైనది: consumers కలిసి పని చేస్తున్నప్పుడు ఇక్కడ **ప్రతి partition group లోని ఒక consumer చేత వినియోగం చేయబడుతుంది** (సమాంతర processing ను ఎనేబల్ చేస్తూ, consumers కు partition సంఖ్య వరకు జోడించడం ద్వారా స్కేలింగ్), consumer విఫలమైతే స్వయంచాలక **rebalancing** (లోపం సహనం), అయితే **వేర్వేరు consumer groups ప్రతిটి అన్ని events ను స్వతంత్రంగా read చేస్తాయి** (pub/sub ను ఎనేబల్ చేస్తూ ఇక్కడ ప్రతి group పూర్తి stream పొందుతుంది).

యह consumer-group మోడెల్ Kafka స్కేల్ consumption కు ఎలా ఫండమెంటల్ మరియు queue-like (group లోపల) మరియు pub/sub (groups అంతటా) రూపాంకరణలను సపోర్ట్ చేస్తుంది.

Producers మరియు consumers Kafka లోకి మరియు బయటకు డేటా ఎలా ప్రవహిస్తుందో ఎందుకంటే, మరియు వాటి పని చేయడం అర్థం చేసుకోవడం — partitioning, offsets, replay, మరియు ముఖ్యంగా consumer groups (స్కేలింగ్ కోసం కీ మరియు queue/pub-sub duality) — Kafka ను ఉపయోగించడానికి అవసరమైనది, producers మరియు consumers ఎలా పని చేస్తాయో అర్థం చేసుకోవడం ఎసెన్షియల్, ఫండేషనల్ Kafka జ్ఞానం — Kafka లో డేటా ప్రవాహానికి ఫండమెంటల్, consumer groups Kafka యొక్క స్కేలింగ్ మరియు consumption మోడెల్ అర్థం చేసుకోవడానికి ముఖ్యంగా ముఖ్యమైనది, మరియు Kafka ను ఉపయోగిస్తున్న ఎవరికైనా అవసరమైనది.

Producers — events లను write చేయడం

Consumers — events లను read చేయడం

Consumer groups (స్కేలింగ్ కోసం కీ)

ఇది ఎందుకు ముఖ్యమైనది

సంబంధిత ప్రశ్నలు