Kafka मा producers र consumers कसरी काम गर्छन्?

Question

Accepted Answer

**Producers** ले Kafka topics मा events publish (लेख्छन्), र **consumers** ले तिनीबाट events subscribe गरेर (पढ्छन्)। कसरी काम गर्छन् भन्ने कुरा बुझ्नु — partitioning, offsets, र consumer groups सहित — Kafka प्रयोग गर्नको लागि आधारभूत हो।

## Producers — events लेख्दै

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events पढ्दै

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (scaling को लागि मुख्य)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## यो किन महत्त्वपूर्ण छ

Producers र consumers कसरी काम गर्छन् भन्ने कुरा बुझ्नु आधारभूत हो किनभने तिनीहरू **कसरी डेटा Kafka मा र बाहिर प्रवाह हुन्छ**, त्यसैले Kafka प्रयोग गर्नको लागि आवश्यक छ।

Producers ले events लेख्छन् र consumers ले तिनीलाई पढ्छन् — आधारभूत डेटा प्रवाह।

**Producers** बुझ्नु — events को topics मा publish गर्दै, **key ले partition निर्धारण गर्छ** (एउटै key एउटै partition मा जान्छ ordering को लागि, कुनै key भएन भने round-robin मा वितरण गर्छ), durability को लागि acknowledgments कन्फिगर गर्दै, र throughput को लागि batching गर्दै — कसरी डेटा Kafka मा प्रवेश गर्छ भन्ने कुरा कभर गर्छ।

**Consumers** बुझ्नु — events पढ्दै र तिनीहरूको **offset** (स्थिति) ट्र्याक गर्दै जहाँबाट सुरु गर्न सकिन्छ, events retained भएकोले आफ्नो गतिमा पढ्दै, कुनै पनि offset बाट **replay** गर्न सकिन्छ, र progress रेकर्ड गर्न offsets commit गर्दै — कसरी डेटा पढ्छ भन्ने कुरा कभर गर्छ, Kafka को विशिष्ट replay क्षमता सहित।
ettसबैभन्दा महत्त्वपूर्ण, **consumer groups** बुझ्नु Kafka को scaling model को लागि आवश्यक हो: consumers एकसाथ काम गर्दै जहाँ **प्रत्येक partition एक consumer द्वारा group मा consume हुन्छ** (parallel processing सक्षम गर्दै, partition count सम्म consumers थप गरेर scale गर्दै), यदि consumer असफल भयो भने automatic **rebalancing** हुन्छ (fault tolerance), जबकि **विभिन्न consumer groups प्रत्येक सबै events स्वतन्त्र रूपमा पढ्छन्** (pub/sub सक्षम गर्दै जहाँ प्रत्येक group पूरा stream पान्छ)।

यो consumer-group model Kafka कसरी consumption scale गर्छ र दुबै queue-like (group भित्र) र pub/sub (groups को बीच) patterns समर्थन गर्छ भन्ने कुरा आधारभूत हो।

Producers र consumers डेटा Kafka मा र बाहिर कसरी प्रवाह हुन्छ भन्ने कुरा हो, र तिनीहरूको workings बुझ्नु — partitioning, offsets, replay, र विशेषगरी consumer groups (scaling र queue/pub-sub duality को कुञ्जी) — Kafka प्रयोग गर्नको लागि आवश्यक हो, producers र consumers कसरी काम गर्छन् भन्ने कुरा बुझ्नु आवश्यक, आधारभूत Kafka ज्ञान हो — Kafka मा डेटा प्रवाहको लागि आधारभूत, consumer groups विशेषगरी Kafka को scaling र consumption model बुझ्नको लागि महत्त्वपूर्ण हो, र Kafka प्रयोग गर्ने कोहीको लागि आवश्यक हो।