ਕਾਫਕਾ ਵਿੱਚ ਪ੍ਰੋਡਿਊਸਰ ਅਤੇ ਕਨਜ਼ਿਊਮਰ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ?

Question

Accepted Answer

**Producers** Kafka topics ਵਿੱਚ events ਨੂੰ publish ਕਰਦੇ ਹਨ (write), ਅਤੇ **consumers** ਉਨ੍ਹਾਂ ਤੋਂ events ਨੂੰ subscribe ਕਰਦੇ ਹਨ (read)। ਇਸ ਗੱਲ ਨੂੰ ਸਮਝਣਾ ਕਿ ਉਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ — partitioning, offsets, ਅਤੇ consumer groups ਸਮੇਤ — Kafka ਦੀ ਵਰਤੋਂ ਲਈ ਬੁਨਿਆਦੀ ਹੈ।

## Producers — events ਲਿਖਣਾ

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events ਪੜ੍ਹਨਾ

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (scaling ਲਈ ਮੁੱਖ)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

Producers ਅਤੇ consumers ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਇਹ ਸਮਝਣਾ ਬੁਨਿਆਦੀ ਹੈ ਕਿਉਂਕਿ ਉਹ **Kafka ਵਿੱਚ ਅਤੇ ਬਾਹਰ ਡਾਟਾ ਦਵਿਿਆ ਕਿਵੇਂ ਚੱਲਦਾ ਹੈ**, ਇਸ ਲਈ Kafka ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਇਹ ਜ਼ਰੂਰੀ ਹੈ।

Producers events ਲਿਖਦੇ ਹਨ ਅਤੇ consumers ਉਨ੍ਹਾਂ ਨੂੰ ਪੜ੍ਹਦੇ ਹਨ — ਬੁਨਿਆਦੀ ਡਾਟਾ ਪ੍ਰਵਾਹ।

**Producers** ਨੂੰ ਸਮਝਣਾ — topics ਵਿੱਚ events publish ਕਰਨਾ, **key partition ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ** (ਇਕੋ key ਇਕਸਾਰ partition ਵਿੱਚ ਜਾਂਦੀ ਹੈ ordering ਲਈ, ਕੋਈ key round-robin ਵਿੱਚ distribute ਕਰਦੀ ਹੈ), acknowledgments configure ਕਰਨਾ durability ਲਈ, ਅਤੇ throughput ਲਈ batching — Kafka ਵਿੱਚ ਡਾਟਾ ਕਿਵੇਂ ਦਾਖਲ ਹੁੰਦਾ ਹੈ ਇਸ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ।

**Consumers** ਨੂੰ ਸਮਝਣਾ — events ਪੜ੍ਹਨਾ ਉਨ੍ਹਾਂ ਦੇ **offset** (position) ਨੂੰ ਟ੍ਰੈਕ ਕਰਦੇ ਹੋਏ ਉੱਥੇ ਤੋਂ ਚਾਲੂ ਕਰਨ ਲਈ ਜਿੱਥੇ ਉਹ ਛੱਡ ਗਏ ਸਨ, ਆਪਣੀ ਗਤੀ ਨਾਲ ਪੜ੍ਹਨਾ ਕਿਉਂਕਿ events retain ਹੁੰਦੇ ਹਨ, ਕਿਸੇ ਵੀ offset ਤੋਂ **replay** ਕਰ ਸਕਣਾ, ਅਤੇ offsets commit ਕਰਨਾ ਤਰੱਕੀ ਰਿਕਾਰਡ ਕਰਨ ਲਈ — ਡਾਟਾ ਕਿਵੇਂ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ ਇਸ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ, Kafka ਦੀ ਖਾਸ replay ਸਮਰੱਥਾ ਸਮੇਤ।

je ਜ਼ਿਆਦਾ ਮਹੱਤਵਪੂਰਨ, **consumer groups** ਨੂੰ ਸਮਝਣਾ Kafka ਦੇ scaling model ਲਈ ਜ਼ਰੂਰੀ ਹੈ: consumers ਇਕੱਠੇ ਕੰਮ ਕਰ ਰਹੇ ਹਨ ਜਿੱਥੇ **ਹਰ partition group ਦੇ ਇੱਕ consumer ਦੁਆਰਾ ਖਪਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ** (parallel processing ਨੂੰ enable ਕਰਦਾ ਹੈ, partition ਗਿਣਤੀ ਤੱਕ consumers ਜੋੜ ਕੇ scaling), ਆਟੋਮੈਟਿਕ **rebalancing** ਜੇ consumer ਫੈਲ ਹੋਵੇ (fault tolerance), ਜਦੋਂ **ਵੱਖਰੇ consumer groups ਹਰ ਸੁਤੰਤਰ ਤੌਰ ਤੇ ਸਾਰੇ events ਨੂੰ ਪੜ੍ਹਦੇ ਹਨ** (pub/sub enable ਕਰਦਾ ਹੈ ਜਿੱਥੇ ਕਈ groups ਹਰ ਇੱਕ ਪੂਰਾ stream ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ)।

ਇਹ consumer-group model Kafka scaling consumption ਲਈ ਬੁਨਿਆਦੀ ਹੈ ਅਤੇ queue-like (ਇੱਕ group ਵਿੱਚ) ਅਤੇ pub/sub (groups ਵਿੱਚ) patterns ਦੋਵਾਂ ਨੂੰ support ਕਰਦਾ ਹੈ।

je producers ਅਤੇ consumers Kafka ਵਿੱਚ ਅਤੇ ਬਾਹਰ ਡਾਟਾ ਦਵਿਿਆ ਦੀ ਥਾਂ ਹਨ, ਅਤੇ ਕਿਉਂਕਿ ਉਨ੍ਹਾਂ ਦੇ ਕਾਰਜਾਂ ਨੂੰ ਸਮਝਣਾ — partitioning, offsets, replay, ਅਤੇ ਖਾਸ ਤੌਰ ਤੇ consumer groups (scaling ਅਤੇ queue/pub-sub duality ਲਈ ਕੀ) — Kafka ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਜ਼ਰੂਰੀ ਹੈ, producers ਅਤੇ consumers ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਇਹ ਸਮਝਣਾ ਜ਼ਰੂਰੀ, ਬੁਨਿਆਦੀ Kafka ਗਿਆਨ ਹੈ — Kafka ਵਿੱਚ ਡਾਟਾ ਪ੍ਰਵਾਹ ਲਈ ਬੁਨਿਆਦੀ, consumer groups ਵੀ Kafka ਦੇ scaling ਅਤੇ consumption model ਨੂੰ ਸਮਝਣ ਲਈ ਖਾਸ ਮਹੱਤਵਪੂਰਨ, ਅਤੇ Kafka ਵਰਤ ਰਹੇ ਕਿਸੇ ਵੀ ਦੀ ਜ਼ਰੂਰੀ।