Kafka میں producers اور consumers کیسے کام کرتے ہیں؟

Question

Accepted Answer

**Producers** Kafka topics میں events شائع کرتے ہیں (لکھتے ہیں)، اور **consumers** ان سے events کو subscribe کرتے ہیں (پڑھتے ہیں)۔ یہ سمجھنا کہ وہ کیسے کام کرتے ہیں — جس میں partitioning، offsets، اور consumer groups شامل ہیں — Kafka استعمال کرنے کے لیے بنیادی ہے۔

## Producers — events لکھنا

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events پڑھنا

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (scaling کے لیے اہم)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## یہ کیوں اہم ہے

یہ سمجھنا کہ producers اور consumers کیسے کام کرتے ہیں بنیادی ہے کیونکہ یہ **ڈیٹا Kafka میں اور باہر کیسے بہتا ہے**، اس لیے Kafka استعمال کرنے کے لیے ضروری ہے۔

Producers events لکھتے ہیں اور consumers انہیں پڑھتے ہیں — بنیادی ڈیٹا فلو۔

**Producers** کو سمجھنا — topics میں events شائع کرنا، **key partition کا تعین کرتے ہوئے** (ایک جیسی key ایک جیسے partition میں جاتی ہے ترتیب کے لیے، کوئی key نہیں تو round-robin میں تقسیم ہو)، durability کے لیے acknowledgments کو configure کرنا، اور throughput کے لیے batching — یہ سب Kafka میں ڈیٹا کیسے داخل ہوتا ہے اس کا احاطہ کرتا ہے۔

**Consumers** کو سمجھنا — events پڑھنا اور اپنے **offset** (position) کو track کرتے ہوئے دوبارہ شروع کرنا جہاں سے وہ رکے تھے، اپنی رفتار سے پڑھنا کیونکہ events محفوظ ہیں، کسی بھی offset سے **دوبارہ چلانے** کی صلاحیت، اور progress ریکارڈ کرنے کے لیے offsets commit کرنا — یہ سب کے بارے میں ہے کہ ڈیٹا کیسے پڑھا جاتا ہے، جس میں Kafka کی خصوصی replay صلاحیت شامل ہے۔
est اہم بات، **consumer groups** کو سمجھنا Kafka کے scaling model کے لیے ضروری ہے: consumers جو مل کر کام کرتے ہیں جہاں **ہر partition group میں ایک consumer کے ذریعے استعمال ہوتا ہے** (متوازی processing کو enable کرتے ہوئے، consumers شامل کر کے partition count تک scaling)، اگر کوئی consumer ناکام ہو تو خودکار **rebalancing** (fault tolerance)، جبکہ **مختلف consumer groups آزادانہ طور پر تمام events کو پڑھتے ہیں** (pub/sub کو enable کرتے ہوئے جہاں multiple groups میں سے ہر ایک مکمل stream حاصل کرتا ہے)۔

یہ consumer-group model Kafka consumption کو scale کرنے اور queue-like (group کے اندر) اور pub/sub (groups کے درمیان) دونوں patterns کو support کرنے کے لیے بنیادی ہے۔

کیونکہ producers اور consumers یہ ہیں کہ ڈیٹا Kafka میں اور باہر کیسے بہتا ہے، اور کیونکہ ان کے کام کو سمجھنا — partitioning، offsets، replay، اور خاص طور پر consumer groups (scaling اور queue/pub-sub duality کی کلید) — Kafka استعمال کرنے کے لیے ضروری ہے، تو producers اور consumers کیسے کام کرتے ہیں یہ سمجھنا ضروری ہے، بنیادی Kafka علم — Kafka میں ڈیٹا فلو کے لیے بنیادی، consumer groups خاص طور پر Kafka کے scaling اور consumption model کو سمجھنے کے لیے اہم ہیں، اور Kafka استعمال کرنے والے کسی کے لیے ضروری ہیں۔