آپ Kafka میں پیغامات کو کیسے تیار اور استعمال کرتے ہیں (بنیادی استعمال)؟

Question

Accepted Answer

بنیادی Kafka کا استعمال **پیغامات تیار کرنے** کو ایک موضوع میں شامل کرتا ہے اور انہیں **استعمال کرنا** — عام طور پر ایک کلائنٹ لائبریری کے ذریعے (Java، Python، وغیرہ)۔ بنیادی produce/consume بہاؤ کو سمجھنا Kafka استعمال کرنے کا عملی داخلہ نقطہ ہے۔

## پیغامات تیار کرنا

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## پیغامات استعمال کرنا

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## اہم عملی نکات

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## اہمیت کیوں ہے

بنیادی produce/consume استعمال کو سمجھنا قیمتی ہے کیونکہ یہ **Kafka استعمال کرنے کا عملی داخلہ نقطہ** ہے، لہذا یہ Kafka کے ساتھ کام کرنے کے لیے ضروری عملی علم ہے۔

پیغامات تیار اور استعمال کرنے کا طریقہ جاننا Kafka استعمال کرنے کی بنیادی مہارت ہے۔

**پیغامات تیار کرنے** کو سمجھنا — ایک producer سے رابطہ قائم کرنا اور records (key, value) کو موضوع میں بھیجنا، **key تقسیم اور ترتیب کا تعین کرتے ہوئے** — بنیادی لکھنے کی کارروائی ہے۔

**پیغامات استعمال کرنے** کو سمجھنا — ایک consumer کو **group ID** کے ساتھ رابطہ قائم کرنا، موضوع پر رکنیت اختیار کرنا، اور پیغامات کو process کرنا (offsets خودکار یا دستی طور پر commit کے ساتھ) — بنیادی پڑھنے کی کارروائی ہے، consumer group کے ساتھ کھپت کس طرح بڑھتی ہے۔

**اہم عملی نکات** کو سمجھنا — اپنی زبان کے لیے client library استعمال کرنا (Java, KafkaJS, Python، وغیرہ)، ترتیب کے لیے keys استعمال کرنا اور producers پر durability کے لیے acks کو configure کرنا، consumers پر group IDs اور offsets commit کرنا، **serialization** کو ہینڈل کرنا (JSON, Avro, Protobuf, اکثر structured data کے لیے schema registry کے ساتھ)، اور errors، retries، اور **idempotent processing** کو ہینڈل کرنا (کیونکہ at-least-once delivery کا مطلب ممکنہ duplicates ہے) — حقیقی Kafka استعمال کے لیے عملی اعتبارات کو ظاہر کرتا ہے۔

yہ عملی نکات (keys, groups، serialization، idempotency) تصوری علم (partitions، consumer groups، delivery semantics) کو اصل code سے جوڑتے ہیں۔

چونکہ پیغامات تیار اور استعمال کرنا Kafka کو applications میں استعمال کرنے کی بنیادی عملی مہارت ہے، اور چونکہ بنیادی بہاؤ اور عملی نکات (keys, groups، serialization، idempotency) کو سمجھنا ضروری عملی علم ہے، بنیادی Kafka produce/consume استعمال کو سمجھنا قیمتی، عملی طور پر متعلقہ علم ہے — Kafka استعمال کرنے کا عملی داخلہ نقطہ، تصورات کو code سے جوڑنا، اور Kafka کے ساتھ applications بنانے والے کسی کے لیے ضروری ہے۔