كيف تنتج وتستهلك الرسائل في Kafka (الاستخدام الأساسي)؟

Question

Accepted Answer

يتضمن الاستخدام الأساسي لـ Kafka **إنتاج** الرسائل إلى موضوع (topic) و**استهلاكها** — عادة عبر مكتبة عميل (Java أو Python أو غيرها). فهم تدفق الإنتاج/الاستهلاك الأساسي هو نقطة الدخول العملية لاستخدام Kafka.

## إنتاج الرسائل

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## استهلاك الرسائل

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## النقاط العملية الرئيسية

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## أهمية ذلك

فهم الاستخدام الأساسي للإنتاج والاستهلاك مهم لأنه **نقطة الدخول العملية لاستخدام Kafka**، لذا فهو معرفة عملية ضرورية للعمل مع Kafka.

معرفة كيفية إنتاج واستهلاك الرسائل هي المهارة الأساسية لاستخدام Kafka في التطبيقات.

فهم **إنتاج الرسائل** — توصيل منتج (producer) وإرسال السجلات (key، value) إلى موضوع، مع **تحديد المفتاح للتقسيم والترتيب** — هو العملية الأساسية للكتابة.

فهم **استهلاك الرسائل** — توصيل مستهلك (consumer) بـ **معرّف مجموعة** (group ID)، والاشتراك في موضوع، ومعالجة الرسائل (مع الالتزام بـ offsets تلقائياً أو يدوياً) — هو العملية الأساسية للقراءة، حيث تكون مجموعة المستهلكين هي آلية توسع الاستهلاك.

فهم **النقاط العملية الرئيسية** — استخدام مكتبة عميل للغتك البرمجية (Java أو KafkaJS أو Python وغيرها)، تعيين المفاتيح للترتيب وتكوين acks لضمان المتانة على المنتجين، استخدام معرفات المجموعات والالتزام بـ offsets على المستهلكين، معالجة **التسلسل** (JSON أو Avro أو Protobuf، غالباً مع سجل schema للبيانات المنظمة)، ومعالجة الأخطاء والمحاولات و**المعالجة الآمنة** (idempotent processing) (حيث أن التسليم مرة واحدة على الأقل يعني احتمال التكرار) — يعكس الاعتبارات العملية لاستخدام Kafka الفعلي.

تربط هذه النقاط العملية (المفاتيح والمجموعات والتسلسل والآمنية) المعرفة المفاهيمية (الأقسام ومجموعات المستهلكين وأنماط التسليم) إلى الكود الفعلي.

بما أن إنتاج واستهلاك الرسائل هي المهارة العملية الأساسية لاستخدام Kafka في التطبيقات، ولأن فهم التدفق الأساسي والنقاط العملية (المفاتيح والمجموعات والتسلسل والآمنية) هو معرفة عملية ضرورية، فإن فهم الاستخدام الأساسي للإنتاج والاستهلاك في Kafka هو معرفة قيمة وذات صلة عملية — نقطة الدخول العملية لاستخدام Kafka، وربط المفاهيم بالكود، وضروري لأي شخص يبني بالفعل تطبيقات باستخدام Kafka.