আপনি কীভাবে Kafka-তে বার্তা উৎপাদন এবং ব্যবহার করেন (মৌলিক ব্যবহার)?

Question

Accepted Answer

মৌলিক Kafka ব্যবহারে একটি topic-এ বার্তা **উৎপাদন** করা এবং সেগুলি **ব্যবহার** করা জড়িত — সাধারণত একটি client library-র মাধ্যমে (Java, Python, ইত্যাদি)। মৌলিক produce/consume প্রবাহ বোঝা Kafka ব্যবহারের ব্যবহারিক প্রবেশ বিন্দু।

## বার্তা উৎপাদন করা

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## বার্তা ব্যবহার করা

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## মূল ব্যবহারিক পয়েন্ট

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## এটি কেন গুরুত্বপূর্ণ

মৌলিক produce/consume ব্যবহার বোঝা মূল্যবান কারণ এটি **Kafka ব্যবহারের ব্যবহারিক প্রবেশ বিন্দু**, তাই এটি Kafka-এর সাথে কাজ করার জন্য প্রয়োজনীয় hands-on জ্ঞান।

বার্তা উৎপাদন এবং ব্যবহার করা Kafka ব্যবহারের জন্য মৌলিক দক্ষতা।

**বার্তা উৎপাদন** বোঝা — একটি producer সংযুক্ত করা এবং রেকর্ড (key, value) একটি topic-এ পাঠানো, **key বিভাজন এবং অর্ডারিং নির্ধারণ করে** — মৌলিক লেখার অপারেশন।

**বার্তা ব্যবহার** করা বোঝা — একটি consumer একটি **group ID**-এর সাথে সংযুক্ত করা, একটি topic-এ সাবস্ক্রাইব করা এবং বার্তা প্রক্রিয়া করা (offsets স্বয়ংক্রিয় বা ম্যানুয়ালি committed) — মৌলিক read অপারেশন, consumer group হল কীভাবে consumption স্কেল করে।

**মূল ব্যবহারিক পয়েন্ট** বোঝা — আপনার ভাষার জন্য একটি client library ব্যবহার করা (Java, KafkaJS, Python, ইত্যাদি), অর্ডারিং-এর জন্য keys সেট করা এবং producers-এ durability-এর জন্য acks কনফিগার করা, consumers-এ group IDs এবং offsets committing করা, **serialization** পরিচালনা করা (JSON, Avro, Protobuf, প্রায়ই structured data-এর জন্য একটি schema registry-র সাথে) এবং ত্রুটি, retries এবং **idempotent processing** পরিচালনা করা (কারণ at-least-once delivery মানে সম্ভাব্য duplicates) — প্রকৃত Kafka ব্যবহারের জন্য ব্যবহারিক বিবেচনা প্রতিফলিত করে।

এই ব্যবহারিক পয়েন্টগুলি (keys, groups, serialization, idempotency) conceptual জ্ঞান (partitions, consumer groups, delivery semantics) কে প্রকৃত কোডের সাথে সংযুক্ত করে।

বার্তা উৎপাদন এবং ব্যবহার করা Kafka ব্যবহারের জন্য মৌলিক ব্যবহারিক দক্ষতা হওয়ায়, এবং মৌলিক প্রবাহ এবং ব্যবহারিক পয়েন্ট (keys, groups, serialization, idempotency) বোঝা প্রয়োজনীয় hands-on জ্ঞান হওয়ায়, মৌলিক Kafka produce/consume ব্যবহার বোঝা মূল্যবান, ব্যবহারিকভাবে-প্রাসঙ্গিক জ্ঞান — Kafka ব্যবহারের ব্যবহারিক প্রবেশ বিন্দু, concepts কে কোডের সাথে সংযুক্ত করা এবং Kafka-এর সাথে প্রকৃত অ্যাপ্লিকেশন তৈরি করা যে কেউের জন্য প্রয়োজনীয়।