Kafka-তে producers এবং consumers কীভাবে কাজ করে?

Question

Accepted Answer

**Producers** Kafka topics-এ events প্রকাশ করে (লেখে), এবং **consumers** সেগুলি থেকে events সাবস্ক্রাইব করে (পড়ে)। তারা কীভাবে কাজ করে তা বোঝা — partitioning, offsets, এবং consumer groups সহ — Kafka ব্যবহারের জন্য মৌলিক।

## Producers — events লেখা

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — events পড়া

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (স্কেলিং-এর জন্য মূল)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## এটি কেন গুরুত্বপূর্ণ

Producers এবং consumers কীভাবে কাজ করে তা বোঝা মৌলিক কারণ তারা **Kafka-তে ডেটা কীভাবে প্রবেশ করে এবং বেরিয়ে যায়**, তাই Kafka ব্যবহারের জন্য এটি অপরিহার্য।

Producers events লেখে এবং consumers সেগুলি পড়ে — মৌলিক ডেটা প্রবাহ।

**Producers** বোঝা — topics-এ events প্রকাশ করা, **key partition নির্ধারণ করে** (একই key একই partition-এ যায় অর্ডারিং-এর জন্য, key না থাকলে round-robin বিতরণ), durability-এর জন্য acknowledgments কনফিগার করা, এবং throughput-এর জন্য batching — ডেটা Kafka-তে কীভাবে প্রবেশ করে তা কভার করে।

**Consumers** বোঝা — events পড়া যখন তাদের **offset** (অবস্থান) ট্র্যাক করা হয় যাতে তারা যেখানে ছেড়ে গেছিল সেখান থেকে পুনরায় শুরু করতে পারে, তাদের নিজস্ব গতিতে পড়া কারণ events সংরক্ষণ করা হয়, যেকোনো offset থেকে **replay** করতে সক্ষম হওয়া, এবং অগ্রগতি রেকর্ড করতে offsets commit করা — Kafka-এর স্বতন্ত্র replay ক্ষমতা সহ কীভাবে ডেটা পড়া হয় তা কভার করে।

সবচেয়ে গুরুত্বপূর্ণভাবে, **consumer groups** বোঝা Kafka-র স্কেলিং মডেলের জন্য অপরিহার্য: consumers একসাথে কাজ করে যেখানে **প্রতিটি partition group-এর একটি consumer দ্বারা গ্রহণ করা হয়** (parallel processing সক্ষম করে, consumers যোগ করে partition সংখ্যা পর্যন্ত স্কেল করে), consumer ব্যর্থ হলে স্বয়ংক্রিয় **rebalancing** সহ (fault tolerance), যখন **বিভিন্ন consumer groups স্বাধীনভাবে সমস্ত events পড়ে** (pub/sub সক্ষম করে যেখানে একাধিক groups প্রতিটি সম্পূর্ণ stream পায়)।

এই consumer-group মডেল Kafka consumption স্কেল করার জন্য এবং queue-সদৃশ (group-এর মধ্যে) এবং pub/sub (groups জুড়ে) উভয় patterns সমর্থন করার জন্য মৌলিক।

যেহেতু producers এবং consumers **Kafka-তে ডেটা কীভাবে প্রবেশ করে এবং বেরিয়ে যায়**, এবং যেহেতু তাদের workings বোঝা — partitioning, offsets, replay, এবং বিশেষত consumer groups (স্কেলিং-এর চাবিকাঠি এবং queue/pub-sub duality) — Kafka ব্যবহারের জন্য অপরিহার্য, producers এবং consumers কীভাবে কাজ করে তা বোঝা অপরিহার্য, ভিত্তিবান Kafka জ্ঞান — Kafka-তে ডেটা প্রবাহের জন্য মৌলিক, consumer groups বিশেষভাবে Kafka-র স্কেলিং এবং consumption মডেল বোঝার জন্য গুরুত্বপূর্ণ, এবং Kafka ব্যবহারকারী যে কেউ-র জন্য প্রয়োজনীয়।