Kafka এর মূল ধারণাগুলি কি (topics, partitions, brokers)?

Question

IT Interview Practice · Accepted Answer

Kafka এর মূল ধারণাগুলির মধ্যে রয়েছে **topics** (ইভেন্টের বিভাগ), **partitions** (topics এর মধ্যে parallelism এর একক), **brokers** (সার্ভারগুলি), **producers** (লেখা), এবং **consumers** (পড়া)। এগুলি বোঝা Kafka এর সাথে কাজ করার জন্য মৌলিক।

## মূল ধারণাগুলি

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions এবং offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## এটি কীভাবে একসাথে কাজ করে

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## এটি কেন গুরুত্বপূর্ণ

Kafka এর মূল ধারণাগুলি বোঝা মৌলিক কারণ **topics, partitions, brokers, producers, এবং consumers হল Kafka এর বিল্ডিং ব্লক**, তাই এগুলি বোঝা যেকোনো Kafka কাজের জন্য অপরিহার্য।

এই ধারণাগুলি Kafka কীভাবে কাজ করে তার ভিত্তি গঠন করে।

**Topics** (নামকৃত বিভাগ/ইভেন্টের স্ট্রিম যা producers লেখে এবং consumers পড়ে) বোঝা প্রাথমিক সংগঠনের ধারণা।

**Partitions** বোঝা বিশেষভাবে গুরুত্বপূর্ণ: topics কে partitions এ বিভক্ত করা হয় (ordered, append-only logs) যা **parallelism এবং scaling এর একক**, গুরুত্বপূর্ণ বৈশিষ্ট্য সহ যে **একটি partition এর মধ্যে order গ্যারান্টিযুক্ত কিন্তু partitions জুড়ে নয়** — এটি একটি মূল ধারণা যা Kafka কীভাবে স্কেল করে এবং ইভেন্টগুলি অর্ডার করে তা প্রভাবিত করে।

**Brokers** (Kafka সার্ভার, একটি cluster গঠন করে), **producers** (ইভেন্ট লেখা), এবং **consumers** (ইভেন্ট পড়া) বোঝা প্রাথমিক architecture সম্পূর্ণ করে।

**Partitions এবং offsets** বোঝা — প্রতিটি partition একটি ordered immutable sequence যেখানে ইভেন্টগুলির **offsets** (অবস্থান) রয়েছে, consumers তাদের offset ট্র্যাক করে পুনরায় শুরু এবং পুনরায় চালাতে, ইভেন্টগুলি ধরে রাখা হয় যাতে consumers তাদের নিজস্ব গতিতে পড়তে পারে, এবং **partition key** নির্ধারণ করে কোন partition এ একটি ইভেন্ট যায় (একই key → একই partition → সেই key এর জন্য ordering) — Kafka এর ডেটা মডেল এবং ordering গ্যারান্টি বোঝার জন্য অপরিহার্য।

**এটি কীভাবে একসাথে কাজ করে** বোঝা (producers replicated brokers এ topics/partitions এ লেখে, consumers offsets ট্র্যাক করার সময় পড়ে) সম্পূর্ণ ছবি প্রদান করে।

এই ধারণাগুলি Kafka এর vocabulary এবং mechanics যা অন্য সবকিছু তৈরি হয়।

যেহেতু topics, partitions, brokers, producers, consumers, এবং offsets হল Kafka এর মৌলিক বিল্ডিং ব্লক (partitions এবং ordering বিশেষভাবে গুরুত্বপূর্ণ ধারণা সহ), এবং যেহেতু এগুলি বোঝা যেকোনো Kafka কাজের জন্য অপরিহার্য, Kafka এর মূল ধারণাগুলি বোঝা অপরিহার্য, মৌলিক জ্ঞান — Kafka এর সাথে কাজ করার জন্য প্রয়োজনীয় বিল্ডিং ব্লক, Kafka কীভাবে organize, scale, order, এবং ইভেন্টগুলি store করে তা বোঝার জন্য কেন্দ্রীয়, এবং সমস্ত Kafka বিষয়ের ভিত্তি।

মূল ধারণাগুলি

Partitions এবং offsets

এটি কীভাবে একসাথে কাজ করে

এটি কেন গুরুত্বপূর্ণ

সম্পর্কিত প্রশ্ন