Kafka کے بنیادی تصورات کیا ہیں (topics، partitions، brokers)؟

Question

Accepted Answer

Kafka کے بنیادی تصورات میں **topics** (واقعات کی اقسام)، **partitions** (topics کے اندر متوازی کارکردگی کی اکائیاں)، **brokers** (سرورز)، **producers** (لکھنے والے)، اور **consumers** (پڑھنے والے) شامل ہیں۔ ان کو سمجھنا Kafka کے ساتھ کام کرنے کے لیے بنیادی ہے۔

## بنیادی تصورات

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions اور offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## یہ کیسے ایک ساتھ فٹ ہوتا ہے

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## اس کی اہمیت

Kafka کے بنیادی تصورات کو سمجھنا بنیادی ہے کیونکہ **topics، partitions، brokers، producers، اور consumers Kafka کی بنیادی اکائیاں ہیں**، اس لیے انہیں سمجھنا کسی بھی Kafka کام کے لیے ضروری ہے۔

یہ تصورات Kafka کے کام کرنے کی بنیاد تشکیل دیتے ہیں۔

**Topics** (نام والی اقسام/واقعات کی streams جو producers لکھتے ہیں اور consumers پڑھتے ہیں) کو سمجھنا بنیادی منظم کرنے کا تصور ہے۔

**Partitions** کو سمجھنا خاص طور پر اہم ہے: topics کو partitions میں تقسیم کیا جاتا ہے (ترتیب وار، append-only logs) جو **متوازی کارکردگی اور سکیلنگ کی اکائی ہیں**، اہم خصوصیت کے ساتھ کہ **ترتیب ایک partition کے اندر تو ضمانت ہے لیکن partitions کے درمیان نہیں** — ایک اہم تصور جو Kafka کے سکیل کرنے اور واقعات کو ترتیب دینے کے طریقے کو متاثر کرتا ہے۔

**Brokers** (Kafka سرورز، ایک cluster بناتے ہیں)، **producers** (واقعات لکھتے ہیں)، اور **consumers** (واقعات پڑھتے ہیں) کو سمجھنا بنیادی فن تعمیر کو مکمل کرتا ہے۔

**Partitions اور offsets** کو سمجھنا — ہر partition ایک ترتیب وار immutable sequence ہے جہاں واقعات کے **offsets** (positions) ہوتے ہیں، consumers اپنا offset ٹریک کرتے ہیں دوبارہ شروع کرنے اور دوبارہ چلانے کے لیے، واقعات برقرار رہتے ہیں تاکہ consumers اپنی رفتار سے پڑھیں، اور **partition key** یہ فیصلہ کرتا ہے کہ واقعہ کون سے partition میں جاتا ہے (ایک جیسی key → ایک جیسا partition → اس key کے لیے ترتیب) — Kafka کے ڈیٹا ماڈل اور ترتیب کی ضمانتوں کو سمجھنے کے لیے ضروری ہے۔

**یہ کیسے ایک ساتھ فٹ ہوتا ہے** کو سمجھنا (producers topics/partitions میں لکھتے ہیں replicated brokers پر محفوظ ہوتے ہیں، consumers offsets کو ٹریک کرتے ہوئے پڑھتے ہیں) مکمل تصویر فراہم کرتا ہے۔

یہ تصورات Kafka کے الفاظ اور میکانکس ہیں جن پر باقی سب کچھ بنتا ہے۔

کیونکہ topics، partitions، brokers، producers، consumers، اور offsets Kafka کی بنیادی اکائیاں ہیں (partitions اور ترتیب خاص طور پر اہم تصورات ہیں)، اور کیونکہ انہیں سمجھنا کسی بھی Kafka کام کے لیے ضروری ہے، Kafka کے بنیادی تصورات کو سمجھنا ضروری، بنیادی علم ہے — Kafka کے ساتھ کام کرنے کے لیے ضروری بنیادی اکائیاں، Kafka کو کیسے منظم، سکیل، ترتیب، اور محفوظ کرتا ہے اس کو سمجھنے کے لیے مرکزی، اور تمام Kafka کی بنیاد۔