Kafka کی مجموعی تعمیر (architecture) کیا ہے؟

Question

Accepted Answer

Kafka کی تعمیر ایک **بروکرز کے کلسٹر** (سرورز) پر مشتمل ہے جو تقسیم شدہ، نقل شدہ topics کو محفوظ رکھتے ہیں، **producers** لکھتے ہیں اور **consumers** پڑھتے ہیں، metadata کی تنظیم سے ہم آہنگ (تاریخی طور پر ZooKeeper، اب KRaft)۔ تعمیر کو سمجھنا واضح کرتا ہے کہ Kafka ایک distributed system کے طور پر کیسے کام کرتا ہے۔

## اہم اجزاء

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## پائیداری اور دستیابی کے لیے نقل

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## یہ سب کیسے اکٹھا کام کرتے ہیں

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## اہم کیوں ہے

Kafka کی مجموعی تعمیر کو سمجھنا قیمتی ہے کیونکہ یہ **واضح کرتا ہے کہ Kafka ایک distributed system کے طور پر کیسے کام کرتا ہے**، تو یہ Kafka کے ساتھ کام کرنے کے لیے بنیادی علم ہے۔

Kafka ایک distributed system ہے، اور اس کی تعمیر کو سمجھنا یہ بتاتا ہے کہ یہ اپنی scalability، durability، اور availability کو کیسے حاصل کرتا ہے۔

**اہم اجزاء** کو سمجھنا — **brokers** (Kafka سرورز جو ایک کلسٹر بناتے ہیں جو partitions کو محفوظ رکھتے ہیں اور کلائنٹس کی خدمت کرتے ہیں، ڈیٹا اور لوڈ کو تقسیم کرتے ہوئے)، topics/partitions بروکرز میں تقسیم شدہ، producers لکھتے ہیں اور consumers پڑھتے ہیں، اور **ہم آہنگی** (metadata اور کلسٹر کی تنظیم، تاریخی طور پر ZooKeeper کے ذریعے، اب تدریجی طور پر **KRaft** کے ذریعے — Kafka کا اپنا built-in consensus جو ZooKeeper کی منحصری کو ہٹاتا ہے) — نظام کے حصوں کو واضح کرتا ہے۔

**پائیداری اور دستیابی کے لیے نقل** کو سمجھنا خاص طور پر اہم ہے: partitions **بروکرز میں نقل شدہ** ہیں (ہر ایک کے ساتھ ایک **leader** جو reads/writes کو سنبھالتا ہے اور **followers** اسے نقل کرتے ہیں)، تو اگر ایک leader ناکام ہو تو ایک follower اس کی جگہ لے لیتا ہے (دستیابی)، **replication factor** یہ طے کرتا ہے کہ کتنی کاپیز ناکامیوں سے بغیر ڈیٹا کے نقصان کے زندہ رہتی ہیں (پائیداری)، اور **in-sync replicas** پائیداری کی ضمانتیں یقینی کرتے ہیں۔

یہ نقل کا طریقہ ہے جس سے Kafka fault tolerance اور durability حاصل کرتا ہے — اس کی قابل اعتماد کے لیے اہم۔

**یہ سب کیسے اکٹھا کام کرتے ہیں** کو سمجھنا (producers partition leaders میں لکھتے ہیں، followers میں نقل شدہ، consumers پڑھتے ہیں، سب کو ہم آہنگ کیا جاتا ہے) Kafka کی مکمل تصویر فراہم کرتا ہے ایک distributed، replicated، scalable system کے طور پر۔

یہ تعماری سمجھ واضح کرتی ہے کہ Kafka اپنی اہم خصوصیات کو کیسے فراہم کرتا ہے (distributed partitioned brokers کے ذریعے scalability، نقل کے ذریعے durability اور availability)۔

چونکہ Kafka ایک distributed system ہے اور اس کی تعمیر (brokers، leaders/followers کے ساتھ نقل، ہم آہنگی) کو سمجھنا واضح کرتا ہے کہ یہ scalability، durability، اور availability کو کیسے حاصل کرتا ہے، اور چونکہ یہ Kafka کے ساتھ کام کرنے کے لیے بنیادی ہے، Kafka کی مجموعی تعمیر کو سمجھنا قیمتی، بنیادی علم ہے — واضح کرتے ہوئے کہ Kafka ایک distributed، replicated system کے طور پر کیسے کام کرتا ہے (brokers، fault tolerance کے لیے نقل، ہم آہنگی)، وضاحت کرتے ہوئے کہ یہ اپنی اہم خصوصیات کو کیسے فراہم کرتا ہے، اور Kafka کو سمجھنے اور چلانے کے لیے بنیادی۔