ما هي البنية المعمارية الشاملة لـ Kafka؟

Question

Accepted Answer

تتكون بنية Kafka من **مجموعة من الوسطاء (brokers)** (الخوادم) التي تخزن الموضوعات المقسمة والمكررة، مع **المُنتجين (producers)** الذين يكتبون و**المستهلكين (consumers)** الذين يقرؤون، تنسقها إدارة البيانات الوصفية (تاريخياً ZooKeeper، والآن KRaft). فهم البنية المعمارية يوضح كيفية عمل Kafka كنظام موزع.

## المكونات

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## النسخ المكررة من أجل الاستدامة والتوفر

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## كيف تعمل معاً

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## لماذا يهم

فهم البنية المعمارية الشاملة لـ Kafka قيّم لأنه **يوضح كيفية عمل Kafka كنظام موزع**، لذا فهو معرفة أساسية للعمل مع Kafka.

Kafka هو نظام موزع، وفهم بنيته المعمارية يشرح كيفية تحقيقه قابلية التوسع والاستدامة والتوفر.

فهم **المكونات** — **الوسطاء (brokers)** (خوادم Kafka التي تشكل مجموعة تخزن الأقسام وتخدم العملاء، موزعة البيانات والحمل)، الموضوعات/الأقسام الموزعة عبر الوسطاء، المُنتجون يكتبون والمستهلكون يقرؤون، و**التنسيق (coordination)** (البيانات الوصفية وإدارة المجموعة، تاريخياً عبر ZooKeeper، والآن بشكل متزايد عبر **KRaft** — إجماع Kafka المدمج الخاص به الذي يزيل اعتماد ZooKeeper) — يوضح أجزاء النظام.

فهم **النسخ المكررة من أجل الاستدامة والتوفر** مهم بشكل خاص: الأقسام **مكررة عبر الوسطاء** (لكل منها **قائد (leader)** يتعامل مع القراءة/الكتابة و**متابعون (followers)** ينسخونه)، لذا إذا فشل القائد يتولى المتابع مكانه (التوفر)، مع **عامل النسخ (replication factor)** الذي يحدد عدد النسخ التي تبقى دون فقدان البيانات (الاستدامة)، و**النسخ المتزامنة (in-sync replicas)** التي تضمن ضمانات الاستدامة.

هذية آلية النسخ هي كيف يحقق Kafka تحمل الأخطاء والاستدامة — مفتاح موثوقيته.

فهم **كيف تعمل معاً** (المُنتجون يكتبون إلى قادة الأقسام، مكررة إلى المتابعين، المستهلكون يقرؤون، جميعها منسقة) يوفر الصورة الكاملة لـ Kafka كنظام موزع ومكرر وقابل للتوسع.

هذا الفهم المعماري يوضح كيف يوفر Kafka خصائصه الرئيسية (قابلية التوسع من خلال الوسطاء الموزعة المقسمة، الاستدامة والتوفر من خلال النسخ).

بما أن Kafka هو نظام موزع وفهم بنيته المعمارية (الوسطاء، النسخ مع القادة/المتابعين، التنسيق) يوضح كيفية تحقيقه قابلية التوسع والاستدامة والتوفر، وبما أن هذا أساسي للعمل مع Kafka، فإن فهم البنية المعمارية الشاملة لـ Kafka معرفة أساسية قيّمة — توضح كيفية عمل Kafka كنظام موزع ومكرر (الوسطاء، النسخ من أجل تحمل الأخطاء، التنسيق)، تشرح كيفية توفره خصائصه الرئيسية، وأساسية لفهم وتشغيل Kafka.