ما هي المفاهيم الأساسية في Kafka (topics و partitions و brokers)؟

Question

Accepted Answer

تتضمن المفاهيم الأساسية في Kafka **topics** (فئات الأحداث)، **partitions** (وحدات التوازي داخل topics)، **brokers** (الخوادم)، **producers** (الكتابة)، و **consumers** (القراءة). فهم هذه المفاهيم أساسي للعمل مع Kafka.

## المفاهيم الأساسية

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions والـ offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## كيف تتناسب معاً

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## لماذا هذا مهم

فهم المفاهيم الأساسية في Kafka أساسي لأن **topics و partitions و brokers و producers و consumers هي اللبنات الأساسية في Kafka**، لذا فإن فهمها ضروري لأي عمل مع Kafka.

تشكل هذه المفاهيم أساس كيفية عمل Kafka.

فهم **topics** (فئات/تدفقات مسماة من الأحداث التي يكتب إليها المُنتجون ويقرأ منها المستهلكون) هو المفهوم الأساسي للتنظيم.

فهم **partitions** مهم بشكل خاص: يتم تقسيم topics إلى partitions (سجلات مرتبة وملحقة فقط) وهي **وحدة التوازي والتوسع**، مع الخاصية الحاسمة أن **الترتيب مضمون داخل partition لكن ليس عبر partitions** — وهي فكرة أساسية تؤثر على كيفية توسع Kafka وترتيب الأحداث.

فهم **brokers** (خوادم Kafka التي تشكل مجموعة)، **producers** (كتابة الأحداث)، و **consumers** (قراءة الأحداث) يكمل المعمارية الأساسية.

فهم **partitions والـ offsets** — كل partition يكون تسلسلاً مرتباً وغير قابل للتغيير حيث تحتوي الأحداث على **offsets** (مواضع)، المستهلكون يتتبعون offset الخاص بهم للاستئناف والإعادة، والأحداث يتم الاحتفاظ بها لذا المستهلكون يقرؤون بوتيرتهم الخاصة، و **partition key** يحدد أي partition ستذهب إليه الحدثة (نفس المفتاح → نفس partition → ترتيب لذلك المفتاح) — ضروري لفهم نموذج بيانات Kafka وضماناتها للترتيب.

فهم **كيف تتناسب معاً** (المُنتجون يكتبون إلى topics/partitions المخزنة على brokers مكررة، المستهلكون يقرؤون أثناء تتبع offsets) يوفر الصورة الكاملة.

هذه المفاهيم هي المفردات وآليات Kafka التي يبني عليها كل شيء آخر.

بما أن topics و partitions و brokers و producers و consumers و offsets هي اللبنات الأساسية للـ Kafka (مع كون partitions والترتيب مفاهيم مهمة بشكل خاص)، وبما أن فهمها ضروري لأي عمل مع Kafka، فإن فهم المفاهيم الأساسية في Kafka معرفة أساسية وضرورية — اللبنات الأساسية في Kafka اللازمة للعمل معها، وأساسية لفهم كيفية تنظيم Kafka وتوسعها وترتيبها وتخزين الأحداث، والأساس لكل مواضيع Kafka.