كيف يعمل المُنتجون والمستهلكون في Kafka؟

Question

Accepted Answer

**المُنتجون** ينشرون (يكتبون) الأحداث إلى مواضيع Kafka، و**المستهلكون** يشتركون في (يقرؤون) الأحداث منها. فهم كيفية عملهما — بما في ذلك التقسيم (Partitioning)، والإزاحات (Offsets)، ومجموعات المستهلكين — أمر أساسي لاستخدام Kafka.

## المُنتجون — كتابة الأحداث

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## المستهلكون — قراءة الأحداث

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## مجموعات المستهلكين (المفتاح للتوسع)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## لماذا يهم

فهم كيفية عمل المُنتجين والمستهلكين أمر أساسي لأنهما **هما كيفية تدفق البيانات داخل وخارج Kafka**، لذا فهو ضروري لاستخدام Kafka.

المُنتجون يكتبون الأحداث والمستهلكون يقرؤونها — تدفق البيانات الأساسي.

فهم **المُنتجين** — نشر الأحداث على المواضيع، مع **المفتاح الذي يحدد القسم** (نفس المفتاح يذهب إلى نفس القسم للحفاظ على الترتيب، بدون مفتاح يتم التوزيع بشكل دوري)، وتكوين الإقرارات (Acknowledgments) لتحقيق المتانة، والدمج (Batching) لزيادة الإنتاجية — يغطي كيفية دخول البيانات إلى Kafka.

فهم **المستهلكين** — قراءة الأحداث مع تتبع **الإزاحة** (الموضع) لاستئناف العملية من حيث توقفت، القراءة بوتيرتهم الخاصة حيث يتم الاحتفاظ بالأحداث، القدرة على **إعادة التشغيل** من أي إزاحة، والالتزام بالإزاحات لتسجيل التقدم — يغطي كيفية قراءة البيانات، بما في ذلك إمكانية إعادة التشغيل المميزة في Kafka.

الأهم من ذلك، فهم **مجموعات المستهلكين** ضروري لنموذج توسع Kafka: المستهلكون يعملون معاً حيث **يتم استهلاك كل قسم من قبل مستهلك واحد في المجموعة** (مما يتيح المعالجة المتوازية، والتوسع بإضافة مستهلكين حتى عدد الأقسام)، مع **إعادة موازنة** تلقائية إذا فشل مستهلك (تحمل الأعطال)، بينما **مجموعات المستهلكين المختلفة تقرأ جميع الأحداث بشكل مستقل** (مما يتيح pub/sub حيث تحصل كل مجموعة على التدفق الكامل).

هذا نموذج مجموعات المستهلكين أساسي لكيفية توسع استهلاك Kafka ودعم كل من أنماط القائمة (ضمن المجموعة) و pub/sub (عبر المجموعات).

بما أن المُنتجين والمستهلكين هما كيفية تدفق البيانات داخل وخارج Kafka، وبما أن فهم عملهما — التقسيم، والإزاحات، وإعادة التشغيل، وخاصة مجموعات المستهلكين (المفتاح للتوسع والثنائية بين القائمة/pub-sub) — ضروري لاستخدام Kafka، فإن فهم كيفية عمل المُنتجين والمستهلكين أساسي وضروري لمعرفة Kafka — أساسي لتدفق البيانات في Kafka، مع كون مجموعات المستهلكين مهمة بشكل خاص لفهم نموذج توسع واستهلاك Kafka، وضروري لأي شخص يستخدم Kafka.