كيف يعمل ترتيب الرسائل في Kafka؟

Question

Accepted Answer

Kafka يضمن **الترتيب داخل القسم (Partition)** لكن **ليس عبر الأقسام** — وهذا مفهوم حاسم. للحصول على ترتيب للأحداث المرتبطة، توجهها إلى نفس القسم (عبر نفس المفتاح). فهم الترتيب مهم جداً للصحة.

## ترتيب كل قسم

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## الحصول على ترتيب للأحداث المرتبطة

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## المقايضات والاعتبارات

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## لماذا يهم

فهم ترتيب الرسائل في Kafka مهم لأن **الترتيب هو مفهوم أساسي وغالباً ما يُفهم بشكل خاطئ في Kafka** وهو مهم جداً للصحة، لذا هو معرفة أساسية ضرورية.

ضمان الترتيب في Kafka محدد وحاسم في الفهم.

فهم **الترتيب لكل قسم** — أن Kafka يضمن الترتيب **داخل القسم** (الأحداث مرتبة بصرامة حسب الإزاحة (offset)، تُقرأ بالترتيب) لكن **ليس عبر الأقسام** (الأحداث في أقسام مختلفة ليس لها ترتيب نسبي، تُعالج بالتوازي) — وهي خاصية أساسية في Kafka و**مصدر شائع للفهم الخاطئ** (غالباً ما يفترض الناس بشكل خاطئ ترتيباً عاماً)، لذا فهمه بشكل صحيح ضروري للصحة.

فهم كيفية **الحصول على ترتيب للأحداث المرتبطة** — إرسالها إلى نفس القسم باستخدام **نفس المفتاح** (بحيث الأحداث المرتبطة مثل جميع الأحداث لطلب معين أو مستخدم معين، مفتاح حسب تلك الكيان، تذهب إلى نفس القسم وتبقى مرتبة) — هي التقنية العملية الرئيسية لتحقيق صحة الترتيب التي تحتاجها التطبيقات (ترتيب لكل كيان عبر استخدام المفاتيح).

فهم **المقايضات والاعتبارات** — أن الترتيب داخل مفتاح/قسم **يحد من التوازي** لذلك المفتاح (جميع أحداث مفتاح واحد تُعالج بواسطة مستهلك واحد بالترتيب)، أن بعض الأشياء تكسر الترتيب (إعادة محاولات المنتج بدون idempotence و max.in.flight=1، إضافة أقسام تغير تعيين المفتاح)، وأنه يجب استخدام بدون مفتاح عندما لا يكون الترتيب ضرورياً (للتوازي الأقصى) لكن استخدام المفتاح بشكل صحيح عندما يكون (قبول نطاق التوازي) — يعكس الفهم الدقيق المطلوب لتصميم ترتيب صحيح مع موازنة التوازي.

هذه معرفة الترتيب مهمة لأن الخطأ فيها (افتراض ترتيب عام، أو عدم مفاتحة الأحداث التي تحتاج ترتيب) يسبب أخطاء صحة حقيقية.

نظراً لأن الترتيب مفهوم أساسي وغالباً ما يُفهم بشكل خاطئ في Kafka (لكل قسم فقط، يتطلب مفاتيح لترتيب الأحداث المرتبطة) مهم للصحة، وبما أن فهم الضمان، وكيفية تحقيق الترتيب عبر المفاتيح، والمقايضات (الترتيب مقابل التوازي) ضروري، فإن فهم ترتيب الرسائل في Kafka مهم وضروري في معرفة Kafka — مفهوم أساسي وغالباً ما يُفهم بشكل خاطئ حاسم للصحة، حيث فهم ترتيب كل قسم وتوجيه مفاتيح للأحداث المرتبطة (والمقايضة في التوازي) ضروري لتصميم أنظمة Kafka التي ترتب الأحداث بشكل صحيح، مفهوم رئيسي يجب على كل مستخدم Kafka أن يفهمه بدقة.