Kafka میں پیغام کی ترتیب کیسے کام کرتی ہے؟

Question

Accepted Answer

Kafka **ایک partition کے اندر** ترتیب کی ضمانت دیتا ہے لیکن **partitions کے پار نہیں** — یہ ایک اہم تصور ہے۔ متعلقہ events کے لیے ترتیب حاصل کرنے کے لیے، آپ انہیں ایک ہی partition میں بھیجتے ہیں (ایک ہی key کے ذریعے)۔ ترتیب کو سمجھنا درستگی کے لیے اہم ہے۔

## فی partition ترتیب

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## متعلقہ events کے لیے ترتیب حاصل کرنا

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Trade-offs اور تحفظات

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## یہ کیوں اہم ہے

Kafka میں پیغام کی ترتیب کو سمجھنا قیمتی ہے کیونکہ **ترتیب ایک بنیادی، عام طور پر غلط فہم Kafka تصور** ہے جو درستگی کے لیے اہم ہے، اس لیے یہ ضروری علم ہے۔

Kafka کی ترتیب کی ضمانت مخصوص ہے اور سمجھنا ضروری ہے۔

**فی partition ترتیب** کو سمجھنا — کہ Kafka **ایک partition کے اندر** ترتیب کی ضمانت دیتا ہے (events کو offset کے لحاظ سے سخت ترتیب میں، ترتیب میں پڑھا جاتا ہے) لیکن **partitions کے پار نہیں** (مختلف partitions میں events کا کوئی نسبتی ترتیب نہیں، متوازی طریقے سے process کیے جاتے ہیں) — یہ ایک بنیادی Kafka خاصیت ہے اور **غلط فہم کا عام ذریعہ** (لوگ اکثر غلط طریقے سے عالمی ترتیب کا فرض کرتے ہیں)، اس لیے اسے صحیح طریقے سے سمجھنا درستگی کے لیے ضروری ہے۔

**متعلقہ events کے لیے ترتیب حاصل کرنے** کو سمجھنا — انہیں **ایک ہی key** استعمال کر کے ایک ہی partition میں بھیجنا (تاکہ متعلقہ events جیسے کسی خاص order یا صارف کے تمام events، اس ہستی سے key کیے ہوئے، ایک ہی partition میں جائیں اور ترتیب میں رہیں) — درستگی والی ترتیب حاصل کرنے کی اہم عملی تکنیک ہے جو applications کو چاہیے (keying کے ذریعے فی entity ترتیب)۔

**trade-offs اور تحفظات** کو سمجھنا — کہ ایک key/partition کے اندر ترتیب **اس key کے لیے parallelism کو محدود** کرتی ہے (ایک key کے تمام events ایک consumer کے ذریعے ترتیب میں process کیے جاتے ہیں)، کہ کچھ چیزیں ترتیب کو توڑتی ہیں (producer retries idempotence کے بغیر اور max.in.flight=1، partitions شامل کرنا key mapping کو بدلتا ہے)، اور کہ آپ کو کوئی key استعمال نہیں کرنا چاہیے جب ترتیب کی ضرورت نہ ہو (زیادہ سے زیادہ parallelism کے لیے) لیکن جب ہو تو مناسب طریقے سے key کریں (parallelism scope قبول کرتے ہوئے) — اس میں ترتیب کے لیے صحیح طریقے سے ڈیزائن کرنے کے لیے ضروری متوازن فہم کی عکاسی کرتا ہے جبکہ parallelism کو متوازن کرتے ہوئے۔

یہ ترتیب کا علم اہم ہے کیونکہ اسے غلط سمجھنا (عالمی ترتیب فرض کرنا، یا events کو key نہ کرنا جنہیں ترتیب کی ضرورت ہے) درستگی کے حقیقی bugs کا سبب بنتا ہے۔

چونکہ ترتیب ایک بنیادی، عام طور پر غلط فہم Kafka تصور ہے (صرف فی partition، متعلقہ event ترتیب کے لیے keys کی ضرورت)، اور درستگی کے لیے اہم ہے، اور چونکہ ضمانت، keys کے ذریعے ترتیب کو حاصل کرنے کا طریقہ، اور trade-offs (ترتیب بمقابلہ parallelism) کو سمجھنا ضروری ہے، Kafka میں پیغام کی ترتیب کو سمجھنا قیمتی، ضروری Kafka علم ہے — ایک بنیادی، اکثر غلط فہم تصور جو درستگی کے لیے اہم ہے، جہاں فی partition ترتیب اور متعلقہ events کے لیے key based routing (اور parallelism trade-off) کو سمجھنا Kafka systems کو ڈیزائن کرنے کے لیے ضروری ہے جو events کو صحیح طریقے سے order کریں، ایک کلیدی تصور جو ہر Kafka صارف کو درست طریقے سے سمجھنا ضروری ہے۔