Kafka کی ڈیلیوری سیمنٹکس (at-least-once, exactly-once) کیا ہیں؟

Question

Accepted Answer

Kafka مختلف **ڈیلیوری گیرنٹیز** سپورٹ کرتا ہے — **at-most-once**، **at-least-once**، اور **exactly-once** — جو یہ طے کرتے ہیں کہ آیا پیغامات کھو سکتے ہیں یا نقل ہو سکتے ہیں۔ ان کو سمجھنا اور ان کو حاصل کرنے کا طریقہ قابل اعتماد سسٹمز بنانے کے لیے اہم ہے۔

## تینوں ڈیلیوری سیمنٹکس

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## گیرنٹیز کو حاصل کرنا

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## عملی رہنمائی

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## یہ کیوں اہم ہے

Kafka کی ڈیلیوری سیمنٹکس کو سمجھنا قیمتی ہے کیونکہ **ڈیلیوری گیرنٹیز قابل اعتماد پن کا تعین کرتی ہیں** (چاہے پیغامات کھو سکتے ہوں یا نقل ہو سکتے ہوں)، اس لیے ان کو سمجھنا قابل اعتماد سسٹمز بنانے کے لیے اہم ہے۔

ڈیلیوری سیمنٹکس کا انتخاب براہ راست صحیح پن کو متاثر کرتا ہے۔

**تینوں ڈیلیوری سیمنٹکس** کو سمجھنا — **at-most-once** (پیغامات کھو سکتے ہیں لیکن نقل نہیں، offset کو processing سے پہلے commit کر کے — جب کبھی کبھار نقصان قابل قبول ہو)، **at-least-once** (پیغامات کبھی نہیں کھوتے لیکن ممکنہ طور پر نقل، processing کے بعد commit کر کے، idempotent processing کی ضرورت — عام، محفوظ ڈیفالٹ)، اور **exactly-once** (ہر پیغام بالکل ایک بار process ہو، سب سے مضبوط لیکن سب سے مشکل، transactions اور idempotent producers کی ضرورت) — قابل اعتماد پن کے ٹریڈ آفس کو سمجھنے کے لیے ضروری ہے۔

**گیرنٹیز کو حاصل کرنے کا طریقہ** سمجھنا — at-least-once processing اور پھر commit کر کے اور consumers کو **idempotent** بنا کر (duplicates کو dedup keys اور idempotent operations کے ذریعے ہینڈل کرنا — عملی اور عام)، اور exactly-once Kafka کی transactional API اور idempotent producer کے ذریعے (producing اور offsets کو atomically commit کرنا)، اہم انتباہ کے ساتھ کہ exactly-once پیچیدہ ہے overhead کے ساتھ جبکہ **at-least-once plus idempotency اکثر آسان اور کافی ہے** — عملی طریقے کو ظاہر کرتا ہے۔

**عملی رہنمائی** کو سمجھنا — کہ زیادہ تر سسٹمز at-least-once plus idempotent processing استعمال کرتے ہیں (سادہ اور قابل اعتماد)، exactly-once صرف تب استعمال کریں جب duplicates واقی میں ناقابل قبول ہوں اور idempotency مشکل ہو، اور producer acks کو durability کے لیے استعمال کریں — درست ڈیزائن فیصلے کو ظاہر کرتا ہے۔

اہم بصیرت یہ ہے کہ ڈیلیوری سیمنٹکس میں ٹریڈ آفس شامل ہیں (نقصان بمقابلہ duplicates بمقابلہ پیچیدگی)، اور عام، عملی انتخاب at-least-once plus idempotency ہے، جو distributed systems میں idempotency کی وسیع اہمیت سے متصل ہے۔

چونکہ ڈیلیوری گیرنٹیز یہ طے کرتی ہیں کہ آیا پیغامات کھو سکتے ہیں یا نقل ہو سکتے ہیں (براہ راست قابل اعتماد پن کو متاثر کرتے ہوئے) اور semantics کو سمجھنا، انہیں حاصل کرنے کا طریقہ (خاص طور پر at-least-once with idempotency as the practical default)، اور ٹریڈ آفس قابل اعتماد سسٹمز بنانے کے لیے اہم ہے، Kafka کی ڈیلیوری سیمنٹکس کو سمجھنا قیمتی، عملی طور پر اہم Kafka علم ہے — قابل اعتماد پن کے لیے مرکزی، صحیح گیرنٹیز کے ساتھ سسٹمز ڈیزائن کرنے کے لیے اہم (عام طور پر at-least-once with idempotency)، اور قابل اعتماد Kafka کے بنیادوں پر سسٹمز بنانے کے لیے ضروری سمجھ کو ظاہر کرتے ہوئے۔