Kafka میں offsets کیا ہیں اور وہ کیسے کام کرتے ہیں؟

Question

Accepted Answer

ایک **offset** ہر partition کے اندر ہر event کے لیے ایک منفرد، ترتیب وار ID ہے — جو اس کی position کو نشان زد کرتا ہے۔ Consumers offsets کو track اور commit کرتے ہیں تاکہ وہ جان سکیں کہ انہوں نے کیا consume کیا ہے، جو resuming، replay، اور قابل اعتماد processing کو ممکن بناتا ہے۔

## Offsets کیا ہیں

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Consumers کیسے offsets استعمال کرتے ہیں

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset management اور delivery semantics

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## یہ اہم کیوں ہے

Offsets کو سمجھنا بنیادی ہے کیونکہ یہ **Kafka consumption کی progress کو track کرنے اور اس کی نمایاں صلاحیتوں کو ممکن بنانے کا طریقہ ہیں** (resuming، replay، delivery guarantees)، لہذا یہ ضروری Kafka علم ہے۔

ایک offset — ایک partition کے اندر کسی event کی position — یہ ہے کہ consumers Kafka کے ساتھ کیسے کام کرتے ہیں۔

**Offsets کیا ہیں** (ترتیب وار IDs جو ہر event کی position کو partition کے ordered log میں نشان زد کرتے ہیں، جس میں events برقرار رہتے ہیں تاکہ offsets درست رہیں) کو سمجھنا بنیاد ہے۔

**Consumers کیسے offsets استعمال کرتے ہیں** یہ سمجھنا — اپنا موجودہ offset track کرنا (جہاں انہوں نے پڑھا ہے)، offsets کو **commit کرنا** progress کو ریکارڈ کرنے کے لیے (تاکہ وہ restart پر committed point سے resume کریں نہ کہ ہر چیز کو دوبارہ process کریں)، اور **کسی بھی offset پر seek کرنے کی صلاحیت** پرانے events کو replay کرنے یا کسی point سے reprocess کرنے کے لیے (Kafka کی نمایاں replay صلاحیت)، جس میں ہر consumer group اپنے offsets کو آزادانہ طور پر track کرتا ہے — یہ ضروری ہے Kafka consumption، resumption، اور replay کو سمجھنے کے لیے۔
le اہم بات یہ ہے کہ **offset management اور delivery semantics** کو سمجھنا اہم ہے: **جب اور کیسے آپ offsets commit کرتے ہیں اس سے delivery guarantees متاثر ہوتی ہیں** — processing کے بعد commit کرنا **at-least-once** دیتا ہے (commit سے پہلے crash reprocessing/duplicates کا سبب بنتا ہے، idempotency کی ضرورت ہے)، پہلے commit کرنا **at-most-once** دیتا ہے (commit کے بعد crash لیکن processing سے پہلے message کو کھو دیتا ہے)، اور **exactly-once** کو مزید کی ضرورت ہے (transactions، idempotent processing)۔

Offset management اور delivery guarantees کے درمیان یہ تعلق reliable Kafka consumers بنانے کے لیے ایک اہم عملی تصور ہے۔

Auto-commit بمقابلہ manual commit کو سمجھنا (guarantees پر کنٹرول) عملی offset management کو ظاہر کرتا ہے۔

چونکہ offsets یہ ہیں کہ Kafka consumption progress کو track کرتا ہے اور اپنی نمایاں صلاحیتوں کو ممکن بناتا ہے (resuming، replay) جبکہ ان کی management delivery guarantees کا تعین کرتی ہے (at-least-once، at-most-once، exactly-once)، اور چونکہ offsets کو سمجھنا reliable consumers بنانے کے لیے ضروری ہے، Kafka میں offsets کو سمجھنا ضروری، بنیادی علم ہے — یہ وہ طریقہ ہے جو Kafka consumption کو track کرتا ہے اور replay کو ممکن بناتا ہے، اور offset management کے ذریعے delivery guarantees سے اہم طریقے سے منسلک ہے، reliable Kafka consumers بنانے اور Kafka کے بنیادی تصور کے لیے ضروری۔