Kafka میں ڈیٹا کی برقرائی اور اسٹوریج کیسے کام کرتی ہے؟

Question

Accepted Answer

Kafka **ایونٹس کو برقرار رکھتا ہے** ایک قابلِ تبدیلی مدتِ وقت (یا سائز) کے لیے، انہیں پارٹیشن لاگز میں رکھتے ہوئے استعمال کے بعد بھی — ری پلے اور متعدد صارفین کو فعال بناتا ہے۔ برقرائی اور لاگ مینجمنٹ کو سمجھنا Kafka استعمال کرنے اور اسٹوریج منظم کرنے کے لیے اہم ہے۔

## برقرائی — ایونٹس برقرار رہتے ہیں

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## برقرائی کی ترتیب

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## لاگ کمپیکشن

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## یہ کیوں اہم ہے

Kafka میں ڈیٹا کی برقرائی اور اسٹوریج کو سمجھنا قیمتی ہے کیونکہ **برقرائی ایک منفرد، اہم Kafka خصوصیت ہے** جو صلاحیتوں اور اسٹوریج کو متاثر کرتی ہے، لہذا یہ Kafka استعمال اور چلانے کے لیے متعلقہ علم ہے۔

Kafka کی ایونٹس کی برقرائی (انہیں پارٹیشن لاگز میں رکھنا استعمال کے بعد بھی) روایتی کیوز سے ایک اہم فرق ہے اور Kafka کی منفرد صلاحیتوں کو فعال بناتا ہے۔

**برقرائی** کو سمجھنا — کہ Kafka ایونٹس کو ایک مقررہ مدتِ وقت یا سائز کے لیے رکھتا ہے (استعمال پر حذف نہیں کرتا)، **ری پلے** (ماضی دوبارہ پڑھنا)، متعدد صارفین آزادانہ طور پر پڑھنا، اور دیر سے آنے والے صارفین کا شامل ہونا — واضح کرتا ہے کہ Kafka ایک مستحکم لاگ ہے نہ کہ عارضی قوثق، اور اس کی ری پلے اور متعدد صارفین کی صلاحیتیں کیسے کام کرتی ہیں۔

**برقرائی کی ترتیب** کو سمجھنا — وقت پر مبنی (retention.ms، مثال کے طور پر 7 دن) اور سائز پر مبنی (retention.bytes) برقرائی، ہر موضوع کے لیے ترتیب دی گئی، ری پلے کی ضروریات، صارف میں تاخیر کی رواداری، اور اسٹوریج کی صلاحیت کی بنیاد پر منتخب کرنا — ڈیٹا کتنی دیر تک رکھا جائے اور منسلکہ اسٹوریج کو منظم کرنے کے لیے عملی علم ہے۔

**لاگ کمپیکشن** کو سمجھنا — ایک متبادل برقرائی کا طریقہ جو **ہر key کی تازہ ترین قدر** رکھتا ہے (تمام ایونٹس کی بجائے)، changelog/state موضوعات کے لیے کارآمد جہاں ہر key کی موجودہ حالت اہم ہے (جیسے "صارف → تازہ ترین پروفائل،" ہر صارف کے لیے تازہ ترین رکھنا) — Kafka کی ایک منفرد، قیمتی خصوصیت ہے state-oriented موضوعات کے لیے، وقت/سائز برقرائی کے برعکس۔

برقرائی اور کمپیکشن کو سمجھنا Kafka کی صلاحیتوں استعمال کرنے (ری پلے، state موضوعات) اور اسٹوریج منظم کرنے (برقرائی متاثر کرتی ہے کتنا ڈیٹا محفوظ ہے) کے لیے اہم ہے۔

یہ تصورات فعالیت (کیا صارفین پڑھ سکتے ہیں اور ری پلے کر سکتے ہیں) اور آپریشنز (اسٹوریج مینجمنٹ) دونوں کو متاثر کرتے ہیں۔

چونکہ برقرائی ایک منفرد، اہم Kafka خصوصیت ہے (ری پلے اور متعدد صارفین کو فعال بناتی ہے، Kafka کو کیوز سے الگ کرتی ہے) جو صلاحیتوں اور اسٹوریج کو متاثر کرتی ہے، اور چونکہ برقرائی کی ترتیب اور لاگ کمپیکشن کو سمجھنا Kafka کی صلاحیتوں استعمال کرنے اور اسٹوریج منظم کرنے کے لیے متعلقہ ہے، Kafka میں ڈیٹا کی برقرائی اور اسٹوریج کو سمجھنا قیمتی، عملی طور پر متعلقہ علم ہے — Kafka کی منفرد صلاحیتوں (ری پلے، متعدد صارفین) اور اسٹوریج مینجمنٹ کے لیے مرکزی، لاگ کمپیکشن state موضوعات کے لیے ایک قیمتی خصوصیت ہے، Kafka کو مؤثر طریقے سے استعمال اور چلانے کے لیے اہم۔