Kafka లో డేటా రిటెన్షన్ మరియు స్టోరేజ్ ఎలా పని చేస్తాయి?

Question

Accepted Answer

Kafka **ఈవెంట్‌లను** కాన్ఫిగర్ చేయదగిన పీరియడ్ (లేదా సైజ్) కోసం **నిలుపుకుంటుంది**, వాటిని విభజన లాగ్‌లలో కూడా వర్తకం (consumption) చేసిన తర్వాత ఉంచుతుంది — పునరుత్పాదన (replay) మరియు బహుళ వినియోగదారులను సక్షమం చేస్తుంది. రిటెన్షన్ మరియు లాగ్ నిర్వహణను అర్థం చేసుకోవడం Kafka ను ఉపయోగించడానికి మరియు స్టోరేజ్ నిర్వహించడానికి ముఖ్యమైనది.

## నిలుపుదల — ఈవెంట్‌లు సంరక్షించబడతాయి

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## నిలుపుదల కాన్ఫిగరేషన్

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## లాగ్ కంపాక్షన్

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## ఇది ఎందుకు ముఖ్యమైనది

Kafka లో డేటా రిటెన్షన్ మరియు స్టోరేజ్‌ను అర్థం చేసుకోవడం విలువైనది, ఎందుకంటే **నిలుపుదల ఒక విలక్షణమైన, ముఖ్యమైన Kafka ఫీచర్** కపాబిలిటీలు మరియు స్టోరేజ్‌ను ప్రభావితం చేస్తుంది, కాబట్టి Kafka ను ఉపయోగించడానికి మరియు నిర్వహించడానికి ఇది సంబంధితమైన జ్ఞానం.

ఈవెంట్‌ల యొక్క Kafka యొక్క నిలుపుదల (వాటిని విభజన లాగ్‌లలో వర్తకం చేసిన తర్వాతకూడా ఉంచడం) సాంప్రదాయ క్యూల నుండి ఒక కీ డిఫరెన్షియేటర్ మరియు Kafka యొక్క విలక్షణమైన కపాబిలిటీలను సక్షమం చేస్తుంది.

**నిలుపుదల**‌ను అర్థం చేసుకోవడం — Kafka కాన్ఫిగర్ చేయబడిన పీరియడ్ లేదా సైజ్ కోసం ఈవెంట్‌లను ఉంచుతుంది (వర్తకం సమయంలో తొలగించనిది), **పునరుత్పాదన** (చరిత్ర తిరిగి చదవడం), బహుళ వినియోగదారులు స్వతంత్రంగా చదవడం మరియు ఆలస్యమైన వినియోగదారులు పట్టుకోవడం సక్షమం చేస్తుంది — Kafka ఒక టిటిక్యూ టిటిక్యూ కాదు, నిర్ధారణ లాగ్ కాదు, మరియు దాని పునరుత్పాదన మరియు బహుళ-వినియోగదారు కపాబిలిటీలు ఎలా పని చేస్తాయో స్పష్టం చేస్తుంది.

**నిలుపుదల కాన్ఫిగరేషన్**‌ను అర్థం చేసుకోవడం — సమయం-ఆధారిత (retention.ms, ఉదా. 7 రోజులు) మరియు సైజ్-ఆధారిత (retention.bytes) నిలుపుదల, విషయ ప్రకారం కాన్ఫిగర్ చేయబడినవి, పునరుత్పాదన అవసరాల ఆధారంగా, వినియోగదారు ఆలస్యం సహనశీలత మరియు స్టోరేజ్ సామర్థ్యం ఎంచుకోవడం — డేటా ఎంత కాలం ఉంచబడుతుందో మరియు సంబంధిత స్టోరేజ్‌ను నిర్వహించడానికి ఇది ముఖ్యమైన ఆచరణాత్మక జ్ఞానం.

**లాగ్ కంపాక్షన్**‌ను అర్థం చేసుకోవడం — ప్రత్యామ్నాయ నిలుపుదల మోడ్ ఇది **కీ ప్రకారం సর్వশేష విలువ** (అన్ని ఈవెంట్‌లకు బదులుగా) ఉంచుతుంది, చేంజ్‌లాగ్/స్టేట్ విషయాలకు ఉపయోగపడుతుంది ఇక్కడ కీ ప్రకారం ప్రస్తుత స్థితి ముఖ్యమైనది ("వినియోగదారు → సర్వశేష ప్రొఫైల్" వంటి, ప్రతి వినియోగదారుకు సర్వశేష ఉంచడం) — ఒక విలక్షణమైన, విలువైన Kafka ఫీచర్ స్టేట్-ఆధారిత విషయాల కోసం, సమయ/సైజ్ నిలుపుదలకు విరుద్ధంగా.

నిలుపుదల మరియు కంపాక్షన్‌ను అర్థం చేసుకోవడం Kafka యొక్క కపాబిలిటీలను ఉపయోగించడానికి (పునరుత్పాదన, స్టేట్ విషయాలు) మరియు స్టోరేజ్ నిర్వహించడానికి (నిలుపుదల ఎంత డేటా నిల్వ చేయబడుతుందో ప్రభావితం చేస్తుంది) ముఖ్యమైనది.

ఈ కాన్సెప్ట్‌లు కార్యాచరణ (వినియోగదారులు ఏమి చదవగలరు మరియు పునరుత్పాదన చేయగలరు) మరియు కార్యకలాపాలు (స్టోరేజ్ నిర్వహణ) రెండినీ ప్రభావితం చేస్తాయి.

నిలుపుదల ఒక విలక్షణమైన, ముఖ్యమైన Kafka ఫీచర్ (పునరుత్పాదన మరియు బహుళ వినియోగదారులను సక్షమం చేస్తుంది, Kafka ను క్యూల నుండి వేరు చేస్తుంది) నిలుపుదల కపాబిలిటీలు మరియు స్టోరేజ్‌ను ప్రభావితం చేస్తుంది, మరియు నిలుపుదల కాన్ఫిగరేషన్ మరియు లాగ్ కంపాక్షన్‌ను అర్థం చేసుకోవడం Kafka యొక్క కపాబిలిటీలను ఉపయోగించడానికి మరియు స్టోరేజ్ నిర్వహించడానికి సంబంధితమైనది, మరియు లాగ్ కంపాక్షన్ స్టేట్ విషయాల కోసం ఒక విలువైన ఫీచర్, Kafka ను సమర్థవంతంగా ఉపయోగించడానికి మరియు నిర్వహించడానికి ముఖ్యమైనది, Kafka యొక్క విలక్షణమైన కపాబిలిటీలు (పునరుత్పాదన, బహుళ వినియోగదారులు) మరియు స్టోరేజ్ నిర్వహణకు కేంద్రీయమైనది.