Kafka में data retention और storage कैसे काम करते हैं?

Question

Accepted Answer

Kafka **events को retain करता है** एक configurable अवधि (या size) के लिए, उन्हें consumption के बाद भी partition logs में रखते हुए — replay और कई consumers को सक्षम बनाते हुए। retention और log management को समझना Kafka का उपयोग करने और storage प्रबंधित करने के लिए महत्वपूर्ण है।

## Retention — events रखे जाते हैं

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Retention configuration

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Log compaction

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## यह क्यों महत्वपूर्ण है

Kafka में data retention और storage को समझना मूल्यवान है क्योंकि **retention एक विशिष्ट, महत्वपूर्ण Kafka विशेषता है** जो क्षमताओं और storage को प्रभावित करती है, इसलिए यह Kafka का उपयोग और operate करने के लिए प्रासंगिक ज्ञान है।

Kafka का events को retain करना (उन्हें consumption के बाद भी partition logs में रखना) पारंपरिक queues से एक मुख्य अंतर है और Kafka की विशिष्ट क्षमताओं को सक्षम बनाता है।

**Retention** को समझना — कि Kafka events को एक configured अवधि या size के लिए रखता है (consumption पर नहीं मिटाता), **replay** (history को फिर से पढ़ना), कई consumers का स्वतंत्र रूप से पढ़ना, और देर से आने वाले consumers का पकड़ बनाना सक्षम करते हुए — यह स्पष्ट करता है कि Kafka एक transient queue के बजाय एक टिकाऊ log क्यों है, और इसकी replay तथा multi-consumer क्षमताएँ कैसे काम करती हैं।

**Retention configuration** को समझना — time-based (retention.ms, जैसे 7 days) और size-based (retention.bytes) retention, per topic configured, replay ज़रूरतों, consumer lag tolerance और storage capacity के आधार पर चुनना — data कितने समय तक रखा जाता है और संबंधित storage को प्रबंधित करने के लिए महत्वपूर्ण व्यावहारिक ज्ञान है।

**Log compaction** को समझना — एक वैकल्पिक retention mode जो **प्रति key नवीनतम value** रखता है (सभी events के बजाय), changelog/state topics के लिए उपयोगी जहाँ प्रति key वर्तमान state मायने रखता है (जैसे "user → latest profile," प्रति user नवीनतम रखना) — state-oriented topics के लिए एक विशिष्ट, मूल्यवान Kafka विशेषता है, जो time/size retention के विपरीत है।

Retention और compaction को समझना Kafka की क्षमताओं (replay, state topics) का उपयोग करने और storage प्रबंधित करने (retention प्रभावित करता है कि कितना data store होता है) के लिए महत्वपूर्ण है।

ये अवधारणाएँ functionality (consumers क्या पढ़ और replay कर सकते हैं) और operations (storage management) दोनों को प्रभावित करती हैं।

चूँकि retention एक विशिष्ट, महत्वपूर्ण Kafka विशेषता है (replay और कई consumers को सक्षम बनाती है, Kafka को queues से अलग करती है) जो क्षमताओं और storage को प्रभावित करती है, और चूँकि retention configuration तथा log compaction को समझना Kafka की क्षमताओं का उपयोग करने और storage प्रबंधित करने के लिए प्रासंगिक है, इसलिए Kafka में data retention और storage को समझना मूल्यवान, व्यावहारिक रूप से प्रासंगिक ज्ञान है — Kafka की विशिष्ट क्षमताओं (replay, कई consumers) और storage management के लिए केंद्रीय, log compaction state topics के लिए एक मूल्यवान विशेषता होने के साथ, Kafka को प्रभावी ढंग से उपयोग और operate करने के लिए महत्वपूर्ण।