Kafka मा डेटा retention र storage कसरी काम गर्छ?

Question

Accepted Answer

Kafka **घटनाहरूलाई रिटेन गर्छ** एक कन्फिगरेबल अवधि (वा आकार) को लागि, उपभोगपछि पनि पार्टिसन लगमा राखी — रिप्ले र एकाधिक उपभोक्ताहरूलाई सक्षम बनाई। Retention र log management बुझ्नु Kafka प्रयोग गर्न र storage व्यवस्थापन गर्नको लागि महत्त्वपूर्ण छ।

## Retention — घटनाहरू राखिन्छन्

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Retention configuration

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Log compaction

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## किन यो महत्त्वपूर्ण छ

Kafka मा डेटा retention र storage बुझ्नु मूल्यवान छ किनभने **retention एक विशिष्ट, महत्त्वपूर्ण Kafka सुविधा** हो जसले क्षमताहरू र storage लाई असर गर्छ, त्यसकारण यो Kafka प्रयोग गर्न र संचालन गर्नको लागि सम्बन्धित ज्ञान हो।

Kafka को घटनाहरूको retention (उपभोगपछि पनि पार्टिसन लगमा राखी) परम्परागत कतारहरू देखि एक मुख्य भिन्नता हो र Kafka को विशिष्ट क्षमताहरू सक्षम गर्छ।

**Retention** बुझ्नु — कि Kafka घटनाहरूलाई कन्फिगर गरिएको अवधि वा आकारको लागि राखे (उपभोगमा हटाइदैन), **replay** (इतिहास पुनः पढ्न), एकाधिक उपभोक्ताहरू स्वतन्त्रताले पढ्न, र ढिलो उपभोक्ताहरू पक्ड गर्न सक्षम गर्छ — स्पष्ट गर्छ किन Kafka एक स्थायी log हो क्षणिक कतार होइन, र यसको replay र बहु-उपभोक्ता क्षमताहरू कसरी काम गर्छन्।

**Retention configuration** बुझ्नु — समय-आधारित (retention.ms, उदा. 7 दिन) र आकार-आधारित (retention.bytes) retention, प्रति विषय कन्फिगर गरिएको, replay आवश्यकताहरू, उपभोक्ता lag सहिष्णुता, र storage क्षमताको आधारमा छनोट गर्दै — डेटा कति समयको लागि राखिन्छ र सम्बन्धित storage व्यवस्थापन गर्नको लागि महत्त्वपूर्ण व्यावहारिक ज्ञान हो।

**Log compaction** बुझ्नु — एक वैकल्पिक retention मोड जसले **प्रति कुञ्जीको नवीनतम मान** राखे (सबै घटनाहरू भन्दा), changelog/state विषयहरूको लागि उपयोगी जहाँ प्रति कुञ्जीको वर्तमान अवस्था महत्त्वपूर्ण हो (जस्तै "user → नवीनतम profile," प्रति प्रयोगकर्ता नवीनतम राखी) — एक विशिष्ट, मूल्यवान Kafka सुविधा state-उन्मुख विषयहरूको लागि, समय/आकार retention सँग विपरीत।

Retention र compaction बुझ्नु Kafka को क्षमताहरू प्रयोग गर्नको लागि (replay, state विषयहरू) र storage व्यवस्थापन गर्नको लागि (retention कति डेटा भण्डारण गरिन्छ भन्ने असर गर्छ) महत्त्वपूर्ण छ।

यी अवधारणाहरू कार्यक्षमता (उपभोक्ताहरूले के पढ्न र रिप्ले गर्न सक्छन्) र सञ्चालन (storage व्यवस्थापन) दुबै असर गर्छन्।

Retention एक विशिष्ट, महत्त्वपूर्ण Kafka सुविधा (replay र बहु-उपभोक्ताहरू सक्षम गर्दै, Kafka लाई कतारहरू देखि भिन्न गर्दै) हो जसले क्षमताहरू र storage लाई असर गर्छ, र retention configuration र log compaction बुझ्नु Kafka को क्षमताहरू प्रयोग गर्न र storage व्यवस्थापन गर्नको लागि सम्बन्धित छ, log compaction state विषयहरूको लागि एक मूल्यवान सुविधा हो, Kafka प्रभावकारीताले संचालन गर्नको लागि महत्त्वपूर्ण छ।