ਕਾਫ਼ਕਾ ਵਿੱਚ ਡੇਟਾ ਰਿਟੈਨਸ਼ਨ ਅਤੇ ਸਟੋਰੇਜ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?

Question

Accepted Answer

ਕਾਫ਼ਕਾ **ਇਵੈਂਟਾਂ ਨੂੰ ਰਾਖਦਾ ਹੈ** ਇਕ ਕੌਨਫਿਗਰੇਬਲ ਪੀਰੀਅਡ (ਜਾਂ ਸਾਈਜ਼) ਲਈ, ਉਹਨਾਂ ਨੂੰ ਪਾਰਟਿਸ਼ਨ ਲਾਗਜ਼ ਵਿੱਚ ਰੱਖਦਾ ਹੈ ਭਾਵੇਂ ਕਨਜ਼ਿউਮਸ਼ਨ ਤੋਂ ਬਾਅਦ ਵੀ — ਰੀਪਲੇ ਅਤੇ ਮਲਟੀਪਲ ਕਨਜ਼ਿਊਮਰਜ਼ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦੇ ਹੋਏ। ਰਿটੈਨਸ਼ਨ ਅਤੇ ਲਾਗ ਮੈਨੇਜਮੈਂਟ ਨੂੰ ਸਮਝਣਾ ਕਾਫ਼ਕਾ ਦੀ ਵਰਤੋਂ ਅਤੇ ਸਟੋਰੇਜ ਦੇ ਪ੍ਰਬੰਧਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ।

## ਰਿটੈਨਸ਼ਨ — ਇਵੈਂਟਾਂ ਨੂੰ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## ਰਿটੈਨਸ਼ਨ ਕੌਨਫਿਗਰੇਸ਼ਨ

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## ਲਾਗ ਕੰਪੈਕਸ਼ਨ

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ

ਕਾਫ਼ਕਾ ਵਿੱਚ ਡੇਟਾ ਰਿਟੈਨਸ਼ਨ ਅਤੇ ਸਟੋਰੇਜ ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ **ਰਿਟੈਨਸ਼ਨ ਇਕ ਵਿਸ਼ੇਸ਼, ਮਹੱਤਵਪੂਰਨ ਕਾਫ਼ਕਾ ਫੀਚਰ ਹੈ** ਜੋ ਸਮਰੱਥਾ ਅਤੇ ਸਟੋਰੇਜ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਕਾਫ਼ਕਾ ਦੀ ਵਰਤੋਂ ਅਤੇ ਸੰਚਾਲਨ ਲਈ ਪ੍ਰਸੰਗਿਕ ਗਿਆਨ ਹੈ।

ਕਾਫ਼ਕਾ ਦੀ ਇਵੈਂਟਾਂ ਦੀ ਰਿਟੈਨਸ਼ਨ (ਪਾਰਟਿਸ਼ਨ ਲਾਗਜ਼ ਵਿੱਚ ਇਵੈਂਟਾਂ ਨੂੰ ਕਨਜ਼ਿউਮਸ਼ਨ ਤੋਂ ਬਾਅਦ ਵੀ ਰੱਖਣਾ) ਪਰੰਪਰਾਗਤ ਕਤਾਰਾਂ ਤੋਂ ਇਕ ਮੁੱਖ ਅੰਤਰ ਹੈ ਅਤੇ ਕਾਫ਼ਕਾ ਦੀ ਵਿਸ਼ੇਸ਼ ਸਮਰੱਥਾ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ।

**ਰਿਟੈਨਸ਼ਨ** ਨੂੰ ਸਮਝਣਾ — ਕਿ ਕਾਫ਼ਕਾ ਇਵੈਂਟਾਂ ਨੂੰ ਕਨਜ਼ਿউਮਸ਼ਨ ਤੇ ਹਟਾਏ ਬਿਨਾਂ ਕੌਨਫਿਗਰਡ ਪੀਰੀਅਡ ਜਾਂ ਸਾਈਜ਼ ਲਈ ਰੱਖਦਾ ਹੈ, **ਰੀਪਲੇ** ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦੇ ਹੋਏ (ਹਿਸਟਰੀ ਨੂੰ ਮੁੜ ਪੜ੍ਹਨਾ), ਮਲਟੀਪਲ ਕਨਜ਼ਿਊਮਰਜ਼ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਪੜ੍ਹ ਸਕਦੇ ਹਨ, ਅਤੇ ਦੇਰ ਨਾਲ ਆਉਣ ਵਾਲੇ ਕਨਜ਼ਿਊਮਰ ਪਕੜ ਸਕਦੇ ਹਨ — ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ ਕਿ ਕਾਫ਼ਕਾ ਕਿਉਂ ਇਕ ਟਿਕਾ ਲਾਗ ਹੈ ਕਾਹਲੀ ਕਤਾਰ ਦੀ ਬਜਾਏ, ਅਤੇ ਇਸ ਦੀ ਰੀਪਲੇ ਅਤੇ ਮਲਟੀ-ਕਨਜ਼ਿਊਮਰ ਸਮਰੱਥਾ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ।

**ਰਿਟੈਨਸ਼ਨ ਕੌਨਫਿਗਰੇਸ਼ਨ** ਨੂੰ ਸਮਝਣਾ — ਸਮੇਂ ਦੇ ਆਧਾਰ 'ਤੇ (retention.ms, ਜਿਵੇਂ 7 ਦਿਨ) ਅਤੇ ਸਾਈਜ਼ ਦੇ ਆਧਾਰ 'ਤੇ (retention.bytes) ਰਿਟੈਨਸ਼ਨ, ਪ੍ਰਤੀ ਵਿਸ਼ਾ ਕੌਨਫਿਗਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਰੀਪਲੇ ਦੀ ਜ਼ਰੂਰਤ, ਕਨਜ਼ਿਊਮਰ ਲੈਗ ਸਹਿਣਸ਼ੀਲਤਾ, ਅਤੇ ਸਟੋਰੇਜ ਸਮਰੱਥਾ ਦੀ ਬਨਿਸਬਤ ਛਾਂਟਣਾ — ਡੇਟਾ ਕਿੰਨਾ ਲੰਬਾ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸਬੰਧਿਤ ਸਟੋਰੇਜ ਦੇ ਪ੍ਰਬੰਧਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਵਿਹਾਰਕ ਗਿਆਨ ਹੈ।

**ਲਾਗ ਕੰਪੈਕਸ਼ਨ** ਨੂੰ ਸਮਝਣਾ — ਇਕ ਬਦਲ ਰਿਟੈਨਸ਼ਨ ਮੋਡ ਜੋ ਪ੍ਰਤੀ ਕੁੰਜੀ **ਸਭ ਤੋਂ ਨਵੀਨਤਮ ਮੁੱਲ** ਰੱਖਦਾ ਹੈ (ਸਾਰੀ ਇਵੈਂਟਾਂ ਦੀ ਬਜਾਏ), changelog/state ਵਿਸ਼ਿਆਂ ਲਈ ਮਦਦਗਾਰ ਜਿੱਥੇ ਪ੍ਰਤੀ ਕੁੰਜੀ ਵਰਤਮਾਨ ਸਥਿਤੀ ਮਹੱਤਵਪੂਰਨ ਹੈ (ਜਿਵੇਂ