Kafka માં ડેટા રિટેনશન અને સ્ટોરેજ કેવી રીતે કાર્ય કરે છે?

Question

Accepted Answer

Kafka **ઇવેન્ટ્સ રાખે છે** એક કનફિગર્યુબલ પીરિયડ (અથવા સાઈઝ) માટે, તેમને પાર્ટીશન લોગમાં રાખે છે ઉપભોગ પછી પણ — રિપ્લે અને બહુવિધ કনસ્યુમર્સ સક્ષમ કરે છે. રિટેનશન અને લોગ મેનેજમેન્ટ સમજવું Kafka વાપરવા અને સ્ટોરેજ મેનેજ કરવા માટે મહત્વપૂર્ણ છે.

## રિટેનશન — ઇવેન્ટ્સ રાખવામાં આવે છે

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## રિટેનશન કનફિગરેશન

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## લોગ કમ્પેક્શન

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## તેનું મહત્ત્વ શું છે

Kafka માં ડેટા રિટેનશન અને સ્ટોરેજ સમજવું મૂલ્યવાન છે કારણ કે **રિટેનશન એક વિશિષ્ટ, મહત્વપૂર્ણ Kafka ફીચર છે** જે ક્ષમતાઓ અને સ્ટોરેજને અસર કરે છે, તેથી તે Kafka વાપરવા અને ચલાવવા માટે સંબંધિત જ્ઞાન છે.

Kafka ની ઇવેન્ટ્સ રિટેનશન (તેમને પાર્ટીશન લોગમાં રાખવું ઉપભોગ પછી પણ) એક મુખ્ય તફાવતકર્તા છે પરંપરાગત કતારો કરતાં અને Kafka ની વિશિષ્ટ ક્ષમતાઓ સક્ષમ કરે છે.

**રિટેનશન** સમજવું — કે Kafka ઇવેન્ટ્સ એક કનફિગર્ડ પીરિયડ અથવા સાઈઝ માટે રાખે છે (ઉપભોગ પર ડિલીટ કરતું નથી), **રિપ્લે** (ઇતિહાસ ફરીથી વાંચવું) સક્ષમ કરે છે, બહુવિધ કનસ્યુમર્સ સ્વતંત્ર રીતે વાંચે છે, અને મોડુ કનસ્યુમર્સ પકડી જાય છે — સ્પષ્ટ કરે છે કે શા માટે Kafka એક ટકાઉ લોગ છે પણ અસ્થાયી કતાર નથી, અને તેની રિપ્લે અને મલ્ટી-કનસ્યુમર ક્ષમતાઓ કેવી રીતે કાર્ય કરે છે.

**રિટેનશન કનફિગરેશન** સમજવું — ટાઈમ-બેઝ્ડ (retention.ms, દા.ત. 7 દિવસ) અને સાઈઝ-બેઝ્ડ (retention.bytes) રિટેનશન, પ્રતિ ટોપિક કનફિગર્ડ, રિપ્લે જરૂરિયાતો, કનસ્યુમર લેગ સહનશીલતા અને સ્ટોરેજ ક્ષમતા આધારે પસંદ કરવું — ડેટા કેટલો લાંબો રાખવામાં આવે છે અને સંબંધિત સ્ટોરેજ મેનેજ કરવા માટે મહત્વપૂર્ણ વ્યવહારિક જ્ઞાન છે.

**લોગ કમ્પેક્શન** સમજવું — એક વૈકલ્પિક રિટેનશન મોડ જે **કી દીઠ સૌથી નવો મૂલ્ય** રાખે છે (બધી ઇવેન્ટ્સ કરતાં વધુ), ચેન્જલોગ/સ્ટેટ ટોપિક્સ માટે ઉપયોગી જ્યાં પ્રતિ કીનો વર્તમાન સ્ટેટ મહત્વપૂર્ણ છે (જેવું કે "યુઝર → સૌથી નવો પ્રોફાઈલ," પ્રતિ યુઝર સૌથી નવો રાખવું) — એક વિશિષ્ટ, મૂલ્યવાન Kafka ફીચર છે સ્ટેટ-ઓરિએન્ટેડ ટોપિક્સ માટે, ટાઈમ/સાઈઝ રિટેનશન સાથે તફાવત રાખતું.

રિટેનશન અને કમ્પેક્શન સમજવું Kafka ની ક્ષમતાઓ વાપરવા માટે મહત્વપૂર્ણ છે (રિપ્લે, સ્ટેટ ટોપિક્સ) અને સ્ટોરેજ મેનેજ કરવા માટે (રિટેનશન કેટલો ડેટા સ્ટોર થે છે તેને અસર કરે છે).

આ ખ્યાલો કાર્યક્ષમતા (કનસ્યુમર્સ શું વાંચી શકે છે અને રિપ્લે કરી શકે છે) અને ક્રિયાપ્રણાલીઓ (સ્ટોરેજ મેનેજમેન્ટ) બંનેને અસર કરે છે.

ચૂંકી કે રિટેનશન એક વિશિષ્ટ, મહત્વપૂર્ણ Kafka ફીચર છે (રિપ્લે અને બહુવિધ કનસ્યુમર્સ સક્ષમ કરતું, કતારો કરતાં Kafka ને અલગ પાડતું) જે ક્ષમતાઓ અને સ્ટોરેજને અસર કરે છે, અને ચૂંકી કે રિટેનશન કનફિગરેશન અને લોગ કમ્પેક્શન સમજવું Kafka ની ક્ષમતાઓ વાપરવા અને સ્ટોરેજ મેનેજ કરવા માટે સંબંધિત છે, Kafka માં ડેટા રિટેનશન અને સ્ટોરેજ સમજવું મૂલ્યવાન, વ્યવહારિક-સંબંધિત જ્ઞાન છે — Kafka ની વિશિષ્ટ ક્ષમતાઓ (રિપ્લે, બહુવિધ કનસ્યુમર્સ) માટે કેન્દ્રીય અને સ્ટોરેજ મેનેજમેન્ટમાં, લોગ કમ્પેક્શન સાથે સ્ટેટ ટોપિક્સ માટે મૂલ્યવાન ફીચર હોવું, Kafka અસરથી અને ક્રિયાપ્રણાલીય રીતે વાપરવા માટે મહત્વપૂર્ણ છે.