Cum funcționează retenția și stocarea datelor în Kafka?

Question

Accepted Answer

Kafka **reține evenimentele** pentru o perioadă configurabilă (sau o anumită dimensiune), păstrând-le în jurnalele partiției chiar și după consum — permițând redare și mai mulți consumatori. Înțelegerea retenției și gestionării jurnalelor este importantă pentru utilizarea Kafka și gestionarea stocării.

## Retenția — evenimentele sunt păstrate

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Configurarea retenției

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Compactarea jurnalelor

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## De ce contează

Înțelegerea retenției și stocării datelor în Kafka este valoroasă deoarece **retenția este o caracteristică distinctivă și importantă a Kafka** care afectează capacități și stocare, deci este cunoaștere relevantă pentru utilizarea și operarea Kafka.

Retenția evenimentelor Kafka (păstrarea lor în jurnalele partiției chiar și după consum) este un diferențiator cheie față de cozile tradiționale și permite capacitățile distinctive ale Kafka.

Înțelegerea **retenției** — că Kafka păstrează evenimentele pentru o perioadă sau dimensiune configurată (fără ștergere la consum), permițând **redare** (relecitrea istoricului), mai mulți consumatori citind independent și consumatorii târzii recuperând întârzierile — clarifică de ce Kafka este un jurnal durabil mai degrabă decât o coadă tranzitorie și cum funcționează capacitățile sale de redare și multi-consum.

Înțelegerea **configurării retenției** — retenție bazată pe timp (retention.ms, de ex. 7 zile) și bazată pe dimensiune (retention.bytes), configurate per subiect, alegând pe baza nevoilor de redare, toleranța la întârzierea consumatorilor și capacitatea de stocare — este cunoaștere practică importantă pentru gestionarea duratei de păstrare a datelor și a stocării asociate.

Înțelegerea **compactării jurnalelor** — un mod alternativ de retenție care păstrează **cea mai recentă valoare per cheie** (mai degrabă decât toate evenimentele), util pentru subiectele changelog/stare unde starea actuală per cheie contează (cum ar fi "utilizator → profil cel mai recent", păstrând cel mai recent pe utilizator) — este o caracteristică distinctivă și valoroasă a Kafka pentru subiectele orientate pe stare, contrastând cu retenția bazată pe timp/dimensiune.

Înțelegerea retenției și compactării este importantă pentru utilizarea capacităților Kafka (redare, subiectele de stare) și gestionarea stocării (retenția afectează cât de mult sunt stocate date).

Aceste concepte afectează atât funcționalitatea (ce pot citi și reda consumatorii) cât și operațiile (gestionarea stocării).

Deoarece retenția este o caracteristică distinctivă și importantă a Kafka (permițând redare și mai mulți consumatori, diferențiind Kafka de cozi) care afectează capacități și stocare, și deoarece înțelegerea configurării retenției și compactării jurnalelor este relevantă pentru utilizarea capacităților Kafka și gestionarea stocării, înțelegerea retenției și stocării datelor în Kafka este cunoaștere valoroasă, practic relevantă — centrală la capacitățile distinctive ale Kafka (redare, mai mulți consumatori) și la gestionarea stocării, cu compactarea jurnalelor fiind o caracteristică valoroasă pentru subiectele de stare, importantă pentru utilizarea și operarea eficientă a Kafka.