Si funksionon ruajtja dhe depozitimi i të dhënave në Kafka?

Question

Accepted Answer

Kafka **ruan ngjarjet** për një periudhë të konfiguruar (ose madhësi), duke i mbajtur ato në regjistrat e ndarjeve edhe pas konsumimit — duke aktivizuar riprodhimin dhe shumë konsumatorë. Kuptimi i ruajtjes dhe menaxhimit të regjistrit është i rëndësishëm për përdorimin e Kafka dhe menaxhimin e ruajtjes.

## Ruajtje — ngjarjet ruhen

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Konfigurimi i ruajtjes

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Ngjeshja e regjistrit

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Pse ka rëndësi

Kuptimi i ruajtjes dhe depozitimit të të dhënave në Kafka është i vlefshëm sepse **ruajtja është një tipar dalluese, i rëndësishëm i Kafka** që ndikon në kapacitetet dhe ruajtjen, kështu që është njohuri relevante për përdorimin dhe funksionimin e Kafka.

Ruajtja e Kafka të ngjarjeve (mbajta ato në regjistrat e ndarjeve edhe pas konsumimit) është një përqark kyç nga radhat tradicionale dhe lejon kapacitetet dalluese të Kafka.

Kuptimi i **ruajtjes** — se Kafka ruan ngjarjet për një periudhë ose madhësi të konfiguruar (jo fshirjen në konsumim), duke aktivizuar **riprodhimin** (ri-leximin e historisë), shumë konsumatorë që lexojnë në mënyrë të pavarur, dhe konsumatorët e vonë që të kapërcejnë — sqaron se përse Kafka është një regjistër i qëndrueshëm në vend të një radheje kalimtare, dhe si funksionojnë kapacitetet e tij të riprodhimit dhe multi-konsumatorit.

Kuptimi i **konfigurimit të ruajtjes** — ruajtja e bazuar në kohë (retention.ms, p.sh. 7 ditë) dhe e bazuar në madhësi (retention.bytes), e konfiguruar për çdo temë, duke zgjedhur bazuar në nevojat e riprodhimit, tolerancën e vonesës së konsumatorit, dhe kapacitetin e ruajtjes — është njohuri praktike e rëndësishme për menaxhimin se sa gjatë ruhen të dhënat dhe ruajtja e shoqëruar.

Kuptimi i **ngjeshjes së regjistrit** — një mënyrë alternative ruajtjeje që mban **vlerën më të fundit për çelës** (në vend të të gjitha ngjarjeve), e dobishme për tematikat e ndryshimit/gjendjes ku gjendja aktuale për çelës ka rëndësi (si "përdorues → profili më i fundit," duke mbajtur më të fundit për çdo përdorues) — është një tipar dalluese, i vlefshëm i Kafka për tematikat e orientuara drejt gjendjes, në kontrast me ruajtjen e kohës/madhësisë.

Kuptimi i ruajtjes dhe ngjeshjes është i rëndësishëm për përdorimin e kapaciteteve të Kafka (riprodhim, tematikat e gjendjes) dhe menaxhimin e ruajtjes (ruajtja ndikon në sa të dhëna ruhen).

Këto koncepte ndikojnë në funksionalitet (çfarë mund të lexojnë dhe riprodhojnë konsumatorët) dhe operacione (menaxhimi i ruajtjes).

Meqenëse ruajtja është një tipar dalluese, i rëndësishëm i Kafka (duke aktivizuar riprodhimin dhe shumë konsumatorë, duke dalluar Kafka nga radhat) që ndikon në kapacitetet dhe ruajtjen, dhe meqenëse kuptimi i konfigurimit të ruajtjes dhe ngjeshjes së regjistrit është relevant për përdorimin e kapaciteteve të Kafka dhe menaxhimin e ruajtjes, kuptimi i ruajtjes dhe depozitimit të të dhënave në Kafka është njohuri e vlefshme, praktike-relevante — në qendër të kapaciteteve dalluese të Kafka (riprodhim, shumë konsumatorë) dhe në menaxhimin e ruajtjes, me ngjeshjen e regjistrit që të jetë një tipar i vlefshëm për tematikat e gjendjes, i rëndësishëm për përdorimin dhe funksionimin e Kafka në mënyrë efektive.