Kako funkcionira zadržavanje i pohrana podataka u Kafki?

Question

Accepted Answer

Kafka **zadržava događaje** za konfigurabilan period (ili veličinu), čuvajući ih u logovima particija čak i nakon konzumacije — omogućujući ponovno čitanje i višestruke konzumente. Razumijevanje zadržavanja i upravljanja logovima važno je za korištenje Kafke i upravljanje pohranom.

## Zadržavanje — događaji se čuvaju

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Konfiguracija zadržavanja

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Kompresija logova

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Zašto je važno

Razumijevanje zadržavanja i pohrane podataka u Kafki vrijedna je stvar jer je **zadržavanje karakteristična, važna Kafka značajka** koja utječe na mogućnosti i pohranu, pa je to relevantno znanje za korištenje i upravljanje Kafkom.

Kafkino zadržavanje događaja (čuvanje u logovima particija čak i nakon konzumacije) ključna je razlika od tradicionalnih redova čekanja i omogućuje Kafkine karakteristične mogućnosti.

Razumijevanje **zadržavanja** — da Kafka čuva događaje za konfiguriran period ili veličinu (ne brišući nakon konzumacije), omogućavajući **ponovno čitanje** (ponovno čitanje povijesti), višestruke konzumente koji čitaju neovisno i zakašnjele konzumente koji se doganjaju — pojašnjava zašto je Kafka trajni log, a ne prolazni red čekanja, i kako funkcioniraju njene mogućnosti za ponovno čitanje i višestruke konzumente.

Razumijevanje **konfiguracije zadržavanja** — vremensko zadržavanje (retention.ms, npr. 7 dana) i zadržavanje na osnovi veličine (retention.bytes), konfiguriranog po temi, izbor na osnovi potreba za ponovnim čitanjem, tolerancije kašnjenja konzumenta i kapaciteta pohrane — važno je praktično znanje za upravljanje trajanjem čuvanja podataka i povezane pohrane.

Razumijevanje **kompresije logova** — alternativnog moda zadržavanja koji čuva **najnoviju vrijednost po ključu** (umjesto svih događaja), korisno za teme za promjene/stanja gdje trenutno stanje po ključu je važno (kao "korisnik → najnoviji profil", čuvanje najnovije po korisniku) — karakteristična, vrijedna Kafka značajka za teme orijentirane na stanja, u kontrastu s vremenskim/veličinskim zadržavanjem.

Razumijevanje zadržavanja i kompresije važno je za korištenje Kafkinih mogućnosti (ponovno čitanje, teme za stanja) i upravljanje pohranom (zadržavanje utječe na količinu podataka koji se čuvaju).

Ovi koncepti utječu na funkcionalnost (što konzumenti mogu čitati i ponovno čitati) i operacije (upravljanje pohranom).

Budući da je zadržavanje karakteristična, važna Kafka značajka (omogućavajući ponovno čitanje i višestruke konzumente, razlikujući Kafku od redova čekanja) koja utječe na mogućnosti i pohranu, i budući da je razumijevanje konfiguracije zadržavanja i kompresije logova relevantno za korištenje Kafkinih mogućnosti i upravljanje pohranom, razumijevanje zadržavanja i pohrane podataka u Kafki vrijedna je, praktično relevantna znanja — centralno za karakteristične Kafkine mogućnosti (ponovno čitanje, višestruki konzumenti) i za upravljanje pohranom, s kompresijom logova kao vrijednom značajkom za teme za stanja, važnom za učinkovito korištenje i upravljanje Kafkom.