Kako poteka shranjevanje in upravljanje podatkov v Kafki?

Question

Accepted Answer

Kafka **obdrži dogodke** za nastavljivo obdobje (ali velikost) ter jih hrani v logih particij tudi po konzumaciji — kar omogoča ponovljivo branje in več potrošnikov. Razumevanje shranjevanja in upravljanja logov je pomembno za uporabo Kafke in upravljanje prostora.

## Shranjevanje — dogodki so ohranjeni

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Konfiguracija shranjevanja

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Kompresija logov

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Zakaj je to pomembno

Razumevanje shranjevanja in upravljanja podatkov v Kafki je dragoceno, ker je **shranjevanje posebna in pomembna lastnost Kafke**, ki vpliva na zmogljivosti in prostor, zato je to relevantno znanje za uporabo in upravljanje Kafke.

Shranjevanje dogodkov v Kafki (ohranjanje v logih particij tudi po konzumaciji) je ključna razlika od tradicionalnih čakalnih vrst in omogoča značilne zmogljivosti Kafke.

Razumevanje **shranjevanja** — da Kafka obdrži dogodke za nastavljeno obdobje ali velikost (jih ne izbriše ob konzumaciji), kar omogoča **ponovljivo branje** (ponovno branje zgodovine), več potrošnikov, ki brajo neodvisno, in zapoznele potrošnike, ki se ujamejo — pojasni, zakaj je Kafka trajni log in ne prehodni red čakanja, ter kako delujejo njene zmogljivosti za ponovljivo branje in več potrošnikov.

Razumevanje **konfiguracije shranjevanja** — shranjevanja na osnovi časa (retention.ms, npr. 7 dni) in velikosti (retention.bytes), konfiguriranega na temo, izbira na osnovi potreb za ponovljivo branje, tolerance do zaostanka potrošnika in zmogljivosti prostora — je pomembno praktično znanje za upravljanje, kako dolgo se podatki ohranjajo in povezanega prostora.

Razumevanje **kompresije logov** — nadomestni način shranjevanja, ki obdrži **najnovejšo vrednost na ključ** (namesto vseh dogodkov), uporabno za teme sprememb/stanja, kjer je trenutno stanje na ključ pomembno (kot "uporabnik → najnovejši profil", ohranjanje najnovejšega na uporabnika) — je posebna in dragocena Kafkina lastnost za teme usmerjena v stanje, v nasprotju z časovnim/velikostnim shranjevanjem.

Razumevanje shranjevanja in kompresije je pomembno za uporabo zmogljivosti Kafke (ponovljivo branje, teme stanja) in upravljanje prostora (shranjevanje vpliva na količino shranjenih podatkov).

Ti pojmi vplivajo na funkcionalnost (kaj lahko potrošniki berejo in znova preberejo) in upravljanje (upravljanje prostora).

Ker je shranjevanje posebna, pomembna Kafkina lastnost (omogoča ponovljivo branje in več potrošnikov, razlikuje Kafko od čakalnih vrst), ki vpliva na zmogljivosti in prostor, in ker je razumevanje konfiguracije shranjevanja in kompresije logov relevantno za uporabo zmogljivosti Kafke in upravljanje prostora, je razumevanje shranjevanja in upravljanja podatkov v Kafki dragoceno, praktično relevantno znanje — osrednje za posebne zmogljivosti Kafke (ponovljivo branje, več potrošnikov) in upravljanje prostora, kjer je kompresija logov dragocena lastnost za teme stanja in je pomembna za učinkovito uporabo in upravljanje Kafke.