Jak funguje uchovávání a ukládání dat v Kafce?

Question

Accepted Answer

Kafka **uchovává události** na konfigurovatelné období (nebo velikost), přičemž je ponechává v protokolech oddílů i po jejich spotřebě — umožňuje to přehrávání a více konzumentů. Pochopení uchovávání a správy protokolů je důležité pro používání Kafky a správu úložiště.

## Uchovávání — události se uchovávají

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Konfigurace uchovávání

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Komprimace protokolu

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Proč je to důležité

Pochopení uchovávání a ukládání dat v Kafce je cenné, protože **uchovávání je výrazný, důležitý prvek Kafky** ovlivňující schopnosti a úložiště, takže jde o relevantní znalosti pro používání a provoz Kafky.

Uchovávání událostí v Kafce (jejich ponechání v protokolech oddílů i po spotřebě) je klíčovým rozdílem od tradičních front a umožňuje Kafce její výrazné schopnosti.

Pochopení **uchovávání** — že Kafka uchovává události po konfigurované období nebo velikost (neodstraňuje je při spotřebě), což umožňuje **přehrávání** (opakované čtení historie), několik konzumentů čtoucích nezávisle na sobě a pozdní konzumenty, aby se dostali na úroveň — objasňuje, proč je Kafka odolný protokol spíše než přechodná fronta, a jak fungují její schopnosti přehrávání a více konzumentů.

Pochopení **konfigurace uchovávání** — uchovávání na základě času (retention.ms, např. 7 dní) a na základě velikosti (retention.bytes), konfigurované na úrovni tématu, výběr na základě potřeb přehrávání, tolerance zpoždění konzumenta a kapacity úložiště — je důležitá praktická znalost pro správu toho, jak dlouho se data uchovávají a související úložiště.

Pochopení **komprimace protokolu** — alternativní režim uchovávání, který uchovává **nejnovější hodnotu na klíč** (spíše než všechny události), užitečné pro témata protokolu změn/stavu, kde záleží na aktuálním stavu na klíč (například "uživatel → nejnovější profil", přičemž se uchovává nejnovější pro každého uživatele) — je výrazný, cenný prvek Kafky pro témata orientovaná na stav, což kontrastuje s uchovávaniem na základě času/velikosti.

Pochopení uchovávání a komprimace je důležité pro využívání schopností Kafky (přehrávání, témata stavu) a správu úložiště (uchovávání ovlivňuje, kolik dat se ukládá).

Tyto koncepty ovlivňují jak funkčnost (co mohou konzumenti číst a přehrávat) tak operace (správu úložiště).

Protože uchovávání je výrazný, důležitý prvek Kafky (umožňující přehrávání a více konzumentů, odlišující Kafku od front), který ovlivňuje schopnosti a úložiště, a protože pochopení konfigurace uchovávání a komprimace protokolu je relevantní pro využívání schopností Kafky a správu úložiště, je pochopení uchovávání a ukládání dat v Kafce cenná, prakticky relevantní znalost — centrální pro výrazné schopnosti Kafky (přehrávání, více konzumentů) a pro správu úložiště, přičemž komprimace protokolu je cenným prvkem pro témata stavu, důležitým pro efektivní používání a provoz Kafky.