Jak działają przechowywanie i retencja danych w Kafka?

Question

Accepted Answer

Kafka **przechowuje zdarzenia** przez konfigurowalny okres (lub rozmiar), utrzymując je w logach partycji nawet po konsumpcji — umożliwiając odtworzenie i wielu konsumentów. Zrozumienie retencji i zarządzania logami jest ważne dla korzystania z Kafka i zarządzania magazynem.

## Dlaczego to ważne

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Konfiguracja retencji

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Kompakcja logów

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Dlaczego to ważne

Zrozumienie retencji i przechowywania danych w Kafka jest cenne, ponieważ **retencja jest charakterystyczną, ważną cechą Kafka** wpływającą na możliwości i magazynowanie, dlatego jest to istotna wiedza do korzystania z Kafka i zarządzania nią.

Przechowywanie zdarzeń przez Kafka (utrzymywanie ich w logach partycji nawet po konsumpcji) jest kluczowym rozróżnikiem od tradycyjnych kolejek i umożliwia charakterystyczne możliwości Kafka.

Zrozumienie **retencji** — że Kafka przechowuje zdarzenia przez skonfigurowany okres lub rozmiar (nie usuwa po konsumpcji), umożliwiając **odtworzenie** (ponowne czytanie historii), niezależne czytanie przez wielu konsumentów i dogonienie się konsumentów opóźnionych — wyjaśnia, dlaczego Kafka jest trwałym logiem, a nie przejściową kolejką, oraz jak działają jej możliwości odtworzenia i obsługi wielu konsumentów.

Zrozumienie **konfiguracji retencji** — retencja oparta na czasie (retention.ms, np. 7 dni) i rozmiarem (retention.bytes), konfigurowana dla każdego tematu, wybieranie na podstawie potrzeb odtworzenia, tolerancji opóźnienia konsumenta i pojemności magazynowania — jest ważną praktyczną wiedzą do zarządzania czasem przechowywania danych i związanym z tym magazynowaniem.

Zrozumienie **kompakcji logów** — alternatywnego trybu retencji, który przechowuje **najnowszą wartość dla każdego klucza** (zamiast wszystkich zdarzeń), przydatne dla tematów dziennika zmian/stanu, gdzie obecny stan dla każdego klucza ma znaczenie (jak "użytkownik → najnowszy profil", przechowując najnowsze dane dla każdego użytkownika) — jest charakterystyczną, cenną cechą Kafka dla tematów zorientowanych na stan, kontrastując z retencją opartą na czasie/rozmiarze.

Zrozumienie retencji i kompakcji jest ważne dla korzystania z możliwości Kafka (odtworzenie, tematy stanu) i zarządzania magazynowaniem (retencja wpływa na ilość przechowywanych danych).

Koncepcje te wpływają zarówno na funkcjonalność (co konsumenci mogą czytać i odtwarzać) jak i na operacje (zarządzanie magazynowaniem).

Ponieważ retencja jest charakterystyczną, ważną cechą Kafka (umożliwiającą odtworzenie i wielu konsumentów, odróżniającą Kafka od kolejek) wpływającą na możliwości i magazynowanie, a ponieważ zrozumienie konfiguracji retencji i kompakcji logów jest istotne do korzystania z możliwości Kafka i zarządzania magazynowaniem, zrozumienie retencji i przechowywania danych w Kafka jest cenną, praktycznie istotną wiedzą — centralną dla charakterystycznych możliwości Kafka (odtworzenie, wielu konsumentów) i zarządzania magazynowaniem, przy czym kompakcja logów jest cenną cechą dla tematów stanu, ważną do efektywnego korzystania z Kafka i zarządzania nią.