Hogyan működik az adatmegőrzés és tárolás a Kafkában?

Question

Accepted Answer

A Kafka **megtartja az eseményeket** egy konfigurálható időtartamra (vagy méretre), megtartva azokat a partíciónapló-okban még a fogyasztást követően is — lehetővé téve az újrajátszást és több fogyasztó egyidejű kezelését. Az adatmegőrzés és a naplókezelés megértése fontos a Kafka használata és a tárolás kezelése szempontjából.

## Az adatmegőrzés — az események megmaradnak

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Az adatmegőrzés konfigurációja

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Napló tömörítése

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Miért fontos ez

A Kafkában az adatmegőrzés és tárolás megértése értékes, mivel **az adatmegőrzés megkülönböztető, fontos Kafka-funkció**, amely befolyásolja a képességeket és a tárhelyet, ezért releváns ismeret a Kafka használata és üzemeltetése szempontjából.

A Kafkában az események megőrzése (megtartva őket a partíciónapló-okban még a fogyasztást követően is) alapvető megkülönböztetés a hagyományos üzenetsorokhoz képest, és lehetővé teszi a Kafka megkülönböztetett képességeit.

Az **adatmegőrzés** megértése — hogy a Kafka megtartja az eseményeket egy konfigurált időtartamra vagy méretre (nem törli őket a fogyasztás során), lehetővé téve az **újrajátszást** (az előzmények újraolvasását), több fogyasztó független olvasását és a késedelmes fogyasztók utolérését — tisztázza, hogy a Kafka egy tartós napló, nem pedig egy átmeneti üzenetsor, és hogyan működnek az újrajátszás és a többfogyasztó-képességei.

Az **adatmegőrzés konfigurációja** megértése — időalapú (retention.ms, pl. 7 nap) és méretalapú (retention.bytes) adatmegőrzés, topikokként konfigurálva, az újrajátszási igények, a fogyasztó-késedelem toleranciája és a tárkapacitás alapján választva — fontos gyakorlati ismeret az adatok megőrzési idejének és a kapcsolódó tárolásnak a kezeléséhez.

A **napló tömörítése** megértése — egy alternatív adatmegőrzési mód, amely megtartja az **legújabb értéket kulcsonként** (nem az összes eseményt), hasznos changelog/state topikokhoz, ahol az aktuális állapot kulcsonként számít (mint „felhasználó → legújabb profil,