Hur fungerar datalagring och lagringskonfiguration i Kafka?

Question

Accepted Answer

Kafka **behåller händelser** för en konfigurerbar period (eller storlek), och håller dem i partitionsloggarna även efter konsumtion — vilket möjliggör omuppspelning och flera konsumenter. Att förstå lagring och logghantering är viktigt för att använda Kafka och hantera lagringsutrymme.

## Lagring — händelser bevaras

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Lagringskonfiguration

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Loggkomprimering

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Varför det är viktigt

Att förstå datalagring och lagringskonfiguration i Kafka är värdefullt eftersom **lagring är en särskiljande, viktig Kafka-funktion** som påverkar möjligheter och lagringsutrymme, så det är relevant kunskap för att använda och drifta Kafka.

Kafkas lagring av händelser (att behålla dem i partitionsloggarna även efter konsumtion) är en viktig skillnad från traditionella köer och möjliggör Kafkas särskiljande möjligheter.

Att förstå **lagring** — att Kafka behåller händelser för en konfigurerad period eller storlek (inte raderar vid konsumtion), vilket möjliggör **omuppspelning** (omläsning av historik), flera konsumenter som läser oberoende, och sena konsumenter som hinner ifatt — förtydligar varför Kafka är en varaktig logg snarare än en övergående kö, och hur dess omuppspelnings- och flerkonsumentmöjligheter fungerar.

Att förstå **lagringskonfiguration** — tidsbaserad lagring (retention.ms, t.ex. 7 dagar) och storleksbaserad lagring (retention.bytes) konfigurerad per ämne, val baserat på omuppspelningsbehov, konsumentkörtolerens och lagringskapacitet — är viktig praktisk kunskap för att hantera hur länge data behålls och tillhörande lagringsutrymme.

Att förstå **loggkomprimering** — ett alternativt lagringsläge som behåller **det senaste värdet per nyckel** (snarare än alla händelser), användbart för ändringslogg-/tillståndsämnen där det aktuella tillståndet per nyckel spelar roll (som "användare → senaste profil," behålla det senaste per användare) — är en särskiljande, värdefull Kafka-funktion för tillståndsorienterade ämnen, i kontrast till tid/storlek-baserad lagring.

Att förstå lagring och komprimering är viktigt för att använda Kafkas möjligheter (omuppspelning, tillståndsämnen) och hantera lagringsutrymme (lagring påverkar hur mycket data som lagras).

Dessa begrepp påverkar både funktionalitet (vad konsumenter kan läsa och spela upp) och drift (lagringshantering).

Eftersom lagring är en särskiljande, viktig Kafka-funktion (som möjliggör omuppspelning och flera konsumenter, skiljer Kafka från köer) som påverkar möjligheter och lagringsutrymme, och eftersom att förstå lagringskonfiguration och loggkomprimering är relevant för att använda Kafkas möjligheter och hantera lagringsutrymme, är det värdefull, praktiskt relevant kunskap att förstå datalagring och lagringskonfiguration i Kafka — central för Kafkas särskiljande möjligheter (omuppspelning, flera konsumenter) och för lagringshantering, med loggkomprimering som en värdefull funktion för tillståndsämnen, viktig för att använda och drifta Kafka effektivt.