Hvordan fungerer dataopbevaring og lagring i Kafka?

Question

Accepted Answer

Kafka **beholder begivenheder** i en konfigurerbar periode (eller størrelse), og holder dem i partitionlogfilerne selv efter forbrug — hvilket muliggør genafspilning og flere forbrugere. Det er vigtigt at forstå opbevaring og logadministration for at bruge Kafka og administrere lagring.

## Opbevaring — begivenheder bliver bevaret

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Opbevaringskonfiguration

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Logkomprimering

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Hvorfor det betyder noget

At forstå dataopbevaring og lagring i Kafka er værdifuldt, fordi **opbevaring er et karakteristisk, vigtigt Kafka-feature**, der påvirker muligheder og lagring, så det er relevant viden for at bruge og drive Kafka.

Kafkas opbevaring af begivenheder (at holde dem i partitionlogfilerne selv efter forbrug) er en vigtig forskel fra traditionelle køer og muliggør Kafkas karakteristiske muligheder.

At forstå **opbevaring** — at Kafka holder begivenheder i en konfigureret periode eller størrelse (sletter ikke ved forbrug), hvilket muliggør **genafspilning** (genlæsning af historie), flere forbrugere, der læser uafhængigt, og forsinkede forbrugere, der kan indhente — præciserer, hvorfor Kafka er en holdbar log snarere end en forbigående kø, og hvordan dens genafspilnings- og flerforbrug-muligheder fungerer.

At forstå **opbevaringskonfiguration** — tidsbaseret (retention.ms, f.eks. 7 dage) og størrelsebaseret (retention.bytes) opbevaring, konfigureret pr. emne, valg baseret på genafspilningsbehov, toleranse for forbrugerforsinkelse og lagerkapacitet — er vigtig praktisk viden for at administrere, hvor længe data gemmes, og den tilknyttede lagring.

At forstå **logkomprimering** — en alternativ opbevaringstilstand, der holder den **seneste værdi pr. nøgle** (snarere end alle begivenheder), nyttig for changelog/state-emner, hvor den nuværende tilstand pr. nøgle betyder noget (som "bruger → seneste profil", som holder det seneste pr. bruger) — er et karakteristisk, værdifuldt Kafka-feature for tilstandsorienterede emner, i modsætning til tid/størrelse-opbevaring.

At forstå opbevaring og komprimering er vigtigt for at bruge Kafkas muligheder (genafspilning, state-emner) og administrere lagring (opbevaring påvirker, hvor meget data der gemmes).

Disse koncepter påvirker både funktionalitet (hvad forbrugere kan læse og afspille igen) og operationer (lageradministration).

Fordi opbevaring er et karakteristisk, vigtigt Kafka-feature (der muliggør genafspilning og flere forbrugere, som adskiller Kafka fra køer), der påvirker muligheder og lagring, og fordi at forstå opbevaringskonfiguration og logkomprimering er relevant for at bruge Kafkas muligheder og administrere lagring, er det værdifuldt og praktisk relevant viden at forstå dataopbevaring og lagring i Kafka — centralt for Kafkas karakteristiske muligheder (genafspilning, flere forbrugere) og for lageradministration, hvor logkomprimering er et værdifuldt feature for state-emner, vigtigt for effektivt at bruge og drive Kafka.