Hvordan fungerer dataoppbevaring og lagring i Kafka?

Question

Accepted Answer

Kafka **beholder hendelser** for en konfigurerbar periode (eller størrelse), holder dem i partisjonloggene selv etter forbruk — noe som muliggjør gjenspilling og flere forbrukere. Å forstå oppbevaring og loggadministrasjon er viktig for å bruke Kafka og administrere lagring.

## Oppbevaring — hendelser beholdes

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Konfigurering av oppbevaring

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Loggkomprimering

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Hvorfor det betyr noe

Å forstå dataoppbevaring og lagring i Kafka er verdifullt fordi **oppbevaring er en særegen, viktig Kafka-funksjon** som påvirker evner og lagring, så det er relevant kunnskap for bruk og drift av Kafka.

Kafkas oppbevaring av hendelser (å holde dem i partisjonloggene selv etter forbruk) er en viktig differensiator fra tradisjonelle køer og muliggjør Kafkas særegne evner.

Å forstå **oppbevaring** — at Kafka holder hendelser for en konfigurert periode eller størrelse (ikke sletter ved forbruk), noe som muliggjør **gjenspilling** (omlesing av historie), flere forbrukere som leser uavhengig, og etterslepne forbrukere som blir oppdatert — avklarer hvorfor Kafka er en varig logg i stedet for en forbigående kø, og hvordan dens gjenspilling og flerforbruker-evner fungerer.

Å forstå **oppbevaringskonfigurering** — tidsbasert (retention.ms, f.eks. 7 dager) og størrelsesbasert (retention.bytes) oppbevaring, konfigurert per emne, valg basert på gjenspelingsbehov, toleranse for forbrukerforsinkelse og lagringskapasitet — er viktig praktisk kunnskap for å administrere hvor lenge data oppbevares og tilhørende lagring.

Å forstå **loggkomprimering** — en alternativ oppbevaringsmodus som beholder den **siste verdien per nøkkel** (i stedet for alle hendelser), nyttig for changelog-/tilstandsemner der gjeldende tilstand per nøkkel betyr noe (som "bruker → siste profil," som beholder den siste per bruker) — er en særegen, verdifull Kafka-funksjon for tilstandsorienterte emner, som kontrasterer med tids-/størrelsesoppbevaring.

Å forstå oppbevaring og komprimering er viktig for å bruke Kafkas evner (gjenspilling, tilstandsemner) og administrere lagring (oppbevaring påvirker hvor mye data som lagres).

Disse konseptene påvirker både funksjonalitet (hva forbrukere kan lese og gjenskape) og drift (lagringsadministrasjon).

Da oppbevaring er en særegen, viktig Kafka-funksjon (som muliggjør gjenspilling og flere forbrukere, som skiller Kafka fra køer) som påvirker evner og lagring, og da forståelse av oppbevaringskonfigurering og loggkomprimering er relevant for bruk av Kafkas evner og lagringsadministrasjon, er forståelse av dataoppbevaring og lagring i Kafka verdifull, praktisk relevant kunnskap — sentral for Kafkas særegne evner (gjenspilling, flere forbrukere) og for lagringsadministrasjon, med loggkomprimering som en verdifull funksjon for tilstandsemner, viktig for effektiv bruk og drift av Kafka.