Hoe werken dataretentie en opslag in Kafka?

Question

Accepted Answer

Kafka **bewaart events** voor een configureerbare periode (of grootte), waarbij ze in de partitielogboeken blijven staan, zelfs nadat ze zijn verbruikt — wat replay en meerdere consumenten mogelijk maakt. Het begrijpen van retentie en logbeheer is belangrijk voor het gebruik van Kafka en het beheren van opslag.

## Retentie — events worden bewaard

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Retentieconfiguratie

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Logcompactie

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Waarom het belangrijk is

Het begrijpen van dataretentie en opslag in Kafka is waardevol omdat **retentie een onderscheidend, belangrijk Kafka-kenmerk** is dat de mogelijkheden en opslag beïnvloedt, dus het is relevante kennis voor het gebruik en beheer van Kafka.

Kafka's retentie van events (het bewaren ervan in partitielogboeken, zelfs nadat ze zijn verbruikt) is een belangrijk onderscheidingspunt ten opzichte van traditionele wachtrijen en stelt Kafka in staat zijn onderscheidende mogelijkheden te bieden.

Het begrijpen van **retentie** — dat Kafka events voor een geconfigureerde periode of grootte bewaart (niet verwijdert na verbruik), waardoor **replay** (het opnieuw lezen van geschiedenis), meerdere consumenten die onafhankelijk lezen, en late consumenten die kunnen bijwerken — verduidelijkt waarom Kafka een duurzaam logboek is in plaats van een voorbijgaande wachtrij, en hoe de replay- en multi-consumer-mogelijkheden werken.

Het begrijpen van **retentieconfiguratie** — op tijd gebaseerde (retention.ms, bijv. 7 dagen) en op grootte gebaseerde (retention.bytes) retentie, per onderwerp geconfigureerd, gekozen op basis van replay-behoeften, tolerantie voor consumentenvertraging en opslagcapaciteit — is belangrijke praktische kennis voor het beheren van hoe lang gegevens worden bewaard en de bijbehorende opslag.

Het begrijpen van **logcompactie** — een alternatieve retentiemodus die de **nieuwste waarde per sleutel** bewaart (in plaats van alle events), nuttig voor changelog/state-onderwerpen waar de huidige staat per sleutel van belang is (zoals "gebruiker → nieuwst profiel," waarbij de nieuwste per gebruiker wordt bewaard) — is een onderscheidend, waardevol Kafka-kenmerk voor state-georiënteerde onderwerpen, in tegenstelling tot tijd/groottebehoud.

Het begrijpen van retentie en compactie is belangrijk voor het gebruik van Kafka's mogelijkheden (replay, state-onderwerpen) en het beheren van opslag (retentie beïnvloedt hoeveel gegevens worden opgeslagen).

Deze concepten beïnvloeden zowel functionaliteit (wat consumenten kunnen lezen en afspelen) als operaties (opslagbeheer).

Omdat retentie een onderscheidend, belangrijk Kafka-kenmerk is (dat replay en meerdere consumenten mogelijk maakt, Kafka van wachtrijen onderscheidt) dat de mogelijkheden en opslag beïnvloedt, en omdat het begrijpen van retentieconfiguratie en logcompactie relevant is voor het gebruik van Kafka's mogelijkheden en het beheren van opslag, is het begrijpen van dataretentie en opslag in Kafka waardevolle, praktisch relevante kennis — centraal voor Kafka's onderscheidende mogelijkheden (replay, meerdere consumenten) en voor opslagbeheer, waarbij logcompactie een waardevol kenmerk voor state-onderwerpen is, belangrijk voor het effectief gebruik en beheer van Kafka.