Comment fonctionnent la rétention et le stockage des données dans Kafka ?

Question

Accepted Answer

Kafka **conserve les événements** pendant une période (ou taille) configurable, les gardant dans les journaux de partition même après leur consommation — permettant la relecture et plusieurs consommateurs. Comprendre la rétention et la gestion des journaux est important pour utiliser Kafka et gérer le stockage.

## Rétention — les événements sont conservés

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Configuration de la rétention

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Compaction de journal

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Pourquoi c'est important

Comprendre la rétention et le stockage des données dans Kafka est utile car **la rétention est une fonctionnalité distinctive et importante de Kafka** affectant les capacités et le stockage, donc c'est une connaissance pertinente pour utiliser et exploiter Kafka.

La rétention d'événements par Kafka (les garder dans les journaux de partition même après leur consommation) est un différenciateur clé par rapport aux files d'attente traditionnelles et permet les capacités distinctives de Kafka.

Comprendre **la rétention** — que Kafka conserve les événements pendant une période ou taille configurée (sans suppression lors de la consommation), permettant **la relecture** (relire l'historique), plusieurs consommateurs lisant indépendamment, et les consommateurs tardifs de rattraper — clarifie pourquoi Kafka est un journal durable plutôt qu'une file d'attente transitoire, et comment fonctionnent ses capacités de relecture et multi-consommateur.

Comprendre **la configuration de la rétention** — rétention basée sur le temps (retention.ms, par ex. 7 jours) et basée sur la taille (retention.bytes), configurée par topic, choix basé sur les besoins de relecture, la tolérance au retard des consommateurs, et la capacité de stockage — est une connaissance pratique importante pour gérer combien de temps les données sont conservées et le stockage associé.

Comprendre **la compaction de journal** — un mode de rétention alternatif qui conserve **la dernière valeur par clé** (plutôt que tous les événements), utile pour les topics de changelog/état où l'état actuel par clé importe (comme « utilisateur → profil le plus récent », conservant le plus récent par utilisateur) — est une fonctionnalité distinctive et utile de Kafka pour les topics orientés état, contrastant avec la rétention basée sur le temps/taille.

Comprendre la rétention et la compaction est important pour utiliser les capacités de Kafka (relecture, topics d'état) et gérer le stockage (la rétention affecte combien de données sont stockées).

Ces concepts affectent à la fois la fonctionnalité (ce que les consommateurs peuvent lire et relire) et les opérations (gestion du stockage).

Puisque la rétention est une fonctionnalité distinctive et importante de Kafka (permettant la relecture et plusieurs consommateurs, distinguant Kafka des files d'attente) affectant les capacités et le stockage, et puisque comprendre la configuration de la rétention et la compaction de journal est pertinent pour utiliser les capacités de Kafka et gérer le stockage, comprendre la rétention et le stockage des données dans Kafka est une connaissance utile et pratiquement pertinente — centrale aux capacités distinctives de Kafka (relecture, plusieurs consommateurs) et à la gestion du stockage, avec la compaction de journal étant une fonctionnalité utile pour les topics d'état, importante pour utiliser et exploiter Kafka efficacement.