¿Cómo funciona la retención y el almacenamiento de datos en Kafka?

Question

Accepted Answer

Kafka **retiene eventos** durante un período (o tamaño) configurable, manteniéndolos en los registros de partición incluso después del consumo — permitiendo replay y múltiples consumidores. Entender la retención y la gestión de registros es importante para usar Kafka y gestionar el almacenamiento.

## Por qué es importante

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Configuración de retención

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Compactación de registros

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Por qué es importante

Entender la retención y el almacenamiento de datos en Kafka es valioso porque **la retención es una característica distintiva e importante de Kafka** que afecta las capacidades y el almacenamiento, por lo que es conocimiento relevante para usar y operar Kafka.

La retención de eventos en Kafka (mantenerlos en registros de partición incluso después del consumo) es un diferenciador clave respecto a colas tradicionales y habilita las capacidades distintivas de Kafka.

Entender **retención** — que Kafka mantiene eventos durante un período o tamaño configurado (sin eliminar al consumir), habilitando **replay** (releer historial), múltiples consumidores leyendo independientemente, y consumidores tardíos poniéndose al día — aclara por qué Kafka es un registro duradero en lugar de una cola transitoria, y cómo funcionan sus capacidades de replay y múltiples consumidores.

Entender **configuración de retención** — retención basada en tiempo (retention.ms, p. ej. 7 días) y basada en tamaño (retention.bytes), configurada por tema, eligiendo según necesidades de replay, tolerancia de desfase de consumidor, y capacidad de almacenamiento — es conocimiento práctico importante para gestionar cuánto tiempo se mantienen los datos y el almacenamiento asociado.

Entender **compactación de registros** — un modo de retención alternativo que mantiene el **valor más reciente por clave** (en lugar de todos los eventos), útil para temas de changelog/estado donde el estado actual por clave importa (como "usuario → perfil más reciente", manteniendo el más reciente por usuario) — es una característica distintiva y valiosa de Kafka para temas orientados a estado, contrastando con retención de tiempo/tamaño.

Entender retención y compactación es importante para usar las capacidades de Kafka (replay, temas de estado) y gestionar almacenamiento (la retención afecta cuántos datos se almacenan).

Estos conceptos afectan tanto la funcionalidad (qué pueden leer y reproducir los consumidores) como las operaciones (gestión de almacenamiento).

Ya que la retención es una característica distintiva e importante de Kafka (habilitando replay y múltiples consumidores, distinguiendo Kafka de colas) que afecta las capacidades y el almacenamiento, y ya que entender la configuración de retención y la compactación de registros es relevante para usar las capacidades de Kafka y gestionar almacenamiento, entender la retención y el almacenamiento de datos en Kafka es conocimiento valioso y prácticamente relevante — central a las capacidades distintivas de Kafka (replay, múltiples consumidores) y a la gestión de almacenamiento, siendo la compactación de registros una característica valiosa para temas de estado, importante para usar y operar Kafka efectivamente.