Como funcionam retenção e armazenamento de dados no Kafka?

Question

Accepted Answer

Kafka **retém eventos** por um período configurável (ou tamanho), mantendo-os nos logs das partições mesmo após o consumo — permitindo replay e múltiplos consumidores. Entender retenção e gerenciamento de logs é importante para usar o Kafka e gerenciar armazenamento.

## Retenção — eventos são mantidos

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Configuração de retenção

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Compactação de logs

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Por que isso importa

Entender retenção e armazenamento de dados no Kafka é valioso porque **retenção é uma característica distintiva e importante do Kafka** que afeta capacidades e armazenamento, portanto é conhecimento relevante para usar e operar o Kafka.

A retenção de eventos do Kafka (mantendo-os nos logs das partições mesmo após o consumo) é um diferencial chave em relação a filas tradicionais e permite que o Kafka tenha suas capacidades distintivas.

Entender **retenção** — que o Kafka mantém eventos por um período ou tamanho configurado (não deletando no consumo), permitindo **replay** (releitura de histórico), múltiplos consumidores lendo independentemente, e consumidores atrasados acompanhando — esclarece por que o Kafka é um log durável e não uma fila transitória, e como suas capacidades de replay e multi-consumidor funcionam.

Entender **configuração de retenção** — retenção baseada em tempo (retention.ms, por ex. 7 dias) e baseada em tamanho (retention.bytes), configurada por tópico, escolhendo com base em necessidades de replay, tolerância de lag de consumidor e capacidade de armazenamento — é conhecimento prático importante para gerenciar quanto tempo os dados são mantidos e o armazenamento associado.

Entender **compactação de logs** — um modo de retenção alternativo que mantém o **valor mais recente por chave** (em vez de todos os eventos), útil para tópicos de changelog/estado onde o estado atual por chave importa (como "usuário → perfil mais recente", mantendo o mais recente por usuário) — é uma característica distintiva e valiosa do Kafka para tópicos orientados a estado, contrastando com retenção por tempo/tamanho.

Entender retenção e compactação é importante para usar as capacidades do Kafka (replay, tópicos de estado) e gerenciar armazenamento (retenção afeta quanto dados são armazenados).

Esses conceitos afetam tanto funcionalidade (o que consumidores podem ler e fazer replay) quanto operações (gerenciamento de armazenamento).

Como retenção é uma característica distintiva e importante do Kafka (permitindo replay e múltiplos consumidores, diferenciando Kafka de filas) que afeta capacidades e armazenamento, e como entender configuração de retenção e compactação de logs é relevante para usar as capacidades do Kafka e gerenciar armazenamento, entender retenção e armazenamento de dados no Kafka é conhecimento valioso e praticamente relevante — central para as capacidades distintivas do Kafka (replay, múltiplos consumidores) e para gerenciamento de armazenamento, com compactação de logs sendo uma característica valiosa para tópicos de estado, importante para usar e operar o Kafka efetivamente.