Kafka 中的数据保留和存储如何工作？

Question

Accepted Answer

Kafka **保留事件**以可配置的时间段（或大小），将它们保留在分区日志中，即使在消费后——实现重放和多个消费者。理解保留和日志管理对于使用 Kafka 和管理存储很重要。

## 保留 — 事件被保留

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## 保留配置

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## 日志压缩

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## 为什么这很重要

理解 Kafka 中的数据保留和存储很有价值，因为**保留是一个独特的、重要的 Kafka 功能**，影响功能和存储，因此与使用和运营 Kafka 相关。

Kafka 对事件的保留（即使在消费后也将它们保留在分区日志中）是与传统队列的关键区别，并启用 Kafka 的独特功能。

理解**保留** — Kafka 将事件保留配置的时间段或大小（不在消费时删除），实现**重放**（重新读取历史）、多个消费者独立读取和后来的消费者跟上 — 阐明为什么 Kafka 是一个持久日志而不是瞬时队列，以及它的重放和多消费者功能如何工作。

理解**保留配置** — 基于时间（retention.ms，例如 7 天）和基于大小（retention.bytes）的保留，每个主题配置，根据重放需求、消费者延迟容限和存储容量选择 — 是管理数据保留多长时间和相关存储的重要实践知识。

理解**日志压缩** — 一种替代保留模式，保留**每个键的最新值**（而不是所有事件），对于 changelog/state 主题很有用，其中每个键的当前状态很重要（如"用户 → 最新配置文件，"保留每个用户的最新状态） — 这是一个独特的、有价值的 Kafka 功能，适用于面向状态的主题，与时间/大小保留形成对比。

理解保留和压缩对于使用 Kafka 的功能（重放、state 主题）和管理存储（保留影响存储多少数据）很重要。

这些概念影响功能（消费者可以读取和重放什么）和操作（存储管理）两方面。

由于保留是一个独特的、重要的 Kafka 功能（实现重放和多个消费者，区别 Kafka 与队列），影响功能和存储，并且由于理解保留配置和日志压缩与使用 Kafka 的功能和管理存储相关，理解 Kafka 中的数据保留和存储是有价值的、实践相关的知识 — 这对 Kafka 的独特功能（重放、多个消费者）和存储管理至关重要，日志压缩是面向状态主题的有价值功能，对于有效使用和运营 Kafka 很重要。