Как работает хранение и сохранение данных в Kafka?

Question

Accepted Answer

Kafka **сохраняет события** на настраиваемый период (или размер), храня их в логах партиций даже после потребления — что позволяет воспроизводить события и поддерживать множество потребителей. Понимание сохранения и управления логами важно для использования Kafka и управления хранилищем.

## Сохранение — события сохраняются

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Конфигурация сохранения

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Компактификация логов

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Почему это важно

Понимание хранения и сохранения данных в Kafka ценно, потому что **сохранение — это отличительная, важная особенность Kafka**, влияющая на возможности и хранилище, поэтому это релевантное знание для использования и эксплуатации Kafka.

Сохранение событий в Kafka (их сохранение в логах партиций даже после потребления) — это ключевое отличие от традиционных очередей и обеспечивает уникальные возможности Kafka.

Понимание **сохранения** — что Kafka сохраняет события на настроенный период или размер (не удаляет при потреблении), позволяя **воспроизведение** (перечитывание истории), независимое чтение несколькими потребителями и возможность поздним потребителям наверстать упущенное — проясняет, почему Kafka является долговечным логом, а не преходящей очередью, и как работают его возможности воспроизведения и поддержки нескольких потребителей.

Понимание **конфигурации сохранения** — сохранение на основе времени (retention.ms, например 7 дней) и размера (retention.bytes), настраиваемое per topic, выбор на основе потребностей в воспроизведении, толерантности к задержке потребителя и емкости хранилища — это важное практическое знание для управления тем, как долго данные сохраняются и связанным хранилищем.

Понимание **компактификации логов** — альтернативный режим сохранения, который сохраняет **последнее значение для каждого ключа** (вместо всех событий), полезный для changelog/state topics, где текущее состояние для каждого ключа имеет значение (как "пользователь → последний профиль", сохраняя последнее для каждого пользователя) — это отличительная, ценная особенность Kafka для topics, ориентированных на состояние, в контрасте с сохранением на основе времени/размера.

Понимание сохранения и компактификации важно для использования возможностей Kafka (воспроизведение, state topics) и управления хранилищем (сохранение влияет на количество хранимых данных).

Эти концепции влияют как на функциональность (что потребители могут читать и воспроизводить), так и на операции (управление хранилищем).

Поскольку сохранение — это отличительная, важная особенность Kafka (позволяющая воспроизведение и поддержку нескольких потребителей, отличающая Kafka от очередей), которая влияет на возможности и хранилище, и поскольку понимание конфигурации сохранения и компактификации логов релевантно для использования возможностей Kafka и управления хранилищем, понимание хранения и сохранения данных в Kafka — это ценное, практически-релевантное знание — центральное для отличительных возможностей Kafka (воспроизведение, множество потребителей) и для управления хранилищем, с компактификацией логов как ценной особенностью для state topics, важное для эффективного использования и эксплуатации Kafka.