Kafkaにおけるデータ保持とストレージはどのように機能しますか？

Question

IT Interview Practice · Accepted Answer

Kafka は**イベントを保持**し、設定可能な期間またはサイズの間、パーティションログにイベントを保持します。消費後もイベントが削除されないため、リプレイと複数のコンシューマーが可能になります。保持とログ管理の理解は、Kafkaを使用し、ストレージを管理する上で重要です。

## 保持 — イベントは保持される

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## 保持設定

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## ログコンパクション

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## なぜ重要なのか

Kafkaのデータ保持とストレージを理解することは価値があります。**保持はKafkaの特徴的で重要な機能**であり、機能とストレージに影響を与えるため、Kafkaを使用および運用する際の関連知識です。

イベント保持（消費後もパーティションログにイベントを保持すること）はKafkaが従来のキューと異なる重要な差別化要因であり、Kafkaの特徴的な機能を実現します。

**保持**を理解する — Kafkaは設定された期間またはサイズの間イベントを保持し、消費時に削除されないこと、**リプレイ**（履歴の再読み込み）、複数のコンシューマーが独立して読み取る、遅れたコンシューマーがキャッチアップできることを実現することを理解することは、Kafkaが一時的なキューではなく永続的なログである理由、またそのリプレイと複数コンシューマー機能の仕組みを明確にします。

**保持設定**を理解する — 時間ベース（retention.ms、例：7日）およびサイズベース（retention.bytes）の保持、トピックごとの設定、リプレイニーズ、コンシューマーラグ耐性、ストレージ容量に基づいた選択は、データ保持期間と関連ストレージを管理するための重要な実践知識です。

**ログコンパクション**を理解する — すべてのイベントではなく**キーごとの最新値**を保持する代替保持モード。変更ログ/状態トピックに有用です。現在の状態がキーごとに重要な場合（「ユーザー→最新プロフィール」など、ユーザーごとの最新値を保持）です。これはKafkaの特徴的で価値のある機能であり、状態指向トピック用で、時間/サイズ保持と対比されます。

保持とコンパクションを理解することは、Kafkaの機能（リプレイ、状態トピック）を使用し、ストレージを管理する上で重要です。

これらの概念は機能（コンシューマーが読み取ってリプレイできる内容）と運用（ストレージ管理）の両方に影響を与えます。

保持はKafkaの特徴的で重要な機能（リプレイと複数のコンシューマーを実現し、キューと区別）であり、機能とストレージに影響を与えます。保持設定とログコンパクションの理解はKafkaの機能を使用し、ストレージを管理する際に関連しています。ログコンパクションは状態トピック向けの価値のある機能であり、Kafkaを効果的に使用および運用する際に重要です。したがって、Kafkaのデータ保持とストレージを理解することは価値ある、実践的に関連した知識です — Kafkaの特徴的な機能（リプレイ、複数のコンシューマー）とストレージ管理の中核的な知識であり、ログコンパクションは状態トピック向けの価値のある機能です。

保持 — イベントは保持される

保持設定

ログコンパクション

なぜ重要なのか

関連する質問