Bagaimana data retention dan storage bekerja di Kafka?

Question

Accepted Answer

Kafka **menyimpan events** untuk periode (atau ukuran) yang dapat dikonfigurasi, menyimpannya di partition logs bahkan setelah dikonsumsi — memungkinkan replay dan multiple consumers. Memahami retention dan log management penting untuk menggunakan Kafka dan mengelola storage.

## Retention — events disimpan

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Retention configuration

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Log compaction

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Mengapa ini penting

Memahami data retention dan storage di Kafka berharga karena **retention adalah fitur Kafka yang khas dan penting** yang mempengaruhi capabilities dan storage, jadi ini pengetahuan relevan untuk menggunakan dan mengoperasikan Kafka.

Retention events di Kafka (menyimpannya di partition logs bahkan setelah dikonsumsi) adalah differentiator kunci dari traditional queues dan memungkinkan Kafka's distinctive capabilities.

Memahami **retention** — bahwa Kafka menyimpan events untuk periode atau ukuran yang dikonfigurasi (tidak menghapus saat dikonsumsi), memungkinkan **replay** (membaca ulang history), multiple consumers membaca secara independen, dan late consumers mengejar ketinggalan — memperjelas mengapa Kafka adalah durable log bukan transient queue, dan bagaimana replay dan multi-consumer capabilities bekerja.

Memahami **retention configuration** — time-based (retention.ms, misal 7 hari) dan size-based (retention.bytes) retention, dikonfigurasi per topic, memilih berdasarkan replay needs, consumer lag tolerance, dan storage capacity — adalah pengetahuan praktis penting untuk mengelola berapa lama data disimpan dan associated storage.

Memahami **log compaction** — mode retention alternatif yang menyimpan **nilai terbaru per key** (bukan semua events), berguna untuk changelog/state topics di mana current state per key penting (seperti "user → latest profile," menyimpan terbaru per user) — adalah fitur Kafka yang khas dan berharga untuk state-oriented topics, berbeda dengan time/size retention.

Memahami retention dan compaction penting untuk menggunakan Kafka's capabilities (replay, state topics) dan mengelola storage (retention mempengaruhi berapa banyak data disimpan).

Konsep ini mempengaruhi functionality (apa yang dapat dibaca dan di-replay consumers) dan operations (storage management).

Karena retention adalah fitur Kafka yang khas dan penting (memungkinkan replay dan multiple consumers, membedakan Kafka dari queues) yang mempengaruhi capabilities dan storage, dan karena memahami retention configuration dan log compaction relevan untuk menggunakan Kafka's capabilities dan mengelola storage, memahami data retention dan storage di Kafka adalah pengetahuan berharga dan praktis — central to Kafka's distinctive capabilities (replay, multiple consumers) dan storage management, dengan log compaction menjadi fitur berharga untuk state topics, penting untuk menggunakan dan mengoperasikan Kafka secara efektif.