Bagaimana pengekalan data dan storan berfungsi dalam Kafka?

Question

Accepted Answer

Kafka **mengekalkan event** untuk satu tempoh (atau saiz) yang boleh dikonfigurasi, menyimpannya dalam log partition walaupun selepas digunakan — membolehkan replay dan berbilang consumer. Memahami pengekalan dan pengurusan log penting untuk menggunakan Kafka dan menguruskan storan.

## Pengekalan — event dikekalkan

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Konfigurasi pengekalan

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Log compaction

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Mengapa ia penting

Memahami pengekalan data dan storan dalam Kafka adalah berharga kerana **pengekalan ialah ciri Kafka yang tersendiri dan penting** yang mempengaruhi keupayaan dan storan, jadi ia merupakan pengetahuan yang relevan untuk menggunakan dan mengendalikan Kafka.

Pengekalan event Kafka (menyimpannya dalam log partition walaupun selepas digunakan) ialah pembeza utama daripada queue tradisional dan membolehkan keupayaan tersendiri Kafka.

Memahami **pengekalan** — bahawa Kafka menyimpan event untuk satu tempoh atau saiz yang dikonfigurasi (tidak memadam apabila digunakan), membolehkan **replay** (membaca semula sejarah), berbilang consumer membaca secara bebas, dan consumer lewat menyusul — menjelaskan mengapa Kafka ialah log yang tahan lasak dan bukannya queue sementara, serta cara keupayaan replay dan berbilang consumernya berfungsi.

Memahami **konfigurasi pengekalan** — pengekalan berasaskan masa (retention.ms, cth. 7 hari) dan berasaskan saiz (retention.bytes), dikonfigurasi setiap topic, memilih berdasarkan keperluan replay, toleransi lag consumer, dan kapasiti storan — merupakan pengetahuan praktikal penting untuk menguruskan berapa lama data disimpan dan storan yang berkaitan.

Memahami **log compaction** — mod pengekalan alternatif yang menyimpan **nilai terkini setiap key** (bukannya semua event), berguna untuk topic changelog/state di mana keadaan semasa setiap key penting (seperti "user → profil terkini," menyimpan yang terkini setiap pengguna) — ialah ciri Kafka yang tersendiri dan berharga untuk topic berorientasi keadaan, berbeza dengan pengekalan masa/saiz.

Memahami pengekalan dan compaction penting untuk menggunakan keupayaan Kafka (replay, topic state) dan menguruskan storan (pengekalan mempengaruhi berapa banyak data disimpan).

Konsep-konsep ini mempengaruhi kedua-dua fungsi (apa yang consumer boleh baca dan replay) dan operasi (pengurusan storan).

Memandangkan pengekalan ialah ciri Kafka yang tersendiri dan penting (membolehkan replay dan berbilang consumer, membezakan Kafka daripada queue) yang mempengaruhi keupayaan dan storan, dan memandangkan memahami konfigurasi pengekalan dan log compaction relevan untuk menggunakan keupayaan Kafka dan menguruskan storan, memahami pengekalan data dan storan dalam Kafka merupakan pengetahuan berharga yang relevan secara praktikal — pusat kepada keupayaan tersendiri Kafka (replay, berbilang consumer) dan kepada pengurusan storan, dengan log compaction menjadi ciri berharga untuk topic state, penting untuk menggunakan dan mengendalikan Kafka secara berkesan.