Việc giữ lại dữ liệu và lưu trữ hoạt động như thế nào trong Kafka?

Question

Accepted Answer

Kafka **giữ lại sự kiện** trong một khoảng thời gian (hoặc kích thước) có thể cấu hình, giữ chúng trong các log partition ngay cả sau khi tiêu thụ — cho phép replay và nhiều consumer. Hiểu việc giữ lại và quản lý log là quan trọng để dùng Kafka và quản lý lưu trữ.

## Giữ lại — sự kiện được giữ

```text
Khác với hàng đợi truyền thống, Kafka GIỮ LẠI sự kiện (không xóa khi tiêu thụ):
  → sự kiện ở lại trong log partition trong một khoảng GIỮ LẠI được cấu hình (ví dụ 7 ngày) hoặc
    giới hạn KÍCH THƯỚC
  → cho phép: REPLAY (đọc lại lịch sử), nhiều consumer đọc độc lập, consumer
    muộn bắt kịp
  → sau khi giữ lại hết hạn → các segment cũ bị xóa (hoặc nén compaction)
→ Kafka là một LOG bền vững, không chỉ là một hàng đợi tạm thời
```

## Cấu hình giữ lại

```text
→ Theo THỜI GIAN → retention.ms (giữ sự kiện trong N thời gian, ví dụ 7 ngày)
→ Theo KÍCH THƯỚC → retention.bytes (giữ tối đa N byte mỗi partition)
→ cấu hình theo từng topic; sự kiện vượt giới hạn bị loại bỏ (cũ nhất trước)
→ chọn dựa trên nhu cầu replay, dung sai consumer lag, và dung lượng lưu trữ
```

## Log compaction

```text
LOG COMPACTION → một chế độ giữ lại thay thế: giữ giá trị MỚI NHẤT theo từng KEY (không phải tất cả sự kiện):
  → giữ record gần nhất cho mỗi key, loại bỏ các cái cũ hơn cho key đó
  → hữu ích cho: topic changelog/state (state hiện tại theo từng key mới quan trọng, không phải toàn bộ lịch sử)
  → ví dụ một topic "user → profile mới nhất" → giữ cái mới nhất theo từng user
→ vs giữ lại theo thời gian/kích thước (giữ lịch sử gần đây) — compaction giữ mới-nhất-theo-key mãi mãi
```

## Tại sao điều này quan trọng

Hiểu việc giữ lại dữ liệu và lưu trữ trong Kafka là giá trị vì **giữ lại là một tính năng đặc trưng, quan trọng của Kafka** ảnh hưởng đến khả năng và lưu trữ, nên là kiến thức liên quan để dùng và vận hành Kafka.

Việc Kafka giữ lại sự kiện (giữ chúng trong log partition ngay cả sau khi tiêu thụ) là một điểm khác biệt then chốt so với hàng đợi truyền thống và cho phép các khả năng đặc trưng của Kafka.

Hiểu **giữ lại** — rằng Kafka giữ sự kiện trong một khoảng thời gian hoặc kích thước được cấu hình (không xóa khi tiêu thụ), cho phép **replay** (đọc lại lịch sử), nhiều consumer đọc độc lập, và consumer muộn bắt kịp — làm rõ vì sao Kafka là một log bền vững thay vì một hàng đợi tạm thời, và cách các khả năng replay và đa-consumer của nó hoạt động.

Hiểu **cấu hình giữ lại** — giữ lại theo thời gian (retention.ms, ví dụ 7 ngày) và theo kích thước (retention.bytes), cấu hình theo từng topic, chọn dựa trên nhu cầu replay, dung sai consumer lag, và dung lượng lưu trữ — là kiến thức thực tiễn quan trọng để quản lý dữ liệu được giữ trong bao lâu và lưu trữ liên quan.

Hiểu **log compaction** — một chế độ giữ lại thay thế giữ **giá trị mới nhất theo từng key** (thay vì tất cả sự kiện), hữu ích cho topic changelog/state nơi state hiện tại theo từng key quan trọng (như "user → profile mới nhất," giữ cái mới nhất theo từng user) — là một tính năng Kafka đặc trưng, giá trị cho các topic hướng-state, tương phản với giữ lại theo thời gian/kích thước.

Hiểu giữ lại và compaction là quan trọng để dùng các khả năng của Kafka (replay, topic state) và quản lý lưu trữ (giữ lại ảnh hưởng đến lượng dữ liệu được lưu).

Các khái niệm này ảnh hưởng đến cả chức năng (consumer có thể đọc và replay gì) lẫn vận hành (quản lý lưu trữ).

Vì giữ lại là một tính năng đặc trưng, quan trọng của Kafka (cho phép replay và nhiều consumer, phân biệt Kafka với hàng đợi) ảnh hưởng đến khả năng và lưu trữ, và vì hiểu cấu hình giữ lại và log compaction là liên quan để dùng các khả năng của Kafka và quản lý lưu trữ, nên hiểu việc giữ lại dữ liệu và lưu trữ trong Kafka là kiến thức giá trị, liên quan thực tiễn — trung tâm cho các khả năng đặc trưng của Kafka (replay, nhiều consumer) và cho quản lý lưu trữ, với log compaction là một tính năng giá trị cho topic state, quan trọng để dùng và vận hành Kafka hiệu quả.