Offset trong Kafka là gì và chúng hoạt động như thế nào?

Question

Accepted Answer

Một **offset** là một ID tuần tự, duy nhất cho mỗi sự kiện trong một partition — đánh dấu vị trí của nó. Consumer theo dõi và commit offset để biết chúng đã tiêu thụ những gì, cho phép tiếp tục, replay và xử lý tin cậy.

## Offset là gì

```text
OFFSET → vị trí/ID của một sự kiện trong một PARTITION:
  → mỗi partition là một log có thứ tự; sự kiện nhận offset tăng dần (0, 1, 2, ...)
  → một offset xác định duy nhất vị trí của một sự kiện trong partition của nó
  → sự kiện được GIỮ LẠI → log giữ sự kiện (offset vẫn hợp lệ trong khoảng thời gian giữ lại)
```

## Cách consumer dùng offset

```text
→ một consumer đọc sự kiện theo thứ tự và theo dõi offset HIỆN TẠI của nó (đã đọc đến đâu)
→ COMMIT một offset → ghi nhận "tôi đã xử lý đến đây" → khi khởi động lại, tiếp tục từ
  offset đã commit (không xử lý lại mọi thứ)
→ consumer có thể SEEK tới bất kỳ offset nào → REPLAY sự kiện cũ, nhảy tới trước, xử lý lại từ một điểm
→ mỗi consumer GROUP theo dõi offset riêng của mình theo từng partition (tiến độ độc lập)
```

## Quản lý offset và ngữ nghĩa phân phối

```text
KHI/CÁCH bạn commit offset ảnh hưởng đến ĐẢM BẢO PHÂN PHỐI:
  → commit SAU khi xử lý → AT-LEAST-ONCE (crash trước khi commit → xử lý lại → bị trùng lặp;
    cần idempotency)
  → commit TRƯỚC khi xử lý → AT-MOST-ONCE (crash sau khi commit nhưng trước khi xử lý →
    tin nhắn bị mất)
  → EXACTLY-ONCE → đòi hỏi nhiều hơn (transaction, xử lý idempotent)
→ auto-commit (định kỳ) vs manual commit (kiểm soát) → chọn dựa trên đảm bảo cần thiết
```

## Tại sao điều này quan trọng

Hiểu offset là điều cơ bản vì chúng là **cách Kafka theo dõi tiến độ tiêu thụ và cho phép các khả năng đặc trưng của nó** (tiếp tục, replay, đảm bảo phân phối), nên là kiến thức Kafka thiết yếu.

Một offset — vị trí của một sự kiện trong một partition — là trung tâm cho cách consumer làm việc với Kafka.

Hiểu **offset là gì** (các ID tuần tự đánh dấu vị trí mỗi sự kiện trong log có thứ tự của một partition, với sự kiện được giữ lại để offset vẫn hợp lệ) là nền tảng.

Hiểu **cách consumer dùng offset** — theo dõi offset hiện tại (đã đọc đến đâu), **commit offset** để ghi nhận tiến độ (để tiếp tục từ điểm đã commit khi khởi động lại thay vì xử lý lại mọi thứ), và có thể **seek tới bất kỳ offset nào để replay** sự kiện cũ hoặc xử lý lại từ một điểm (khả năng replay đặc trưng của Kafka), với mỗi consumer group theo dõi offset riêng một cách độc lập — là thiết yếu để hiểu cách tiêu thụ, tiếp tục và replay của Kafka hoạt động.

Quan trọng nhất, hiểu **quản lý offset và ngữ nghĩa phân phối** là then chốt: **khi và cách bạn commit offset ảnh hưởng đến đảm bảo phân phối** — commit sau khi xử lý cho **at-least-once** (crash trước khi commit gây xử lý lại/trùng lặp, đòi hỏi idempotency), commit trước cho **at-most-once** (crash sau khi commit nhưng trước khi xử lý làm mất tin nhắn), và **exactly-once** đòi hỏi nhiều hơn (transaction, xử lý idempotent).

Sự kết nối giữa quản lý offset và đảm bảo phân phối này là một khái niệm thực tiễn then chốt để xây dựng consumer Kafka tin cậy.

Hiểu auto-commit vs manual commit (kiểm soát đảm bảo) phản ánh quản lý offset thực tiễn.

Vì offset là cách Kafka theo dõi tiến độ tiêu thụ và cho phép các khả năng đặc trưng của nó (tiếp tục, replay) trong khi quản lý chúng quyết định đảm bảo phân phối (at-least-once, at-most-once, exactly-once), và vì hiểu offset là thiết yếu để xây dựng consumer tin cậy, nên hiểu offset trong Kafka là kiến thức nền tảng thiết yếu — trung tâm cho cách Kafka theo dõi việc tiêu thụ và cho phép replay, và kết nối then chốt với đảm bảo phân phối qua quản lý offset, thiết yếu để xây dựng consumer Kafka tin cậy và là một khái niệm Kafka cốt lõi.