Producer và consumer hoạt động như thế nào trong Kafka?

Question

Accepted Answer

**Producer** phát hành (ghi) sự kiện vào topic Kafka, và **consumer** subscribe (đọc) sự kiện từ chúng. Hiểu cách chúng hoạt động — bao gồm partitioning, offset và consumer group — là điều cơ bản để dùng Kafka.

## Producer — ghi sự kiện

```text
PRODUCER phát hành sự kiện vào TOPIC:
  → gửi một record (key, value) vào một topic
  → key quyết định PARTITION (cùng key → cùng partition → đảm bảo thứ tự cho key đó);
    không có key → phân bổ (round-robin)
  → có thể cấu hình ACKNOWLEDGMENT (acks) cho độ bền (chờ replica xác nhận)
  → batching, nén để tăng thông lượng
```

## Consumer — đọc sự kiện

```text
CONSUMER subscribe vào topic và đọc sự kiện:
  → đọc từ partition, theo dõi OFFSET (vị trí) → tiếp tục từ chỗ đã dừng
  → đọc theo NHỊP ĐỘ RIÊNG (sự kiện được giữ lại); có thể đọc lại (replay) từ bất kỳ offset nào
  → COMMIT offset để ghi nhận tiến độ (để không xử lý lại khi khởi động lại)
```

## Consumer group (then chốt cho mở rộng)

```text
CONSUMER GROUP → các consumer làm việc cùng nhau để tiêu thụ một topic:
  → mỗi partition được tiêu thụ bởi MỘT consumer trong group → xử lý song song
    (phân bổ partition qua các consumer của group)
  → thêm consumer (tối đa bằng số partition) để mở rộng việc tiêu thụ
  → nếu một consumer lỗi, partition của nó được REBALANCE sang các consumer khác (chịu lỗi)
CÁC GROUP KHÁC NHAU → mỗi group đọc TẤT CẢ sự kiện một cách độc lập (pub/sub: nhiều group
  mỗi group nhận toàn bộ luồng)
```

## Tại sao điều này quan trọng

Hiểu cách producer và consumer hoạt động là điều cơ bản vì chúng là **cách dữ liệu chảy vào và ra khỏi Kafka**, nên thiết yếu để dùng Kafka.

Producer ghi sự kiện và consumer đọc chúng — luồng dữ liệu cơ bản.

Hiểu **producer** — phát hành sự kiện vào topic, với **key quyết định partition** (cùng key đi tới cùng partition để đảm bảo thứ tự, không có key thì phân bổ round-robin), cấu hình acknowledgment cho độ bền, và batching cho thông lượng — bao quát cách dữ liệu đi vào Kafka.

Hiểu **consumer** — đọc sự kiện đồng thời theo dõi **offset** (vị trí) để tiếp tục từ chỗ đã dừng, đọc theo nhịp độ riêng vì sự kiện được giữ lại, có thể **replay** từ bất kỳ offset nào, và commit offset để ghi nhận tiến độ — bao quát cách dữ liệu được đọc, bao gồm khả năng replay đặc trưng của Kafka.

Quan trọng nhất, hiểu **consumer group** là thiết yếu cho mô hình mở rộng của Kafka: các consumer làm việc cùng nhau nơi **mỗi partition được tiêu thụ bởi một consumer trong group** (cho phép xử lý song song, mở rộng bằng cách thêm consumer tối đa bằng số partition), với **rebalancing** tự động nếu một consumer lỗi (chịu lỗi), trong khi **các consumer group khác nhau mỗi group đọc tất cả sự kiện một cách độc lập** (cho phép pub/sub nơi nhiều group mỗi group nhận toàn bộ luồng).

Mô hình consumer group này là nền tảng cho cách Kafka mở rộng việc tiêu thụ và hỗ trợ cả mẫu giống hàng đợi (trong một group) lẫn pub/sub (xuyên các group).

Vì producer và consumer là cách dữ liệu chảy vào và ra khỏi Kafka, và vì hiểu cơ chế của chúng — partitioning, offset, replay, và đặc biệt là consumer group (then chốt cho mở rộng và tính lưỡng tính hàng đợi/pub-sub) — là thiết yếu để dùng Kafka, nên hiểu cách producer và consumer hoạt động là kiến thức Kafka nền tảng thiết yếu — cơ bản cho luồng dữ liệu trong Kafka, với consumer group đặc biệt quan trọng để hiểu mô hình mở rộng và tiêu thụ của Kafka, và cần thiết cho bất kỳ ai dùng Kafka.