Consumer group hoạt động chi tiết như thế nào?

Question

Accepted Answer

**Consumer group** là cơ chế của Kafka cho **việc tiêu thụ có khả năng mở rộng, chịu lỗi** — các consumer trong một group chia sẻ công việc tiêu thụ các partition của một topic, với rebalancing tự động. Hiểu chúng sâu sắc là then chốt để xây dựng consumer Kafka có khả năng mở rộng.

## Cách consumer group phân bổ công việc

```text
Một CONSUMER GROUP = các consumer hợp tác để tiêu thụ một topic:
  → mỗi PARTITION được gán cho đúng MỘT consumer trong group (tại một thời điểm)
  → partition được phân bổ qua các consumer của group → tiêu thụ SONG SONG
  → ví dụ 6 partition, 3 consumer → mỗi consumer 2 partition
→ mở rộng việc tiêu thụ bằng cách thêm consumer (TỐI ĐA bằng số partition — consumer dư thì nhàn rỗi)
```

## Rebalancing

```text
REBALANCING → phân bổ lại partition khi thành viên group thay đổi:
  → một consumer THAM GIA (mở rộng lên) hoặc RỜI/LỖI (thu nhỏ/crash) → partition được
    GÁN LẠI giữa các consumer hiện tại
  → cung cấp CHỊU LỖI (partition của consumer lỗi đi sang các consumer khác) và tính co giãn
  ⚠️ trong quá trình rebalance, việc tiêu thụ TẠM DỪNG ngắn (một chi phí); rebalance thường xuyên gây hại
    → giảm thiểu rebalance không cần thiết; các giao thức hiện đại giảm tác động (cooperative
      rebalancing)
```

## Group, partition và pub/sub

```text
→ TRONG một group → partition được chia (giống hàng đợi: mỗi tin nhắn được xử lý bởi một consumer
  trong group)
→ NHIỀU group → mỗi group đọc TẤT CẢ sự kiện một cách độc lập (pub/sub: mỗi group nhận
  toàn bộ luồng)
→ vậy Kafka hỗ trợ CẢ HAI: ngữ nghĩa hàng đợi (trong một group) VÀ pub/sub (xuyên các group)
→ số partition GIỚI HẠN song song hóa của group → lập kế hoạch partition cho nhu cầu mở rộng
```

## Tại sao điều này quan trọng

Hiểu consumer group chi tiết là giá trị vì chúng là **cơ chế của Kafka cho việc tiêu thụ có khả năng mở rộng, chịu lỗi**, trung tâm để xây dựng consumer Kafka thực tế, nên là kiến thức quan trọng.

Consumer group là cách Kafka đạt được tiêu thụ có khả năng mở rộng và bền bỉ, và hiểu chúng sâu sắc là then chốt để dùng Kafka hiệu quả.

Hiểu **cách consumer group phân bổ công việc** — mỗi partition được gán cho đúng một consumer trong group, partition được phân bổ qua các consumer của group để tiêu thụ song song, và mở rộng bằng cách thêm consumer tối đa bằng số partition (với consumer dư nhàn rỗi) — giải thích cách Kafka mở rộng việc tiêu thụ và giới hạn quan trọng rằng số partition giới hạn song song hóa của group.

Hiểu **rebalancing** — phân bổ lại partition khi thành viên group thay đổi (một consumer tham gia, rời, hoặc lỗi), cung cấp **chịu lỗi** (partition của consumer lỗi được gán lại cho các consumer khác) và tính co giãn — là then chốt, cùng với lưu ý quan trọng rằng **rebalancing tạm dừng việc tiêu thụ ngắn** (một chi phí), nên rebalance thường xuyên gây hại hiệu năng và nên được giảm thiểu (với cooperative rebalancing hiện đại giảm tác động).

Hành vi rebalancing này là một cân nhắc vận hành then chốt.

Hiểu **group, partition và pub/sub** — rằng trong một group các partition được chia (giống hàng đợi, mỗi tin nhắn được xử lý bởi một consumer) trong khi nhiều group mỗi group đọc tất cả sự kiện một cách độc lập (pub/sub, mỗi group nhận toàn bộ luồng), nên Kafka hỗ trợ cả ngữ nghĩa hàng đợi lẫn pub/sub, và rằng số partition giới hạn song song hóa của group (nên bạn lập kế hoạch partition cho nhu cầu mở rộng) — là thiết yếu để hiểu mô hình tiêu thụ linh hoạt của Kafka và thiết kế topic.

Sự hiểu biết sâu về consumer group này (phân bổ công việc, rebalancing, tính lưỡng tính hàng đợi/pub-sub, giới hạn số partition) là điều cho phép xây dựng consumer Kafka có khả năng mở rộng, bền bỉ.

Vì consumer group là cơ chế của Kafka cho việc tiêu thụ có khả năng mở rộng, chịu lỗi (trung tâm cho việc dùng Kafka thực tế) và hiểu chúng sâu sắc — phân bổ công việc, rebalancing và chi phí của nó, tính lưỡng tính hàng đợi/pub-sub, và giới hạn số partition — là then chốt để xây dựng consumer hiệu quả, nên hiểu consumer group chi tiết là kiến thức Kafka quan trọng thực tiễn — trung tâm cho việc tiêu thụ có khả năng mở rộng, bền bỉ, quan trọng để thiết kế topic và consumer (lập kế hoạch partition, nhận thức về rebalancing), và thiết yếu để xây dựng ứng dụng Kafka thực tế có khả năng mở rộng và chịu được lỗi.