Replication hoạt động như thế nào trong Kafka?

Question

Accepted Answer

Kafka **replicate** các partition qua nhiều broker để **độ bền và tính sẵn sàng** — mỗi partition có một leader và các replica follower. Nếu một broker lỗi, một follower tiếp quản. Hiểu replication là then chốt cho khả năng chịu lỗi của Kafka.

## Cách replication hoạt động

```text
Mỗi PARTITION được replicate qua nhiều broker (REPLICATION FACTOR bản sao, ví dụ 3):
  → replica LEADER → xử lý tất cả đọc và ghi cho partition
  → các replica FOLLOWER → sao chép (replicate) dữ liệu của leader, giữ đồng bộ
  → producer/consumer tương tác với LEADER; follower là bản sao dự phòng
→ nếu broker của leader LỖI → một follower được thăng lên leader (failover) → không mất dữ liệu,
  tiếp tục sẵn sàng
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → tập hợp các replica ĐÃ BẮT KỊP leader:
  → chỉ các replica đồng bộ mới đủ điều kiện trở thành leader (đảm bảo leader mới có dữ liệu)
  → cấu hình độ bền: acks=all + min.insync.replicas → một ghi chỉ được acknowledge khi
    đủ ISR đã có nó → sống sót qua lỗi mà không mất dữ liệu
→ ISR là trung tâm để cân bằng độ bền và tính sẵn sàng
```

## Đánh đổi độ bền vs tính sẵn sàng

```text
→ REPLICATION FACTOR (ví dụ 3) → nhiều bản sao = chịu lỗi nhiều hơn (sống sót qua nhiều lỗi hơn)
→ cài đặt acks (producer):
  acks=0 → không chờ (nhanh, có thể mất dữ liệu)  acks=1 → chỉ leader (có thể mất khi leader lỗi)
  acks=all → tất cả ISR xác nhận (an toàn, không mất, nhưng chậm hơn)
→ min.insync.replicas → số ISR tối thiểu cần cho một ghi (đảm bảo độ bền)
→ đánh đổi: độ bền mạnh hơn (acks=all, nhiều replica) vs thông lượng/tính sẵn sàng
```

## Tại sao điều này quan trọng

Hiểu cách replication hoạt động trong Kafka là giá trị vì nó **then chốt cho độ bền và tính sẵn sàng của Kafka** (chịu lỗi), nên quan trọng để hiểu và vận hành Kafka một cách tin cậy.

Replication là cách Kafka đảm bảo dữ liệu không bị mất và vẫn sẵn sàng bất chấp lỗi broker.

Hiểu **cách replication hoạt động** — mỗi partition được replicate qua các broker (theo replication factor) với một **leader** xử lý đọc/ghi và **follower** replicate nó, để nếu broker của leader lỗi thì một follower được thăng lên (failover, cung cấp tính sẵn sàng tiếp tục mà không mất dữ liệu) — giải thích cơ chế chịu lỗi của Kafka.

Hiểu **in-sync replicas (ISR)** — tập hợp các replica đã bắt kịp leader, nơi chỉ các replica đồng bộ mới có thể trở thành leader (đảm bảo leader mới có dữ liệu), và cấu hình độ bền (acks=all cộng min.insync.replicas) đảm bảo các ghi chỉ được acknowledge khi đủ ISR có dữ liệu (sống sót qua lỗi mà không mất) — là trung tâm cho cách Kafka cân bằng độ bền và tính sẵn sàng, một khái niệm vận hành then chốt.

Hiểu **đánh đổi độ bền vs tính sẵn sàng** — replication factor (nhiều bản sao = chịu lỗi nhiều hơn), cài đặt **acks** của producer (acks=0 nhanh nhưng có thể mất dữ liệu, acks=1 chỉ leader, acks=all an toàn nhưng chậm hơn), và min.insync.replicas — phản ánh các quyết định cấu hình quan trọng cân bằng độ bền với thông lượng và tính sẵn sàng.

Các đánh đổi này là quyết định thực tiễn khi vận hành Kafka: độ bền mạnh hơn (acks=all, nhiều replica, min ISR cao hơn) so với hiệu năng.

Hiểu replication là thiết yếu để vận hành Kafka tin cậy và cấu hình các đảm bảo độ bền đúng.

Vì replication then chốt cho độ bền và tính sẵn sàng của Kafka (chịu lỗi qua replication leader/follower và failover) và hiểu nó — cơ chế, ISR, và các đánh đổi độ bền/tính sẵn sàng (replication factor, acks, min ISR) — là quan trọng để vận hành Kafka tin cậy và cấu hình các đảm bảo phù hợp, nên hiểu cách replication hoạt động trong Kafka là kiến thức giá trị, liên quan thực tiễn — trung tâm cho khả năng chịu lỗi và độ bền của Kafka, quan trọng để hiểu cách Kafka sống sót qua lỗi và để cấu hình các đảm bảo độ bền (acks, replication factor, ISR), và then chốt để vận hành Kafka tin cậy.