Kiến trúc tổng thể của Kafka là gì?

Question

Accepted Answer

Kiến trúc của Kafka bao gồm một **cụm các broker** (máy chủ) lưu trữ các topic được phân partition, được replicate, với **producer** ghi và **consumer** đọc, được điều phối bởi việc quản lý metadata (trước đây là ZooKeeper, nay là KRaft). Hiểu kiến trúc làm rõ cách Kafka hoạt động như một hệ thống phân tán.

## Các thành phần

```text
BROKER → các MÁY CHỦ Kafka tạo thành một CLUSTER:
  → lưu các partition của topic (dữ liệu); phục vụ producer và consumer
  → một cluster gồm nhiều broker → phân tán dữ liệu và tải; mở rộng theo chiều ngang
TOPIC / PARTITION → topic được chia thành các partition, phân bổ qua các broker
PRODUCER → ghi sự kiện vào topic (tới partition leader)
CONSUMER (trong group) → đọc sự kiện từ partition
ĐIỀU PHỐI → metadata, trạng thái cluster, bầu cử leader:
  → trước đây là ZOOKEEPER; nay là KRAFT (consensus tích hợp riêng của Kafka, loại bỏ ZooKeeper)
```

## Replication cho độ bền và tính sẵn sàng

```text
Partition được REPLICATE qua các broker để chịu lỗi:
  → mỗi partition có một LEADER (xử lý đọc/ghi) + FOLLOWER (các replica):
    - producer/consumer tương tác với leader
    - follower replicate dữ liệu của leader → nếu leader lỗi, một follower tiếp quản
  → REPLICATION FACTOR → bao nhiêu bản sao (ví dụ 3) → sống sót qua lỗi broker mà không mất dữ liệu
  → IN-SYNC REPLICAS (ISR) → các replica đã bắt kịp leader (cho đảm bảo độ bền)
```

## Cách chúng hoạt động cùng nhau

```text
Producer → ghi vào LEADER của một partition trên một broker → replicate tới các follower →
  Consumer (trong một group) đọc từ các partition → cluster được điều phối bởi KRaft/ZooKeeper
→ một hệ thống phân tán, được replicate, có khả năng mở rộng: broker lưu/phục vụ, replication cho
  độ bền/HA, điều phối quản lý cluster
```

## Tại sao điều này quan trọng

Hiểu kiến trúc tổng thể của Kafka là giá trị vì nó **làm rõ cách Kafka hoạt động như một hệ thống phân tán**, nên là kiến thức nền tảng để làm việc với Kafka.

Kafka là một hệ thống phân tán, và hiểu kiến trúc của nó giải thích cách nó đạt được khả năng mở rộng, độ bền và tính sẵn sàng.

Hiểu **các thành phần** — **broker** (các máy chủ Kafka tạo thành một cluster lưu các partition và phục vụ client, phân tán dữ liệu và tải), topic/partition phân bổ qua các broker, producer ghi và consumer đọc, và **điều phối** (quản lý metadata và cluster, trước đây qua ZooKeeper, nay ngày càng qua **KRaft** — consensus tích hợp riêng của Kafka loại bỏ phụ thuộc ZooKeeper) — làm rõ các phần của hệ thống.

Hiểu **replication cho độ bền và tính sẵn sàng** đặc biệt quan trọng: partition được **replicate qua các broker** (mỗi cái có một **leader** xử lý đọc/ghi và **follower** replicate nó), nên nếu một leader lỗi thì một follower tiếp quản (tính sẵn sàng), với **replication factor** quyết định bao nhiêu bản sao sống sót qua lỗi mà không mất dữ liệu (độ bền), và **in-sync replicas** đảm bảo các đảm bảo độ bền.

Cơ chế replication này là cách Kafka đạt được chịu lỗi và độ bền — then chốt cho độ tin cậy của nó.

Hiểu **cách chúng hoạt động cùng nhau** (producer ghi vào leader của partition, replicate tới follower, consumer đọc, tất cả được điều phối) cung cấp bức tranh toàn cảnh về Kafka như một hệ thống phân tán, được replicate, có khả năng mở rộng.

Sự hiểu biết kiến trúc này làm rõ cách Kafka cung cấp các tính chất then chốt của nó (khả năng mở rộng qua các broker phân partition phân tán, độ bền và tính sẵn sàng qua replication).

Vì Kafka là một hệ thống phân tán và hiểu kiến trúc của nó (broker, replication với leader/follower, điều phối) làm rõ cách nó đạt được khả năng mở rộng, độ bền và tính sẵn sàng, và vì điều này là nền tảng để làm việc với Kafka, nên hiểu kiến trúc tổng thể của Kafka là kiến thức nền tảng giá trị — làm rõ cách Kafka hoạt động như một hệ thống phân tán, được replicate (broker, replication để chịu lỗi, điều phối), giải thích cách nó cung cấp các tính chất then chốt, và là nền tảng để hiểu và vận hành Kafka.