Các khái niệm cốt lõi của Kafka là gì (topic, partition, broker)?

Question

Accepted Answer

Các khái niệm cốt lõi của Kafka bao gồm **topic** (các danh mục sự kiện), **partition** (đơn vị song song hóa trong topic), **broker** (các máy chủ), **producer** (ghi) và **consumer** (đọc). Hiểu chúng là điều cơ bản để làm việc với Kafka.

## Các khái niệm cốt lõi

```text
TOPIC → một danh mục/luồng sự kiện có tên (giống một "kênh" — ví dụ "orders", "clicks")
  → producer ghi vào topic; consumer đọc từ topic
PARTITION → một topic được chia thành các PARTITION (các log có thứ tự, chỉ-thêm):
  → đơn vị SONG SONG HÓA và mở rộng; sự kiện được phân bổ qua các partition
  → thứ tự được đảm bảo TRONG một partition (không phải xuyên các partition)
BROKER → một MÁY CHỦ Kafka (lưu dữ liệu, phục vụ client); một CLUSTER = nhiều broker
PRODUCER → ghi (publish) sự kiện vào topic
CONSUMER → đọc (subscribe) sự kiện từ topic
```

## Partition và offset

```text
→ mỗi partition là một chuỗi sự kiện có thứ tự, bất biến
→ mỗi sự kiện có một OFFSET (vị trí của nó trong partition)
→ consumer theo dõi offset của mình (đã đọc đến đâu) → có thể tiếp tục, replay
→ sự kiện được giữ lại trong partition; consumer đọc theo nhịp độ riêng
→ một KEY của partition quyết định sự kiện đi vào partition nào (cùng key → cùng partition
  → đảm bảo thứ tự cho key đó)
```

## Cách chúng kết hợp với nhau

```text
Producer → ghi vào một TOPIC (→ một PARTITION dựa trên key) → lưu trên một BROKER (được replicate)
  → Consumer đọc từ partition (theo dõi offset của mình)
→ topic tổ chức sự kiện; partition cho phép song song hóa/mở rộng; broker lưu/phục vụ;
  offset theo dõi vị trí
```

## Tại sao điều này quan trọng

Hiểu các khái niệm cốt lõi của Kafka là điều cơ bản vì **topic, partition, broker, producer và consumer là các khối xây dựng của Kafka**, nên nắm vững chúng là thiết yếu cho mọi công việc với Kafka.

Các khái niệm này tạo nền tảng cho cách Kafka hoạt động.

Hiểu **topic** (các danh mục/luồng sự kiện có tên mà producer ghi vào và consumer đọc từ) là khái niệm tổ chức cơ bản.

Hiểu **partition** đặc biệt quan trọng: topic được chia thành các partition (log có thứ tự, chỉ-thêm) là **đơn vị song song hóa và mở rộng**, với tính chất then chốt rằng **thứ tự được đảm bảo trong một partition nhưng không xuyên các partition** — một khái niệm cốt lõi ảnh hưởng đến cách Kafka mở rộng và sắp xếp thứ tự sự kiện.

Hiểu **broker** (các máy chủ Kafka, tạo thành cluster), **producer** (ghi sự kiện) và **consumer** (đọc sự kiện) hoàn thiện kiến trúc cơ bản.

Hiểu **partition và offset** — mỗi partition là một chuỗi sự kiện có thứ tự bất biến nơi sự kiện có **offset** (vị trí), consumer theo dõi offset để tiếp tục và replay, sự kiện được giữ lại để consumer đọc theo nhịp độ riêng, và **key của partition** quyết định sự kiện đi vào partition nào (cùng key → cùng partition → đảm bảo thứ tự cho key đó) — là thiết yếu để hiểu mô hình dữ liệu và đảm bảo thứ tự của Kafka.

Hiểu **cách chúng kết hợp với nhau** (producer ghi vào topic/partition được lưu trên các broker được replicate, consumer đọc đồng thời theo dõi offset) cung cấp bức tranh toàn cảnh.

Những khái niệm này là từ vựng và cơ chế của Kafka mà mọi thứ khác xây dựng dựa trên đó.

Vì topic, partition, broker, producer, consumer và offset là các khối xây dựng nền tảng của Kafka (với partition và thứ tự là những khái niệm đặc biệt quan trọng), và vì hiểu chúng là thiết yếu cho mọi công việc với Kafka, nên hiểu các khái niệm cốt lõi của Kafka là kiến thức nền tảng thiết yếu — các khối xây dựng của Kafka cần thiết để làm việc với nó, trung tâm để hiểu cách Kafka tổ chức, mở rộng, sắp xếp thứ tự và lưu trữ sự kiện, và là nền tảng cho mọi chủ đề Kafka.