Thiết kế pipeline tracking sự kiện lớn phục vụ báo cáo + ML — chọn stack nào?

Question

IT Interview Practice · Accepted Answer

Ở mức hàng trăm triệu event/ngày (~vài nghìn/giây, cao hơn lúc đỉnh), nước đi thắng là tách ingest khỏi serving: hút write vào một log bền, xử lý stream một lần, rồi fan-out sang hai kho tối ưu cho hai việc trái ngược — tổng hợp sẵn cho phụ huynh (đọc nhanh), raw đầy đủ cho ML.

như phòng thư — collector nhận thư, Kafka là băng chuyền, mỗi món được sao ra hai kệ: một phụ huynh liếc nhanh, và một để team ML đào sâu.

**Mô hình dễ hình dung:** như phòng thư — collector nhận thư, Kafka là băng chuyền, mỗi món được sao ra hai kệ: một *bảng tóm tắt* phụ huynh liếc nhanh, và một *kho lưu đầy đủ* để team ML đào sâu.

## Đường ghi (ingest)

```text
Client ─(batch)─▶ Collector ─▶ Kafka ─▶ Stream proc ─┬─▶ OLAP rollup  (tổng hợp ngày)
 (app học)         (HTTP)     (buffer,   (đọc 1 lần)  └─▶ S3 / Parquet (event raw)
                              replay)
```

- **Collector** nhận event đã **gom batch** qua HTTP — client gom batch biến hàng trăm triệu write lẻ thành ít request hơn nhiều.
- **Kafka** là buffer bền: hấp thụ đỉnh tải, tách producer khỏi consumer, và cho **replay** lịch sử khi ML thêm feature hoặc bạn thêm rollup mới.
- **Stream processor** đọc Kafka một lần và ghi cả hai đích — append raw vào lake, upsert rollup cho báo cáo.

```js
// Một consumer đọc Kafka một lần rồi ghi CẢ HAI đích
for await (const batch of kafka.consume('events')) {
  await lake.appendParquet(batch);                      // raw -> S3/Parquet (ML)
  for (const e of batch)
    rollup.add({ childId: e.childId, day: dayOf(e.ts) },// tổng hợp -> OLAP (báo cáo)
               { lessons: 1, studiedMs: e.studiedMs ?? 0 });
  await rollup.flush();
}
```

## Đường đọc (serving)

```text
App phụ huynh ─▶ API ─▶ OLAP rollup               (tổng hợp sẵn: báo cáo = O(1), không quét)
ML / Data     ─▶ Spark / warehouse ─▶ S3 / Parquet  (raw, linh hoạt, ad-hoc)
```

Phụ huynh đọc **bảng tổng hợp sẵn**, nên báo cáo là tra khoá, không quét hàng tỉ dòng. ML truy vấn **lake raw**, giữ đủ mọi field để làm feature.

## Stack & vì sao
- **Kafka** — buffer, tách tầng, replay.
- **ClickHouse / bảng tổng hợp ngày** — tối ưu đọc cho dashboard phụ huynh.
- **S3 + Parquet** — lưu raw rẻ, dạng cột, linh hoạt cho ML.
- **Schema registry** — ràng buộc hợp đồng event để producer không ngầm phá consumer.

## Góc nhìn phỏng vấn
Người phỏng vấn dò xem bạn có tách **ingest tối ưu ghi khỏi serving tối ưu đọc**, tránh quét raw cho mỗi báo cáo phụ huynh, và giữ raw cho ML không. **Yếu:** "nhét hết vào Postgres rồi query." **Mạnh:** buffer bền + hai đường phục vụ + replay + hợp đồng schema, kèm cảm nhận về quy mô.

## Đánh đổi
Pre-aggregate cho đọc tức thì nhưng cố định chiều phân tích trước; lake raw linh hoạt nhưng chậm. Giữ **cả hai** — đúng kiểu write-once, read-many.

Đường ghi (ingest)

Đường đọc (serving)

Stack & vì sao

Góc nhìn phỏng vấn

Đánh đổi

Câu hỏi liên quan