Làm sao export tập dữ liệu khổng lồ mà không ảnh hưởng hệ thống đang chạy?

Question

IT Interview Practice · Accepted Answer

**Đọc từ replica hoặc snapshot (đừng bao giờ đọc primary), phân trang bằng keyset pagination thay vì `OFFSET`, throttle tốc độ đọc, và stream thẳng kết quả vào object storage.** Mục tiêu là export 500M dòng mà không giữ lock lâu, không làm CPU primary tăng vọt, và không nổ bộ nhớ.

## Pipeline export

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (tách khỏi traffic live)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Vì sao mỗi thành phần

- **Read replica hoặc snapshot.** Trỏ job vào một follower để các lần đọc nặng không tranh chấp với write production trên primary. Một **snapshot** cho góc nhìn ổn định tại một thời điểm nên bản export nhất quán ngay cả khi dữ liệu live vẫn thay đổi.
- **Keyset pagination, không dùng `OFFSET`.** `OFFSET 10000000` bắt DB quét rồi vứt 10M dòng mỗi trang — O(n²) trên cả lần export. Keyset nhớ key cuối cùng và làm `WHERE id > :last ORDER BY id LIMIT 5000`, chạy dọc index với O(1) mỗi trang.
- **Throttle.** Sleep giữa các batch hoặc giới hạn dòng/giây để replica không bị bão hoà và replication lag được giữ trong giới hạn.
- **Stream vào object store.** Ghi mỗi batch vào S3/GCS dưới dạng NDJSON hoặc Parquet; đừng bao giờ nạp toàn bộ result set vào bộ nhớ. Dùng cursor/server-side cursor để driver stream từng dòng.

## Góc nhìn phỏng vấn

Người phỏng vấn kiểm tra xem bạn có bảo vệ hệ thống đang chạy không. Nêu được **replica** là điều tối thiểu; tín hiệu senior là **keyset thay cho OFFSET** (và giải thích được cái bẫy O(n²)) cộng với **backpressure/throttling** và **tính nhất quán** qua snapshot. Bẫy thường gặp: một `SELECT *` duy nhất trong một transaction — nó giữ read view mở hàng giờ, làm phình DB (Postgres vacuum không dọn được các dòng mà snapshot dài vẫn còn thấy), và buffer mọi thứ vào bộ nhớ.

**Đánh đổi:** replica có thể lag, nên bản export phản ánh một thời điểm hơi cũ — thường ổn cho analytics, nhưng không hợp cho đối soát tài chính cần dữ liệu chính xác ngay lúc này. Keyset cần một sort key ổn định, unique và có index; nó vụng về với thứ tự sắp xếp tuỳ ý. Khi bảng cực lớn và bạn nắm được tầng lưu trữ, một công cụ native (`pg_dump`, snapshot export lên S3, `COPY`) thường vượt trội so với tự viết phân trang.

Pipeline export

Vì sao mỗi thành phần

Góc nhìn phỏng vấn

Câu hỏi liên quan