Bagaimana anda mengeksport dataset besar tanpa memberi kesan pada sistem langsung?

Question

IT Interview Practice · Accepted Answer

**Baca dari sebuah replica atau snapshot (tidak pernah primary), halaman dengan keyset pagination dan bukannya `OFFSET`, throttle kadar bacaan, dan alirkan hasil terus ke object storage.** Matlamatnya ialah mengeksport 500J baris tanpa menahan lock lama, melonjakkan CPU primary, atau meletupkan memori.

## Pipeline eksport

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Mengapa setiap bahagian

- **Read replica atau snapshot.** Halakan kerja ke sebuah follower supaya bacaan berat tidak pernah bersaing dengan penulisan production pada primary. Sebuah **snapshot** memberi pandangan stabil, point-in-time supaya eksport konsisten walaupun data langsung terus berubah.
- **Keyset pagination, bukan `OFFSET`.** `OFFSET 10000000` menyebabkan DB mengimbas dan membuang 10J baris setiap halaman — O(n²) sepanjang eksport. Keyset mengingati key terakhir dan melakukan `WHERE id > :last ORDER BY id LIMIT 5000`, yang menunggang index dalam O(1) setiap halaman.
- **Throttle.** Tidur antara batch atau hadkan baris/saat supaya replica tidak tepu dan replication lag kekal terbatas.
- **Alirkan ke object store.** Tulis setiap batch ke S3/GCS sebagai NDJSON atau Parquet; jangan sekali-kali muatkan seluruh set hasil ke dalam memori. Guna cursor/server-side cursor supaya driver mengalirkan baris.

## Perspektif temu duga

Penemu duga menyemak sama ada anda melindungi sistem langsung. Menyebut sebuah **replica** ialah asas; isyarat senior ialah **keyset ke atas OFFSET** (dan mampu menerangkan perangkap O(n²)) ditambah **backpressure/throttling** dan **konsistensi** melalui sebuah snapshot. Perangkap biasa: satu `SELECT *` tunggal dalam satu transaction — ia menahan pandangan bacaan terbuka selama berjam-jam, membengkakkan DB (vacuum Postgres tidak boleh membersihkan baris yang masih dilihat oleh snapshot lama itu), dan menampan segalanya dalam memori.

**Pertukaran:** sebuah replica mungkin ketinggalan, jadi eksport mencerminkan detik yang sedikit basi — biasanya baik untuk analitik, bukan untuk rekonsiliasi kewangan yang memerlukan data tepat-sekarang. Keyset memerlukan sort key yang stabil, unik, dan terindeks; ia janggal untuk susunan sewenang-wenangnya. Apabila jadual amat besar dan anda memiliki lapisan storan, sebuah alat asli (`pg_dump`, eksport snapshot ke S3, `COPY`) selalunya mengalahkan paging buatan tangan.

Pipeline eksport

Mengapa setiap bahagian

Perspektif temu duga

Soalan berkaitan