Kepiye sampeyan ngekspor dataset gedhe tanpa nyebabake dampak ing sistem langsung?

Question

IT Interview Practice · Accepted Answer

**Maca saka replika utawa snapshot (aja tau saka primary), kaca liwat keyset pagination tinimbang `OFFSET`, throttle kacepetan maca, lan stream asil langsung menyang object storage.** Tujuane yaiku ngekspor 500 yuta row tanpa nyekel lock dawa, nglonjakake CPU primary, utawa njeblug memori.

## Pipeline ekspor

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Kenapa saben bagian

- **Read replica utawa snapshot.** Arahake job menyang follower supaya pamaca abot ora tau saingan karo tulisan produksi ing primary. **Snapshot** menehi tampilan point-in-time sing stabil supaya ekspor konsisten sanajan data langsung terus owah.
- **Keyset pagination, dudu `OFFSET`.** `OFFSET 10000000` ndadekake DB nge-scan lan mbuwang 10 yuta row saben kaca — O(n²) sajrone ekspor. Keyset ngeling-eling key pungkasan lan nglakoni `WHERE id > :last ORDER BY id LIMIT 5000`, sing numpak indeks ing O(1) saben kaca.
- **Throttle.** Turu ing antarane batch utawa wates row/detik supaya replika ora jenuh lan replication lag tetep kaabatasi.
- **Stream menyang object store.** Tulis saben batch menyang S3/GCS minangka NDJSON utawa Parquet; aja tau ngemot sakabehing result set menyang memori. Nganggo cursor/server-side cursor supaya driver nge-stream row.

## Sudut pandang wawancara

Pewawancara mriksa apa sampeyan nglindhungi sistem langsung. Nyebutake **replika** iku syarat dhasar; sinyal senior yaiku **keyset ngungkuli OFFSET** (lan bisa nerangake jebakan O(n²)) ditambah **backpressure/throttling** lan **konsistensi** liwat snapshot. Jebakan umum: siji `SELECT *` ing siji transaksi — iku nyekel tampilan maca kabuka pirang-pirang jam, mbengkakake DB (vacuum Postgres ora bisa ngresiki row sing isih dideleng snapshot dawa), lan nge-buffer kabeh ing memori.

**Trade-off:** replika bisa keri, mula ekspor nyerminake momen sing rada basi — biasane apik kanggo analitik, ora kanggo rekonsiliasi finansial sing butuh data pas-saiki. Keyset butuh sort key sing stabil, unik, lan diindeks; kikuk kanggo urutan sortir sembarang. Nalika tabele gedhe banget lan sampeyan nduweni lapisan panyimpenan, alat asli (`pg_dump`, ekspor snapshot menyang S3, `COPY`) asring ngalahake paging gawean tangan.

Pipeline ekspor

Kenapa saben bagian

Sudut pandang wawancara

Pitakon sing gegandhengan