Kif tesporta dataset enormi mingħajr ma tolqot is-sistema live?

Question

IT Interview Practice · Accepted Answer

**Aqra minn replica jew snapshot (qatt il-primary), agħmel paġni bil-keyset pagination minflok `OFFSET`, ikkontrolla r-rata tal-qari, u agħmel stream tar-riżultati direttament lejn object storage.** L-għan huwa li tesporta 500M row mingħajr ma żżomm locks twal, tagħmel spike fis-CPU tal-primary, jew tisplodi l-memorja.

## Pipeline ta' export

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Għaliex kull biċċa

- **Read replica jew snapshot.** Ipponta l-job lejn follower biex reads tqal qatt ma jikkompetu ma' writes tal-produzzjoni fuq il-primary. **Snapshot** jagħti view stabbli, point-in-time biex l-export ikun konsistenti anke waqt li d-data live tibqa' tinbidel.
- **Keyset pagination, mhux `OFFSET`.** `OFFSET 10000000` iġiegħel id-DB jagħmel scan u jarmi 10M row kull paġna — O(n²) fuq l-export. Keyset jiftakar l-aħħar key u jagħmel `WHERE id > :last ORDER BY id LIMIT 5000`, li jimxi fuq l-index f'O(1) għal kull paġna.
- **Throttle.** Orqod bejn il-batches jew illimita r-rows/sek biex ir-replica ma jissaturax u r-replication lag jibqa' limitat.
- **Stream lejn object store.** Ikteb kull batch lejn S3/GCS bħala NDJSON jew Parquet; qatt ma tgħabbi r-result set kollu fil-memorja. Uża cursor/server-side cursor biex id-driver jagħmel stream tar-rows.

## Perspettiva tal-intervista

L-intervistatur jiċċekkja jekk tipproteġix is-sistema live. Li ssemmi **replica** huwa mistenni; is-sinjal senior huwa **keyset over OFFSET** (u li tkun tista' tispjega n-nassa O(n²)) flimkien ma' **backpressure/throttling** u **konsistenza** permezz ta' snapshot. Nassa komuni: `SELECT *` wieħed f'transaction waħda — iżomm read view miftuħ għal sigħat, jonfoħ id-DB (Postgres vacuum ma jistax inaddaf rows li s-snapshot twil għadu jara), u jagħmel buffer ta' kollox fil-memorja.

**Trade-offs:** replica jista' jaqa' lura, allura l-export jirrifletti mument kemxejn staljat — normalment tajjeb għal analytics, mhux għal rikonċiljazzjoni finanzjarja li teħtieġ data eżatta-issa. Keyset jeħtieġ sort key stabbli, uniku, u indexjat; huwa skomdu għal ordnijiet ta' sort arbitrarji. Meta t-table huwa enormi u int is-sid tal-istorage layer, għodda nattiva (`pg_dump`, snapshot export lejn S3, `COPY`) spiss tirbaħ paging maħdum bl-idejn.

Pipeline ta' export

Għaliex kull biċċa

Perspettiva tal-intervista

Mistoqsijiet relatati