Si eksportoni një dataset të madh pa ndikuar sistemin live?

Question

IT Interview Practice · Accepted Answer

**Lexoni nga një replica ose snapshot (kurrë primary), faqoni me keyset pagination në vend të `OFFSET`, throttle-oni ritmin e leximit, dhe bëni stream të rezultateve drejt e në object storage.** Qëllimi është të eksportoni 500M rreshta pa mbajtur locks të gjata, pa spike të CPU-së së primary, ose pa fryrë memorien.

## Export pipeline

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Pse secila pjesë

- **Read replica ose snapshot.** Drejtojeni job-in te një follower që leximet e rënda kurrë të mos konkurrojnë me shkrimet e production në primary. Një **snapshot** jep një pamje të qëndrueshme, point-in-time që eksporti të jetë konsistent edhe ndërsa të dhënat live vazhdojnë të ndryshojnë.
- **Keyset pagination, jo `OFFSET`.** `OFFSET 10000000` bën DB-në të skanojë dhe hedhë 10M rreshta çdo faqe — O(n²) mbi eksportin. Keyset mban mend key-in e fundit dhe bën `WHERE id > :last ORDER BY id LIMIT 5000`, që hip mbi index-in në O(1) për faqe.
- **Throttle.** Bëni sleep mes batch-eve ose kufizoni rreshta/sek që replica të mos ngopet dhe replication lag të mbetet i kufizuar.
- **Stream te object store.** Shkruani çdo batch te S3/GCS si NDJSON ose Parquet; kurrë mos ngarkoni gjithë result set-in në memorie. Përdorni një cursor/server-side cursor që driver-i të bëjë stream të rreshtave.

## Këndvështrimi i intervistës

Intervistuesi kontrollon nëse mbroni sistemin live. Emërtimi i një **replica** është minimumi; sinjali senior është **keyset mbi OFFSET** (dhe të mund të shpjegosh kurthin O(n²)) plus **backpressure/throttling** dhe **konsistencë** përmes një snapshot. Një kurth i zakonshëm: një `SELECT *` i vetëm në një transaksion — mban një read view të hapur për orë, fryn DB-në (Postgres vacuum nuk mund të pastrojë rreshtat që snapshot-i i gjatë ende i sheh), dhe buffer-on gjithçka në memorie.

**Kompromiset:** një replica mund të vonojë, kështu që eksporti reflekton një moment paksa të vjetruar — zakonisht në rregull për analitikë, jo për rakordim financiar që kërkon të dhëna të sakta-tani. Keyset ka nevojë për një sort key të qëndrueshëm, unik, të indeksuar; është i vështirë për renditje arbitrare. Kur tabela është e madhe dhe ju zotëroni storage layer-in, një vegël native (`pg_dump`, snapshot export te S3, `COPY`) shpesh mund paging-un e bërë me dorë.

Export pipeline

Pse secila pjesë

Këndvështrimi i intervistës

Pyetje të ngjashme