Kako izvesti ogroman skup podataka bez utjecaja na živi sustav?

Question

IT Interview Practice · Accepted Answer

**Čitajte iz replike ili snapshota (nikad primaryja), straničite keyset paginacijom umjesto `OFFSET`, throttlajte brzinu čitanja i streamajte rezultate izravno u object storage.** Cilj je izvesti 500 milijuna redaka bez držanja dugih lockova, skoka CPU-a primaryja ili prsnuća memorije.

## Export pipeline

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Zašto svaki dio

- **Read replika ili snapshot.** Usmjerite posao na follower tako da teška čitanja nikad ne konkuriraju produkcijskim upisima na primaryju. **Snapshot** daje stabilan, point-in-time pogled tako da je izvoz konzistentan čak i dok se živi podaci mijenjaju.
- **Keyset paginacija, ne `OFFSET`.** `OFFSET 10000000` tjera bazu da skenira i odbaci 10 milijuna redaka svake stranice — O(n²) preko izvoza. Keyset pamti zadnji ključ i radi `WHERE id > :last ORDER BY id LIMIT 5000`, što jaše indeks u O(1) po stranici.
- **Throttle.** Spavajte između grupa ili ograničite retke/s tako da replika nije zasićena i replication lag ostane ograničen.
- **Stream u object store.** Zapišite svaku grupu u S3/GCS kao NDJSON ili Parquet; nikad ne učitavajte cijeli skup rezultata u memoriju. Koristite cursor/server-side cursor tako da driver streama retke.

## Perspektiva intervjua

Ispitivač provjerava štitite li živi sustav. Imenovanje **replike** je osnovno; senior signal je **keyset umjesto OFFSET** (i sposobnost objasniti O(n²) zamku) plus **backpressure/throttling** i **konzistentnost** putem snapshota. Uobičajena zamka: jedan `SELECT *` u jednoj transakciji — drži read view otvoren satima, napuhuje bazu (Postgres vacuum ne može očistiti retke koje dugi snapshot još vidi) i bufferira sve u memoriju.

**Kompromisi:** replika može zaostajati, pa izvoz odražava malo zastarjeli trenutak — obično u redu za analitiku, ne za financijsko usklađivanje koje treba točno-sada podatke. Keyset treba stabilan, jedinstven, indeksiran sort key; nezgodan je za proizvoljne redoslijede sortiranja. Kad je tablica ogromna a vi posjedujete sloj pohrane, nativni alat (`pg_dump`, snapshot export u S3, `COPY`) često pobjeđuje ručno pisano straničenje.

Export pipeline

Zašto svaki dio

Perspektiva intervjua

Povezana pitanja