Kako izvozite ogromen nabor podatkov brez vpliva na živi sistem?

Question

IT Interview Practice · Accepted Answer

**Berite iz replike ali posnetka (nikoli iz primarne), listajte s keyset paginiranjem namesto `OFFSET`, throttlajte hitrost branja in pretakajte rezultate naravnost v objektno shrambo.** Cilj je izvoziti 500M vrstic brez dolgih lockov, sunkov CPU na primarni ali razstrelitve pomnilnika.

## Izvozni cevovod

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Zakaj vsak del

- **Read replika ali posnetek.** Usmerite opravilo na sledilca (follower), tako da težka branja nikoli ne tekmujejo s produkcijskimi zapisi na primarni. **Posnetek** da stabilen pogled v točki v času (point-in-time), tako da je izvoz konsistenten tudi medtem ko se živi podatki spreminjajo.
- **Keyset paginiranje, ne `OFFSET`.** `OFFSET 10000000` naredi, da DB skenira in zavrže 10M vrstic na vsako stran — O(n²) čez izvoz. Keyset si zapomni zadnji ključ in naredi `WHERE id > :last ORDER BY id LIMIT 5000`, kar jaha indeks v O(1) na stran.
- **Throttle.** Spite med paketi ali omejite vrstice/s, tako da replika ni nasičena in zamik replikacije ostane omejen.
- **Pretakaj v objektno shrambo.** Zapišite vsak paket v S3/GCS kot NDJSON ali Parquet; nikoli ne naložite celotnega nabora rezultatov v pomnilnik. Uporabite kurzor/strežniški kurzor (server-side cursor), tako da gonilnik pretaka vrstice.

## Pogled s stališča razgovora

Izpraševalec preverja, ali ščitite živi sistem. Poimenovanje **replike** je osnovni vložek (table stakes); signal seniornosti je **keyset nad OFFSET** (in zmožnost pojasniti O(n²) past) plus **protipritisk/throttling** in **konsistentnost** prek posnetka. Pogosta past: en sam `SELECT *` v eni transakciji — drži bralni pogled odprt ure, napihne DB (Postgres vacuum ne more počistiti vrstic, ki jih dolgi posnetek še vidi) in medpomni vse v pomnilnik.

**Kompromisi:** replika lahko zaostaja, zato izvoz odraža nekoliko zastarel trenutek — običajno v redu za analitiko, ne za finančno usklajevanje, ki potrebuje podatke točno zdaj. Keyset potrebuje stabilen, unikaten, indeksiran razvrščevalni ključ; nerodno je za poljubne vrstne rede razvrščanja. Ko je tabela ogromna in imate v lasti shrambni sloj, domače orodje (`pg_dump`, izvoz posnetka v S3, `COPY`) pogosto premaga ročno spisano listanje.

Izvozni cevovod

Zakaj vsak del

Pogled s stališča razgovora

Povezana vprašanja