Kaip eksportuoti didžiulį duomenų rinkinį nepaveikiant gyvos sistemos?

Question

IT Interview Practice · Accepted Answer

**Skaitykite iš replikos ar snapshot (niekada iš primary), puslapiuokite su keyset puslapiavimu vietoj `OFFSET`, ribokite skaitymo tempą ir srautu perduokite rezultatus tiesiai į objektų saugyklą.** Tikslas — eksportuoti 500 mln. eilučių nelaikant ilgų užraktų, nekeliant primary CPU ir nesprogdinant atminties.

## Eksporto konvejeris

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Kodėl kiekviena dalis

- **Read replica ar snapshot.** Nukreipkite darbą į follower, kad sunkūs skaitymai niekada nekonkuruotų su produkcijos įrašymais primary. **Snapshot** suteikia stabilų, point-in-time vaizdą, tad eksportas nuoseklus net gyviems duomenims besikeičiant.
- **Keyset puslapiavimas, ne `OFFSET`.** `OFFSET 10000000` verčia DB skenuoti ir atmesti 10 mln. eilučių kiekvienam puslapiui — O(n²) per eksportą. Keyset įsimena paskutinį raktą ir daro `WHERE id > :last ORDER BY id LIMIT 5000`, kuris rieda indeksu O(1) puslapiui.
- **Throttle.** Miegokite tarp partijų arba ribokite eilučių/s, kad replika neprisisotintų, o replication lag liktų apribotas.
- **Srautas į objektų saugyklą.** Rašykite kiekvieną partiją į S3/GCS kaip NDJSON ar Parquet; niekada nekelkite viso rezultatų rinkinio į atmintį. Naudokite cursor/server-side cursor, kad driveris srautu perduotų eilutes.

## Interviu perspektyva

Interviuotojas tikrina, ar saugote gyvą sistemą. **Replikos** įvardijimas yra minimumas; senior signalas yra **keyset vietoj OFFSET** (ir gebėjimas paaiškinti O(n²) spąstus) plius **backpressure/throttling** ir **konsistencija** per snapshot. Dažni spąstai: vienas `SELECT *` vienoje transakcijoje — jis laiko skaitymo vaizdą atvirą valandas, išpučia DB (Postgres vacuum negali valyti eilučių, kurias ilgas snapshot vis dar mato) ir buferizuoja viską atmintyje.

**Kompromisai:** replika gali atsilikti, tad eksportas atspindi šiek tiek pasenusią akimirką — dažniausiai tinka analitikai, ne finansiniam suderinimui, reikalaujančiam tikslių dabar duomenų. Keyset reikia stabilaus, unikalaus, indeksuoto rūšiavimo rakto; jis nepatogus savavališkoms rūšiavimo tvarkoms. Kai lentelė milžiniška ir jūs valdote saugyklos sluoksnį, natyvus įrankis (`pg_dump`, snapshot eksportas į S3, `COPY`) dažnai pranoksta ranka darytą puslapiavimą.

Eksporto konvejeris

Kodėl kiekviena dalis

Interviu perspektyva

Susiję klausimai