Conas a easpórtálann tú tacar sonraí ollmhór gan tionchar ar an gcóras beo?

Question

IT Interview Practice · Accepted Answer

**Léigh ó mhacasamhla nó seat (ná an príomhcheann riamh), leathanaigh trí leathanú eochairthacair in ionad `OFFSET`, scóig an ráta léimh, agus sruthaigh torthaí díreach chuig stóras réad.** Is é an sprioc 500M rón a easpórtáil gan glais fhada a choinneáil, CPU an phríomhchinn a ardú, nó cuimhne a phléascadh.

## Píblíne easpórtála

```text
  Primary DB ──async replication──▶ Read replica / snapshot
                                          │  (isolated from live traffic)
                                          ▼
                                   Export worker
                              keyset page: WHERE id > :last
                                          │  throttle (sleep / rate limit)
                                          ▼
                                   Stream (batches)
                                          │
                                          ▼
                                   S3 / GCS  (NDJSON / Parquet)
```

## Cén fáth gach píosa

- **Macasamhla léimh nó seat.** Dírigh an jab ar leantóir ionas nach n-iomaíonn léamha troma le scríbhinní táirgthe ar an bpríomhcheann riamh. Tugann **seat** radharc cobhsaí pointe-in-am ionas go bhfuil an easpórtáil comhsheasmhach fiú agus sonraí beo ag athrú fós.
- **Leathanú eochairthacair, ní `OFFSET`.** Déanann `OFFSET 10000000` an DB a scanadh agus 10M rón a chaitheamh amach gach leathanach — O(n²) thar an easpórtáil. Cuimhníonn eochairthacar an eochair dheireanach agus déanann sé `WHERE id > :last ORDER BY id LIMIT 5000`, a mharcaíonn an t-innéacs in O(1) in aghaidh gach leathanaigh.
- **Scóig.** Codlaigh idir baisceanna nó cuir uasteorainn ar rónna/soicind ionas nach bhfuil an macasamhla sáithithe agus go bhfanann moill mhacasamhlaithe teorannaithe.
- **Sruthaigh chuig stór réad.** Scríobh gach baisce chuig S3/GCS mar NDJSON nó Parquet; ná lódáil an tacar torthaí iomlán isteach i gcuimhne riamh. Úsáid cúrsóir/cúrsóir ar thaobh an fhreastalaí ionas go sruthaíonn an tiománaí rónna.

## Dearcadh agallaimh

Seiceálann an t-agallóir an gcosnaíonn tú an córas beo. Is bunlíne é **macasamhla** a ainmniú; is é an comhartha sinsearach **eochairthacar thar OFFSET** (agus a bheith in ann an gaiste O(n²) a mhíniú) móide **cúl-bhrú/scóigeadh** agus **comhsheasmhacht** trí sheat. Gaiste coitianta: aon `SELECT *` amháin in aon idirbheart amháin — coinníonn sé radharc léimh oscailte ar feadh uaireanta, boilscíonn sé an DB (ní féidir le vacuum Postgres rónna a fheiceann an seat fada fós a ghlanadh), agus maolánaíonn sé gach rud i gcuimhne.

**Idirbhabhtálacha:** féadfaidh macasamhla dul ar gcúl, mar sin léiríonn an easpórtáil nóiméad beagán stálaithe — breá le haghaidh anailísíochta de ghnáth, ní le haghaidh réitigh airgeadais a theastaíonn sonraí cruinne-anois. Teastaíonn eochair shórtála chobhsaí, uathúil, innéacsaithe ó eochairthacar; tá sé áibhéalach d'orduithe sórtála treallacha. Nuair atá an tábla ollmhór agus is leatsa an tsraith stórais, is minic a bhuann uirlis dhúchasach (`pg_dump`, easpórtáil seata chuig S3, `COPY`) leathanú lámhdhéanta.

Píblíne easpórtála

Cén fáth gach píosa

Dearcadh agallaimh

Ceisteanna gaolmhara