Úsáid conair ollualaithe dhúchasach an bhunachair sonraí (COPY Postgres, MySQL), roinn an comhad ina smután arna lódáil isteach i le hinnéacsanna agus srianta , ansin atóg innéacsanna uair amháin agus cumaisc — agus déan an jab iomlán ionas gur féidir le tuairteáil atosú gan rónna a dhúbailt.
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Íocann INSERT naive in aghaidh gach róin turas fillte, parsáil, scríbhinn WAL/redo agus nuashonrú innéacs 100 milliún uair. Ag fiú 1ms an ceann is breis é sin ar lá. Buann conairí olltacha trí gach ceann díobh seo a amúchadh: sruthaíonn COPY rónna in aon teachtaireacht phrótacail amháin, baisceann sé WAL, agus scipeann sé pleanáil in aghaidh gach ráitis. Ar chrua-earraí fíor déanann aon COPY amháin 100k–500k rón/s in aghaidh cúpla míle do INSERT.
UNLOGGED in Postgres scipeann WAL go hiomlán), ná díreach isteach sa tábla beo riamh. Scarann sé seo an lódáil ó léitheoirí agus ligeann sé duit fíorú roimh fhoilsiú.CREATE INDEX uair amháin — tá innéacs a thógáil in olltacht (sórtáilte) i bhfad níos saoire ná 100M nuashonrú incriminteach.COPY. Scálálann throughput le I/O agus CPU go dtí go sáithíonn tú diosca nó WAL. Meaitseáil N le cóir/IOPS, ní "an oiread agus is féidir".INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert) ionas nach ndéanann athrith ionsá dúbailte riamh.Tá an t-agallóir ag seiceáil an bhfuil a fhios agat go bhfuil an chonair olltacha ann agus cén fáth a bhfuil sí ord méide níos tapúla — ní comhréir COPY. Maith: "úsáid COPY". Iontach: "COPY isteach i dtábla stáitse UNLOGGED, innéacsanna scaoilte, smután comhthreomhara, atóg ina dhiaidh sin, upsert chun foilsiú, in-atosaithe de réir aitheantas smútáin." Is é an gaiste clasaiceach INSERTanna a lúbadh (nó saveAll ORM) agus a bheith iontas go dtógann sé uaireanta; is é an dara gaiste lódáil díreach isteach sa tábla beo agus táirgeadh a bhacadh.
maintenance_work_mem/spás sealadach ó atógáil innéacsanna; is féidir le tógáil innéacs 100M-rón dul thar diosca.Leabharlann de cheisteanna agallaimh TF le freagraí mionsonraithe — ó Shóisearach go Sinsearach.
Síntiús