Uporabite domačo pot množičnega nalaganja (native bulk-load) podatkovne baze (Postgres , MySQL ), razdelite datoteko v kose, ki se naložijo v z indeksi in omejitvami (constraints), nato enkrat ponovno zgradite indekse in združite — in naredite celotno opravilo , tako da lahko sesutje nadaljuje brez podvajanja vrstic.
COPYLOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Naiven INSERT na vrstico plača krožni obhod (round-trip), razčlembo (parse), WAL/redo zapis in posodobitev indeksa 100 milijonov krat. Že pri 1 ms vsak je to več kot dan. Množične poti zmagajo z amortizacijo vsega tega: COPY pretaka vrstice v enem protokolnem sporočilu, paketira WAL in preskoči načrtovanje na stavek. Na pravi strojni opremi en COPY naredi 100k–500k vrstic/s proti nekaj tisoč za INSERT.
UNLOGGED v Postgresu povsem preskoči WAL), nikoli naravnost v živo tabelo. To izolira nalaganje od bralcev in vam omogoča validacijo pred objavo.CREATE INDEX enkrat — gradnja indeksa v masi (razvrščeno) je precej cenejša od 100M inkrementalnih posodobitev.COPY tokov. Throughput skalira z I/O in CPU, dokler ne nasitite diska ali WAL. Uskladite N z jedri/IOPS, ne "toliko, kolikor je mogoče".INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert), tako da ponovni zagon nikoli ne vstavi dvakrat.Izpraševalec preverja, ali veste, da množična pot obstaja in zakaj je za velikostne rede hitrejša — ne sintakse COPY. Dobro: "uporabi COPY". Odlično: "COPY v UNLOGGED staging tabelo, indeksi odstranjeni, vzporedni kosi, ponovna gradnja po tem, upsert za objavo, nadaljljivo po id-ju kosa." Klasična past je zanka INSERT-ov (ali ORM saveAll) in presenečenje, da traja ure; druga past je nalaganje neposredno v živo tabelo in blokiranje produkcije.
maintenance_work_mem/začasni prostor; gradnja indeksa na 100M vrsticah se lahko prelije (spill) na disk.Knjižnica IT vprašanj za razgovore s podrobnimi odgovori — od začetnika do izkušenega.
Doniraj