Használd az adatbázis natív bulk-load útját (Postgres COPY, MySQL LOAD DATA), oszd fel a fájlt darabokra, töltve be egy letiltott indexekkel és megszorításokkal, majd építsd újra egyszer az indexeket és merge-elj — és tedd az egész jobot , hogy egy összeomlás folytatható legyen sorok duplikálása nélkül.
100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Egy naiv INSERT soronként egy körutat, egy parse-ot, egy WAL/redo írást és egy indexfrissítést fizet 100 milliószor. Akár 1ms-enként is egy napnál több. A bulk utak azzal nyernek, hogy mindezt amortizálják: a COPY egy protokoll üzenetben streameli a sorokat, batcheli a WAL-t, és kihagyja a statementenkénti tervezést. Valódi hardveren egy COPY 100k–500k sort/mp-et csinál szemben az INSERT néhány ezrével.
UNLOGGED teljesen kihagyja a WAL-t), sose közvetlenül az élő táblába. Ez elszigeteli a betöltést az olvasóktól és lehetővé teszi a validációt a publikálás előtt.CREATE INDEX egyszer — egy index bulk (rendezett) építése sokkal olcsóbb, mint 100M inkrementális frissítés.COPY streamet. A throughput az I/O-val és CPU-val skálázódik, amíg telíted a lemezt vagy a WAL-t. Illeszd N-t a magokhoz/IOPS-hez, ne a "minél többhöz".INSERT ... ON CONFLICT DO NOTHING/UPDATE-tel (upsert), hogy az újrafuttatás sosem inserteljen duplán.Az interjúztató azt ellenőrzi, tudod-e, hogy a bulk út létezik és miért nagyságrendekkel gyorsabb — nem a COPY szintaxist. Jó: "használj COPY-t". Kiváló: "COPY egy UNLOGGED staging táblába, indexek eldobva, párhuzamos chunkok, utólagos újraépítés, upsert a publikáláshoz, chunk id szerint folytatható." A klasszikus csapda INSERT-eket ciklizálni (vagy egy ORM saveAll-t) és meglepődni, hogy órákba telik; a második csapda közvetlenül az élő táblába tölteni és blokkolni a prodot.
maintenance_work_mem/temp helyet igényel; egy 100M-soros index építés lemezre spillelhet.IT interjúkérdések gyűjteménye részletes válaszokkal — Juniortól Seniorig.
Adományozás