Nutze den nativen Bulk-Load-Pfad der Datenbank (Postgres COPY, MySQL ), splitte die Datei in Chunks, die in eine mit Indizes und Constraints geladen werden, baue dann die Indizes einmal neu und merge - und mache den ganzen Job , damit ein Crash ohne doppelte Rows fortsetzen kann.
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Ein naives INSERT pro Row zahlt einen Round-Trip, ein Parse, einen WAL-/Redo-Write und ein Index-Update 100 Millionen Mal. Bei selbst 1ms je ergibt das über einen Tag. Bulk-Pfade gewinnen, indem sie all das amortisieren: COPY streamt Rows in einer Protokollnachricht, batcht WAL und überspringt Per-Statement-Planning. Auf echter Hardware macht ein einzelnes COPY 100k-500k Rows/s gegenüber ein paar Tausend bei INSERT.
UNLOGGED in Postgres überspringt WAL vollständig), nie direkt in die Live-Tabelle. Das isoliert den Load von Readern und lässt dich vor der Veröffentlichung validieren.CREATE INDEX einmal - einen Index im Bulk zu bauen (sortiert) ist weit günstiger als 100M inkrementelle Updates.COPY-Streams. Der Throughput skaliert mit I/O und CPU, bis du Platte oder WAL sättigst. Passe N an Cores/IOPS an, nicht "so viele wie möglich".INSERT ... ON CONFLICT DO NOTHING/UPDATE (Upsert), sodass ein erneuter Lauf nie doppelt einfügt.Der Interviewer prüft, ob du weißt, dass der Bulk-Pfad existiert und warum er um Größenordnungen schneller ist - nicht die COPY-Syntax. Gut: "COPY verwenden". Hervorragend: "COPY in eine UNLOGGED Staging-Tabelle, Indizes gedroppt, parallele Chunks, danach Neuaufbau, Upsert zur Veröffentlichung, resumable per Chunk-ID." Die klassische Falle ist eine INSERT-Schleife (oder ein ORM-saveAll) und die Überraschung, dass es Stunden dauert; die zweite Falle ist, direkt in die Live-Tabelle zu laden und Produktion zu blockieren.
maintenance_work_mem/Temp-Space; ein 100M-Row-Index-Build kann auf die Platte spillen.Eine Sammlung von IT-Interviewfragen mit ausführlichen Antworten — vom Junior bis zum Senior.
Spenden