Usa il percorso di bulk-load nativo del database (COPY di Postgres, di MySQL), suddividi il file in chunk caricati in una con index e vincoli , poi ricostruisci gli index una sola volta e fai merge — e rendi l'intero job così che un crash possa riprendere senza duplicare righe.
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Un INSERT ingenuo per riga paga un round-trip, un parse, una scrittura WAL/redo e un aggiornamento dell'index 100 milioni di volte. Anche solo a 1ms ciascuno sono oltre un giorno. I percorsi di bulk vincono ammortizzando tutto questo: COPY fa streaming delle righe in un unico messaggio di protocollo, fa batch del WAL e salta il planning per-statement. Su hardware reale un singolo COPY fa 100k–500k righe/s contro poche migliaia per l'INSERT.
UNLOGGED in Postgres salta del tutto il WAL), mai direttamente nella tabella live. Questo isola il caricamento dai reader e ti permette di validare prima di pubblicare.CREATE INDEX una sola volta — costruire un index in bulk (ordinato) è molto più economico di 100M di aggiornamenti incrementali.COPY. Il throughput scala con I/O e CPU finché non saturi disco o WAL. Adatta N a core/IOPS, non ad "quanti più possibile".INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert) così che ri-eseguire non inserisca mai due volte.L'intervistatore verifica se sai che il percorso di bulk esiste e perché è ordini di grandezza più veloce — non la sintassi di COPY. Buono: "usa COPY". Eccellente: "COPY in una staging table UNLOGGED, index eliminati, chunk paralleli, ricostruzione dopo, upsert per pubblicare, riprendibile per chunk id." La trappola classica è fare loop di INSERT (o un saveAll di un ORM) e stupirsi che richieda ore; la seconda trappola è caricare direttamente nella tabella live bloccando la produzione.
maintenance_work_mem/spazio temp; la costruzione di un index su 100M di righe può fare spill su disco.Una raccolta di domande di colloquio IT con risposte dettagliate — da Junior a Senior.
Dona