Folosește calea nativă de bulk-load a bazei de date (Postgres COPY, MySQL ), împarte fișierul în chunk-uri încărcate într-o cu indecși și constrângeri , apoi reconstruiește indecșii o singură dată și fă merge — și fă întregul job , astfel încât un crash să poată relua fără a duplica rânduri.
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Un INSERT naiv per rând plătește un round-trip, un parse, o scriere WAL/redo și un update de index de 100 de milioane de ori. La chiar și 1ms fiecare, asta înseamnă peste o zi. Căile de bulk câștigă amortizând toate acestea: COPY transmite rânduri într-un singur mesaj de protocol, face batch la WAL și sare peste planificarea per instrucțiune. Pe hardware real, un singur COPY face 100k–500k rânduri/s față de câteva mii pentru INSERT.
UNLOGGED în Postgres sare complet peste WAL), niciodată direct în tabela live. Asta izolează încărcarea de cititori și îți permite să validezi înainte de a publica.CREATE INDEX o singură dată — construirea unui index în bulk (sortat) este mult mai ieftină decât 100M de actualizări incrementale.COPY. Throughput-ul scalează cu I/O și CPU până când saturezi discul sau WAL-ul. Potrivește N cu nucleele/IOPS, nu "cât mai multe posibil".INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert), astfel încât re-rularea să nu insereze niciodată de două ori.Intervievatorul verifică dacă știi că calea de bulk există și de ce este cu ordine de mărime mai rapidă — nu sintaxa COPY. Bine: "folosește COPY". Excelent: "COPY într-o tabelă de staging UNLOGGED, indecși eliminați, chunk-uri paralele, reconstruiește după, upsert pentru publicare, reluabil după chunk id." Capcana clasică este bucla de INSERT-uri (sau un saveAll de ORM) și surpriza că durează ore; a doua capcană este încărcarea direct în tabela live și blocarea producției.
maintenance_work_mem/spațiu temp; construirea unui index de 100M de rânduri poate ajunge pe disc (spill).O bibliotecă de întrebări de interviu IT cu răspunsuri detaliate — de la Junior la Senior.
Donează