Guna laluan bulk-load asli database (Postgres COPY, MySQL ), pecahkan fail menjadi ketulan (chunk) yang dimuat ke dalam dengan index dan constraint , kemudian bina semula index sekali dan cantum — dan jadikan keseluruhan kerja supaya sebuah crash boleh menyambung semula tanpa menduplikasi baris.
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Sebuah INSERT naif setiap baris membayar satu round-trip, satu parse, satu penulisan WAL/redo dan satu kemas kini index 100 juta kali. Pada walaupun 1ms setiap satu itu melebihi sehari. Laluan bulk menang dengan meng-amortize semua ini: COPY mengalirkan baris dalam satu mesej protokol, mem-batch WAL, dan melangkau perancangan per-statement. Pada perkakasan sebenar satu COPY melakukan 100k–500k baris/s berbanding beberapa ribu untuk INSERT.
UNLOGGED dalam Postgres melangkau WAL sepenuhnya), tidak pernah terus ke jadual langsung. Ini mengasingkan muatan daripada pembaca dan membenarkan anda mengesahkan sebelum menerbitkan.CREATE INDEX sekali — membina index secara pukal (tersusun) jauh lebih murah daripada 100J kemas kini bertokok.COPY. Throughput menskala dengan I/O dan CPU sehingga anda menepu disk atau WAL. Sepadankan N dengan core/IOPS, bukan "sebanyak mungkin".INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert) supaya menjalankan semula tidak pernah menyisip dua kali.Penemu duga menyemak sama ada anda tahu laluan bulk wujud dan mengapa ia beberapa magnitud lebih pantas — bukan sintaks COPY. Baik: "guna COPY". Hebat: "COPY ke dalam staging table UNLOGGED, index digugurkan, chunk selari, bina semula selepas itu, upsert untuk menerbitkan, boleh disambung mengikut chunk id." Perangkap klasik ialah menggelung INSERT (atau ORM saveAll) dan terkejut ia mengambil masa berjam-jam; perangkap kedua ialah memuat terus ke jadual langsung dan menyekat production.
maintenance_work_mem/ruang temp; sebuah binaan index 100J baris boleh tumpah ke disk.Pustaka soalan temu duga IT dengan jawapan terperinci — daripada Junior hingga Senior.
Derma