Veritabanının native bulk-load path'ini kullanın (Postgres COPY, MySQL ), dosyayı index'ler ve constraint'ler olan bir 'a yüklenen chunk'lara bölün, sonra index'leri bir kez yeniden inşa edip merge edin — ve tüm işi yapın, böylece bir çökme satırları duplicate etmeden devam edebilir.
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Naif bir satır başına INSERT, bir round-trip, bir parse, bir WAL/redo yazması ve bir index güncellemesi öder — 100 milyon kez. Her biri 1ms bile olsa bu bir günü aşar. Bulk path'ler tüm bunları amortize ederek kazanır: COPY satırları tek bir protokol mesajında stream'ler, WAL'ı batch'ler ve statement başına planlamayı atlar. Gerçek donanımda tek bir COPY, INSERT için birkaç bin'e karşı 100k–500k satır/sn yapar.
UNLOGGED WAL'ı tamamen atlar). Bu, yüklemeyi okuyuculardan izole eder ve yayınlamadan önce doğrulamanıza izin verir.CREATE INDEX yapın — bir index'i bulk (sıralı) inşa etmek, 100M artımlı güncellemeden çok daha ucuzdur.COPY stream'i çalıştırın. Throughput, diski veya WAL'ı doyurana kadar I/O ve CPU ile ölçeklenir. N'yi "olabildiğince fazla" değil, çekirdek/IOPS'a eşleyin.INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert) ile yayınlayın, böylece yeniden çalıştırma asla çift insert yapmaz.Mülakatı yapan kişi, bulk path'in var olduğunu ve neden kat kat daha hızlı olduğunu bilip bilmediğinizi kontrol eder — COPY söz dizimini değil. İyi: "COPY kullan". Harika: "COPY ile bir UNLOGGED staging table'a, index'ler drop edilmiş, paralel chunk'lar, sonra yeniden inşa, yayınlamak için upsert, chunk id ile resumable." Klasik tuzak, INSERT'leri döngüye almak (veya bir ORM saveAll) ve saatler sürdüğüne şaşırmaktır; ikinci tuzak, doğrudan canlı tabloya yüklemek ve production'ı bloke etmektir.
maintenance_work_mem/temp alan gerektirir; 100M satırlık bir index inşası diske spill olabilir.Junior'dan Senior'a detaylı cevaplarla bir BT mülakat soruları kütüphanesi.
Bağış Yap