database का native bulk-load path (Postgres COPY, MySQL ) इस्तेमाल करें, file को chunks में split करके एक में load करें जिसमें indexes और constraints हों, फिर indexes एक बार rebuild करें और merge करें — और पूरे job को बनाएं ताकि एक crash बिना rows duplicate किए resume कर सके।
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
एक naive INSERT प्रति row एक round-trip, एक parse, एक WAL/redo write और एक index update 10 करोड़ बार चुकाता है। हर एक पर 1ms भी हो तो यह एक दिन से अधिक है। Bulk paths यह सब amortise करके जीतते हैं: COPY rows को एक protocol message में stream करता है, WAL को batch करता है, और per-statement planning skip करता है। असली hardware पर एक अकेला COPY 100k–500k rows/s करता है बनाम INSERT के लिए कुछ हज़ार।
UNLOGGED WAL पूरी तरह skip करता है), कभी सीधे live table में नहीं। यह load को readers से isolate करता है और आपको publish करने से पहले validate करने देता है।CREATE INDEX करें — bulk में एक index बनाना (sorted) 10 करोड़ incremental updates से कहीं सस्ता है।COPY streams चलाएं। Throughput I/O और CPU के साथ scale होता है जब तक आप disk या WAL saturate न करें। N को cores/IOPS से match करें, "जितने संभव" से नहीं।INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert) से publish करें ताकि फिर से चलाना कभी double-insert न करे।Interviewer परख रहा है कि क्या आप जानते हैं bulk path मौजूद है और क्यों यह कई गुना तेज़ है — COPY syntax नहीं। अच्छा: "COPY इस्तेमाल करें"। बढ़िया: "एक UNLOGGED staging table में COPY, indexes dropped, parallel chunks, बाद में rebuild, publish के लिए upsert, chunk id से resumable।" क्लासिक जाल है INSERTs को loop करना (या एक ORM saveAll) और हैरान होना कि इसमें घंटे लगते हैं; दूसरा जाल है सीधे live table में load करके production को block करना।
maintenance_work_mem/temp space चाहिए; एक 10 करोड़-row index build disk पर spill कर सकता है।विस्तृत उत्तरों के साथ IT इंटरव्यू प्रश्नों की एक लाइब्रेरी — जूनियर से सीनियर तक।
दान करें