Utilisez le chemin de bulk-load natif de la base de données (Postgres COPY, MySQL ), découpez le fichier en morceaux chargés dans une avec les index et contraintes , puis reconstruisez les index une fois et fusionnez — et rendez tout le job pour qu'un crash puisse reprendre sans dupliquer de lignes.
LOAD DATA100M-row CSV
│ split by byte offset
▼
[chunk 1] [chunk 2] ... [chunk N] N parallel workers
│ │ │
└──── COPY / LOAD DATA (no indexes) ────▶ staging_table (UNLOGGED)
│
rebuild indexes + validate
│
INSERT ... SELECT (upsert) into target
Un INSERT naïf par ligne paie un aller-retour, un parse, une écriture WAL/redo et une mise à jour d'index 100 millions de fois. Ne serait-ce qu'à 1ms chacun, cela fait plus d'une journée. Les chemins bulk gagnent en amortissant tout cela : COPY streame les lignes en un seul message de protocole, batche le WAL, et saute le planning par instruction. Sur du vrai matériel, un seul COPY fait 100k–500k lignes/s contre quelques milliers pour INSERT.
UNLOGGED dans Postgres saute entièrement le WAL), jamais directement dans la table live. Cela isole le chargement des lecteurs et permet de valider avant de publier.CREATE INDEX une fois — construire un index en bulk (trié) est bien moins cher que 100M de mises à jour incrémentales.COPY. Le throughput scale avec l'I/O et le CPU jusqu'à saturer le disque ou le WAL. Ajustez N aux cœurs/IOPS, pas « autant que possible ».INSERT ... ON CONFLICT DO NOTHING/UPDATE (upsert) pour qu'une ré-exécution ne double-insère jamais.L'examinateur vérifie si vous savez que le chemin bulk existe et pourquoi il est des ordres de grandeur plus rapide — pas la syntaxe de COPY. Bien : « utiliser COPY ». Excellent : « COPY dans une table de staging UNLOGGED, index supprimés, chunks parallèles, reconstruction après, upsert pour publier, reprenable par chunk id ». Le piège classique est de boucler des INSERT (ou un saveAll d'ORM) et d'être surpris que cela prenne des heures ; le second piège est de charger directement dans la table live et de bloquer la production.
maintenance_work_mem/de l'espace temporaire ; une construction d'index de 100M de lignes peut déborder sur disque.Une bibliothèque de questions d'entretien IT avec des réponses détaillées — du Junior au Senior.
Faire un don