COPY — это высокопроизводительная команда PostgreSQL для массовой загрузки и экспорта данных — перемещение больших объёмов данных между файлом (или потоком) и таблицей происходит намного быстрее, чем через отдельные операторы INSERT. Это стандартный инструмент для импорта/экспорта больших наборов данных.
users (name, email, age) (FORMAT csv, HEADER );
users (FORMAT csv, HEADER );
\ users (FORMAT csv, HEADER )
COPY читает/записывает весь файл в одной операции — это намного быстрее, чем выполнение тысяч отдельных INSERTs.
❌ thousands of individual INSERTs:
each is a separate statement → per-statement overhead, possibly per-row transactions,
network round-trips → SLOW for large data (can be 10-100x slower)
✅ COPY:
one bulk operation, minimal overhead, optimized data path → FAST
→ For loading large datasets, COPY is the go-to; INSERTs are for small/individual rows.
COPY (SQL command) → reads/writes files on the SERVER, needs superuser/file privileges
\copy (psql command) → reads/writes files on the CLIENT, no special privileges
→ Use \copy when running from your machine against a remote database.
✓ Use COPY (not INSERTs) for large data
✓ Consider dropping/disabling indexes and constraints during a huge load, then
recreating them after (building an index once is faster than maintaining it per-row)
✓ Load within a single transaction; increase maintenance_work_mem for index rebuilds
✓ For programmatic bulk inserts, use multi-row INSERT or the driver's COPY support
COPY — это необходимый инструмент PostgreSQL для эффективной массовой загрузки и экспорта данных, и его понимание ценно для любого сценария, связанного с большими наборами данных — миграции данных, ETL, импорт/экспорт, инициализация и аналитика, которые являются частыми потребностями в реальном мире.
Ключевое преимущество — это производительность: загрузка больших объёмов данных отдельными операторами INSERT чрезвычайно медленна (накладные расходы за оператор, обращения по сети — потенциально в 10-100 раз медленнее), в то время как COPY выполняет загрузку как одну оптимизированную массовую операцию, что делает его стандартным выбором для импорта или экспорта больших наборов данных (от тысяч до миллионов строк).
Понимание причины, по которой COPY намного быстрее (массовая операция в сравнении с накладными расходами на каждую строку), проясняет, когда использовать COPY (большие данные) в сравнении с INSERTs (небольшие/отдельные строки).
Знание практического различия между COPY (серверная SQL-команда, требует доступа к файлам/привилегий) и \copy (клиентская команда psql, не требует специальных привилегий — работает с удалёнными базами данных с вашей машины) важно для фактического использования в разных контекстах.
Советы по массовой загрузке (использование COPY вместо INSERTs, удаление/пересоздание индексов при огромных загрузках, так как построение индекса один раз лучше, чем его обслуживание для каждой строки, загрузка в транзакции) — это ценные знания оптимизации для больших импортов.
Поскольку операции массовой загрузки данных (миграции, импорты, экспорты, ETL) являются частыми, и COPY — это стандартный, высокопроизводительный способ их обработки в PostgreSQL (значительно превосходящий INSERTs для больших данных), понимание COPY — его преимущества в производительности, различия между COPY и \copy, а также лучшие практики массовой загрузки — это ценное, практически-значимое знание для эффективного перемещения больших наборов данных в Postgres и из него, частой операционной потребности, где использование правильного инструмента (COPY) имеет большое значение.