COPY yra PostgreSQL aukštos spartos komanda masiniam duomenų įkėlimui ir eksportavimui — perkelianti dideles duomenų kiekius tarp failo (arba srauto) ir lentelės žymiai greičiau nei atskiri INSERT sakiniai. Tai standartinis įrankis didelių duomenų rinkinių importavimui/eksportavimui.
users (name, email, age) (FORMAT csv, HEADER );
users (FORMAT csv, HEADER );
\ users (FORMAT csv, HEADER )
COPY nuskaito/parašo visą failą viena operacija — dramatiškai greičiau nei paleidus tūkstančius atskirų INSERT sakinių.
❌ thousands of individual INSERTs:
each is a separate statement → per-statement overhead, possibly per-row transactions,
network round-trips → SLOW for large data (can be 10-100x slower)
✅ COPY:
one bulk operation, minimal overhead, optimized data path → FAST
→ For loading large datasets, COPY is the go-to; INSERTs are for small/individual rows.
COPY (SQL command) → reads/writes files on the SERVER, needs superuser/file privileges
\copy (psql command) → reads/writes files on the CLIENT, no special privileges
→ Use \copy when running from your machine against a remote database.
✓ Use COPY (not INSERTs) for large data
✓ Consider dropping/disabling indexes and constraints during a huge load, then
recreating them after (building an index once is faster than maintaining it per-row)
✓ Load within a single transaction; increase maintenance_work_mem for index rebuilds
✓ For programmatic bulk inserts, use multi-row INSERT or the driver's COPY support
COPY yra esminis PostgreSQL įrankis efektyviam masiniam duomenų įkėlimui ir eksportavimui, o jo supratimas yra vertingas bet kokiam scenarijui, susijusiam su dideles duomenimis — duomenų migracijomis, ETL, importavimais/eksportavimais, nustatymu ir analize, kurie yra dažni realūs poreikiai.
Pagrindinė vertė yra našumas: didelių duomenų kiekių įkėlimas atskirus INSERT sakinio yra dramatiškai lėtas (per-sakinio pridėjimas, apvalymai — potencialiai 10-100 kartų lėčiau), o COPY atlieka įkėlimą kaip vieną optimizuotą masinę operaciją, todėl jis yra pasirinkta priemonė dideliems duomenų rinkinių (tūkstančiams milijonų eilučių) importavimui ar eksportavimui.
Supratimas, kodėl COPY yra žymiai greitesnis (masinė operacija vs eilė po eilutės pridėjimas), paaiškina, kada jį naudoti (dideli duomenys) ir kada INSERT sakinius (mažas/atskiras eilutes).
Praktinis skirtumas tarp COPY (serverio pusės SQL komanda, reikalinga failų prieiga/privilegijos) ir \copy (psql kliento pusės komanda, nereikalingos specialios privilegijos — veikia su nuotolinėmis duomenų bazėmis iš jūsų kompiuterio) yra svarbus faktiškai ją naudojant skirtinguose kontekstuose.
Masinės įkėlimo patarimai (COPY naudojimas Instead of INSERT, indeksų ištrynimas/perkūrimas aplink dideles apkrovas kadangi indekso pastatyme kartą geriau nei jo priežiūra eilutei po eilutei, įkėlimas operacijoje) yra vertinga optimizavimo žinybos didelems importavimams.
Kadangi masinės duomenų operacijos (migracijos, importavai, eksportai, ETL) yra dažnos, ir kadangi COPY yra standartinis, aukštos spartos būdas joms tvarkyti PostgreSQL (žymiai pranašesnis nei INSERT dideliem duomenims), supratimas COPY — jo našumo pranašumas, COPY vs \copy skirtumas ir masinės įkėlimo geriausios praktikos — yra vertinga, praktiškai relevantiška žinybą greitam didelių duomenų rinkinių judėjimui į ir iš Postgres, dažnų operacijos poreikis, kur tinkamo įrankio (COPY) naudojimas daro didelį skirtumą.
IT pokalbių klausimų biblioteka su išsamiais atsakymais — nuo Junior iki Senior.
Paaukoti