Jak efektywnie załadować dane w dużych ilościach za pomocą COPY?

Question

Accepted Answer

**`COPY`** to wydajna komenda PostgreSQL do **masowego ładowania i eksportowania** danych — przenoszenia dużych ilości danych między plikiem (lub strumieniem) a tabelą znacznie szybciej niż pojedyncze instrukcje `INSERT`. To standardowe narzędzie do importowania/eksportowania dużych zbiorów danych.

## COPY do szybkiego masowego ładowania

```sql
-- load data from a CSV file into a table (server-side; needs file access + privileges)
COPY users (name, email, age) FROM '/path/data.csv' WITH (FORMAT csv, HEADER true);

-- export a table to a CSV file
COPY users TO '/path/export.csv' WITH (FORMAT csv, HEADER true);

-- from psql (client-side — works without server file access): use \copy
\copy users FROM 'data.csv' WITH (FORMAT csv, HEADER true)
```

`COPY` czyta/zapisuje cały plik w jednej operacji — dramatycznie szybciej niż uruchamianie tysięcy pojedynczych INSERTów.

## Dlaczego COPY jest tak dużo szybszy niż INSERT

```text
❌ thousands of individual INSERTs:
   each is a separate statement → per-statement overhead, possibly per-row transactions,
   network round-trips → SLOW for large data (can be 10-100x slower)

✅ COPY:
   one bulk operation, minimal overhead, optimized data path → FAST
→ For loading large datasets, COPY is the go-to; INSERTs are for small/individual rows.
```

## COPY vs \copy (serwer vs klient)

```text
COPY (SQL command) → reads/writes files on the SERVER, needs superuser/file privileges
\copy (psql command) → reads/writes files on the CLIENT, no special privileges
→ Use \copy when running from your machine against a remote database.
```

## Wskazówki do masowego ładowania dużych zbiorów danych

```text
✓ Use COPY (not INSERTs) for large data
✓ Consider dropping/disabling indexes and constraints during a huge load, then
  recreating them after (building an index once is faster than maintaining it per-row)
✓ Load within a single transaction; increase maintenance_work_mem for index rebuilds
✓ For programmatic bulk inserts, use multi-row INSERT or the driver's COPY support
```

## Dlaczego to ważne

`COPY` to niezbędne narzędzie PostgreSQL do **efektywnego masowego ładowania i eksportowania danych**, a jego zrozumienie jest cenne w każdym scenariuszu obejmującym duże zbiory danych — migracje danych, ETL, importy/eksporty, inicjowanie danych i analityka, które są powszechnymi potrzebami w rzeczywistości.

Kluczową wartością jest **wydajność**: ładowanie dużych ilości danych za pomocą pojedynczych instrukcji `INSERT` jest dramatycznie wolne (narzut per instrukcji, round-tripy — potencjalnie 10-100x wolniej), podczas gdy `COPY` wykonuje ładowanie jako jedną zoptymalizowaną operację masową, co czyni go rozwiązaniem pierwszego wyboru do importowania lub eksportowania dużych zbiorów danych (tysiące do milionów wierszy).

Zrozumienie *dlaczego* COPY jest tak dużo szybszy (operacja masowa vs narzut per-wiersz) wyjaśnia, kiedy się go sięga (duże dane) versus INSERTy (małe/indywidualne wiersze).

Znajomość praktycznego rozróżnienia między **`COPY`** (serwerowa komenda SQL, wymaga dostępu do pliku/uprawnień) a **`\copy`** (kliencka komenda psql, bez specjalnych uprawnień — działa z zdalnych baz danych z Twojej maszyny) jest ważna do faktycznego jej użycia w różnych kontekstach.

**Wskazówki masowego ładowania** (używanie COPY zamiast INSERTów, usuwanie/odtwarzanie indeksów wokół ogromnych ładunków, ponieważ zbudowanie indeksu raz jest lepsze niż utrzymanie go per-wiersz, ładowanie w transakcji) to cenne wiedzę optymalizacyjne do dużych importów.

Ponieważ operacje na dużych danych (migracje, importy, eksporty, ETL) są częste, a COPY jest standardowym, wydajnym sposobem ich obsługi w PostgreSQL (znacznie przewyższającym INSERTy dla dużych danych), zrozumienie COPY — jego korzyści wydajnościowe, rozróżnienie COPY vs \copy i najlepsze praktyki masowego ładowania — to cenna, praktycznie istotna wiedza do efektywnego przenoszenia dużych zbiorów danych do i z Postgresa, częstej operacyjnej potrzeby, gdzie użycie odpowiedniego narzędzia (COPY) robi ogromną różnicę.