COPY kullanarak veriyi verimli bir şekilde toplu yüklemesi nasıl yapılır?

Question

Accepted Answer

**`COPY`**, PostgreSQL'in **toplu yükleme ve dışa aktarma** için yüksek performanslı komutu — bir dosya (veya akış) ile tablo arasında büyük miktarlarda veriyi bireysel `INSERT` ifadelerinden çok daha hızlı bir şekilde taşır. Büyük veri setlerini içe aktarma/dışa aktarma için standart araçtır.

## COPY ile hızlı toplu yükleme

```sql
-- load data from a CSV file into a table (server-side; needs file access + privileges)
COPY users (name, email, age) FROM '/path/data.csv' WITH (FORMAT csv, HEADER true);

-- export a table to a CSV file
COPY users TO '/path/export.csv' WITH (FORMAT csv, HEADER true);

-- from psql (client-side — works without server file access): use \copy
\copy users FROM 'data.csv' WITH (FORMAT csv, HEADER true)
```

`COPY` bir dosyanın tamamını tek bir işlemde okur/yazar — binlerce bireysel INSERT'i çalıştırmaktan dramatik şekilde daha hızlıdır.

## COPY neden INSERT'ten çok daha hızlıdır

```text
❌ thousands of individual INSERTs:
   each is a separate statement → per-statement overhead, possibly per-row transactions,
   network round-trips → SLOW for large data (can be 10-100x slower)

✅ COPY:
   one bulk operation, minimal overhead, optimized data path → FAST
→ For loading large datasets, COPY is the go-to; INSERTs are for small/individual rows.
```

## COPY vs \copy (sunucu tarafı vs istemci tarafı)

```text
COPY (SQL command) → reads/writes files on the SERVER, needs superuser/file privileges
\copy (psql command) → reads/writes files on the CLIENT, no special privileges
→ Use \copy when running from your machine against a remote database.
```

## Büyük veri setlerini toplu yüklemek için ipuçları

```text
✓ Use COPY (not INSERTs) for large data
✓ Consider dropping/disabling indexes and constraints during a huge load, then
  recreating them after (building an index once is faster than maintaining it per-row)
✓ Load within a single transaction; increase maintenance_work_mem for index rebuilds
✓ For programmatic bulk inserts, use multi-row INSERT or the driver's COPY support
```

## Neden önemli

`COPY`, **verimli toplu veri yükleme ve dışa aktarma** için temel PostgreSQL aracıdır ve bunu anlamak, büyük veri setleri içeren herhangi bir senaryo — veri göçü, ETL, içe/dışa aktarma, seeding ve analytics — için değerlidir; bunlar yaygın gerçek dünya ihtiyaçlarıdır.

Kilit değer **performanstır**: bireysel `INSERT` ifadeleriyle büyük miktarda veri yüklemek dramatik şekilde yavaştır (ifade başına ek yük, gidiş-dönüş — potansiyel olarak 10-100 kat daha yavaş), `COPY` ise yükü tek bir optimize edilmiş toplu işlem olarak gerçekleştirir, bu da onu büyük veri setleri (binlerce milyonlarca satır) içe aktarma veya dışa aktarma için tercih edilen araç haline getirir.

COPY'nin neden çok daha hızlı olduğunu anlamak (`COPY` toplu işlem vs satır başına ek yük), ne zaman bunu kullanacağınızı (büyük veri) ve ne zaman INSERT'i (küçük/bireysel satırlar) açıklaştırır.

**`COPY`** (sunucu tarafı SQL komutu, dosya erişimi/ayrıcalıkları gerektirir) ve **`\ copy`** (psql istemci tarafı komutu, özel ayrıcalıklar gerektirmez — makinenizden uzak veritabanlarında çalışır) arasındaki pratik ayrımı bilmek, onu farklı bağlamlarda gerçekten kullanmak için önemlidir.

**Toplu yükleme ipuçları** (INSERT yerine COPY kullanma, muazzam yüklemeler etrafında indeksleri bırakma/yeniden oluşturma çünkü bir kez indeks oluşturmak satır başına bakım yapmaktan daha iyidir, yüklemeyi bir işlemde yapma) büyük içe aktarmalar için değerli optimizasyon bilgisidir.

Toplu veri işlemleri (göçler, içe aktarmalar, dışa aktarmalar, ETL) yaygın olduğundan ve COPY PostgreSQL'de bunları işlemek için standart, yüksek performanslı yol olduğundan (büyük veri için INSERT'i çok büyük ölçüde geride bıraktığından), COPY'yi anlamak — performans faydası, COPY vs \copy ayrımı ve toplu yükleme en iyi uygulamaları — Postgres'te içe ve dışa büyük veri setleri taşımak için değerli, pratik açıdan ilgili bilgidir; doğru aracı (COPY) kullanmanın büyük bir fark yaptığı sık görülen operasyonel bir ihtiyaçtır.