COPYを使って効率的にデータを一括ロードするにはどうしたらよいですか？

Question

Accepted Answer

**`COPY`** はPostgreSQLの**一括ロードとエクスポート**のための高性能コマンドです。ファイル（またはストリーム）とテーブル間で大量のデータを移動でき、個別の `INSERT` ステートメントよりもはるかに高速です。大規模データセットのインポート/エクスポートの標準ツールです。

## COPYによる高速一括ロード

```sql
-- load data from a CSV file into a table (server-side; needs file access + privileges)
COPY users (name, email, age) FROM '/path/data.csv' WITH (FORMAT csv, HEADER true);

-- export a table to a CSV file
COPY users TO '/path/export.csv' WITH (FORMAT csv, HEADER true);

-- from psql (client-side — works without server file access): use \copy
\copy users FROM 'data.csv' WITH (FORMAT csv, HEADER true)
```

`COPY` はファイル全体を1つの操作で読み書きします。これにより、数千個の個別INSERTを実行するよりもはるかに高速になります。

## INSERTと比べてCOPYが高速な理由

```text
❌ thousands of individual INSERTs:
   each is a separate statement → per-statement overhead, possibly per-row transactions,
   network round-trips → SLOW for large data (can be 10-100x slower)

✅ COPY:
   one bulk operation, minimal overhead, optimized data path → FAST
→ For loading large datasets, COPY is the go-to; INSERTs are for small/individual rows.
```

## COPY vs \copy（サーバー側 vs クライアント側）

```text
COPY (SQL command) → reads/writes files on the SERVER, needs superuser/file privileges
\copy (psql command) → reads/writes files on the CLIENT, no special privileges
→ Use \copy when running from your machine against a remote database.
```

## 大規模データセット一括ロードのヒント

```text
✓ Use COPY (not INSERTs) for large data
✓ Consider dropping/disabling indexes and constraints during a huge load, then
  recreating them after (building an index once is faster than maintaining it per-row)
✓ Load within a single transaction; increase maintenance_work_mem for index rebuilds
✓ For programmatic bulk inserts, use multi-row INSERT or the driver's COPY support
```

## なぜ重要なのか

`COPY` は**効率的な一括データロードとエクスポート**のための必須のPostgreSQLツールです。大規模データセットが関わるシナリオ（データマイグレーション、ETL、インポート/エクスポート、シーディング、分析）での理解は価値があります。これらは実務的な需要です。

主な価値は**パフォーマンス**にあります。個別の `INSERT` ステートメントで大量のデータをロードするのは非常に遅い（ステートメントごとのオーバーヘッド、往復遅延 — 10～100倍遅い可能性があります）のに対し、`COPY` はロードを1つの最適化された一括操作として実行するため、大規模データセット（数千～数百万行）のインポートやエクスポートに最適です。

COPYがなぜ非常に高速なのか（一括操作 vs 行ごとのオーバーヘッド）を理解することで、それをいつ使用するべきか（大規模データ）と、INSERTをいつ使うべきか（小規模/個別行）が明確になります。

**`COPY`**（サーバー側SQLコマンド、ファイルアクセス/権限が必要）と**`\copy`**（psqlクライアント側コマンド、特別な権限不要 — マシンからリモートデータベースに対して機能）の実用的な違いを理解することは、異なるコンテキストでそれを実際に使用する際に重要です。

**一括ロードのヒント**（INSERTの代わりにCOPYを使用、巨大なロードの前後でインデックスをドロップ/再作成する（インデックスを1度作成する方が行ごとに保守するより高速なため）、トランザクション内でのロード）は、大規模インポートの価値あるパフォーマンス最適化知識です。

データ操作（マイグレーション、インポート、エクスポート、ETL）は一般的で、COPYはPostgreSQLで大規模データを扱うための標準的で高性能な方法（INSERTを大幅に上回るパフォーマンス）です。COPYの理解（パフォーマンス上の利点、COPY vs \copyの違い、一括ロードのベストプラクティス）は、Postgresとの間で大規模データセットを効率的に移動させるための実務的で関連性の高い知識です。これは正しいツール（COPY）の使用が大きな違いをもたらす頻繁な運用上の必要性です。