Làm thế nào để bulk-load dữ liệu hiệu quả với COPY?

Question

Accepted Answer

**`COPY`** là câu lệnh hiệu năng cao của PostgreSQL để **bulk load và export** dữ liệu — di chuyển lượng lớn dữ liệu giữa một file (hoặc stream) và một bảng nhanh hơn nhiều so với các câu lệnh `INSERT` riêng lẻ. Đây là công cụ chuẩn để import/export các tập dữ liệu lớn.

## COPY cho bulk load nhanh

```sql
-- load dữ liệu từ một file CSV vào một bảng (phía server; cần quyền truy cập file + đặc quyền)
COPY users (name, email, age) FROM '/path/data.csv' WITH (FORMAT csv, HEADER true);

-- export một bảng ra một file CSV
COPY users TO '/path/export.csv' WITH (FORMAT csv, HEADER true);

-- từ psql (phía client — hoạt động mà không cần quyền truy cập file của server): dùng \copy
\copy users FROM 'data.csv' WITH (FORMAT csv, HEADER true)
```

`COPY` đọc/ghi toàn bộ một file trong một thao tác — nhanh hơn rất nhiều so với chạy hàng nghìn câu lệnh INSERT riêng lẻ.

## Tại sao COPY nhanh hơn INSERT rất nhiều

```text
❌ hàng nghìn câu lệnh INSERT riêng lẻ:
   mỗi câu là một câu lệnh riêng → chi phí trên-mỗi-câu-lệnh, có thể transaction trên-mỗi-dòng,
   các vòng round-trip mạng → CHẬM với dữ liệu lớn (có thể chậm hơn 10-100 lần)

✅ COPY:
   một thao tác bulk, chi phí tối thiểu, đường dữ liệu được tối ưu → NHANH
→ Để load các tập dữ liệu lớn, COPY là lựa chọn hàng đầu; INSERT dành cho các dòng nhỏ/riêng lẻ.
```

## COPY vs \copy (phía server vs phía client)

```text
COPY (câu lệnh SQL) → đọc/ghi file trên SERVER, cần superuser/đặc quyền file
\copy (lệnh psql) → đọc/ghi file trên CLIENT, không cần đặc quyền đặc biệt
→ Dùng \copy khi chạy từ máy của bạn với một cơ sở dữ liệu từ xa.
```

## Mẹo cho bulk load các tập dữ liệu lớn

```text
✓ Dùng COPY (không phải INSERT) cho dữ liệu lớn
✓ Cân nhắc drop/vô hiệu hóa các index và constraint trong một lần load khổng lồ, rồi
  tạo lại chúng sau (xây index một lần nhanh hơn so với duy trì nó trên-mỗi-dòng)
✓ Load trong một transaction duy nhất; tăng maintenance_work_mem cho việc rebuild index
✓ Với bulk insert theo lập trình, dùng multi-row INSERT hoặc hỗ trợ COPY của driver
```

## Tại sao điều này quan trọng

`COPY` là công cụ PostgreSQL thiết yếu cho **việc bulk load và export dữ liệu hiệu quả**, và hiểu nó có giá trị cho bất kỳ tình huống nào liên quan đến các tập dữ liệu lớn — di chuyển dữ liệu, ETL, import/export, seeding, và phân tích, vốn là các nhu cầu thực tế phổ biến.

Giá trị then chốt là **hiệu năng**: load lượng lớn dữ liệu bằng các câu lệnh `INSERT` riêng lẻ chậm một cách đáng kể (chi phí trên-mỗi-câu-lệnh, các vòng round-trip — có thể chậm hơn 10-100 lần), trong khi `COPY` thực hiện việc load như một thao tác bulk được tối ưu, khiến nó trở thành lựa chọn hàng đầu để import hoặc export các tập dữ liệu lớn (hàng nghìn đến hàng triệu dòng).

Hiểu *tại sao* COPY nhanh hơn rất nhiều (thao tác bulk so với chi phí trên-mỗi-dòng) làm rõ khi nào nên dùng nó (dữ liệu lớn) so với INSERT (dòng nhỏ/riêng lẻ).

Biết sự khác biệt thực tế giữa **`COPY`** (lệnh SQL phía server, cần quyền truy cập file/đặc quyền) và **`\copy`** (lệnh psql phía client, không cần đặc quyền đặc biệt — hoạt động với các cơ sở dữ liệu từ xa từ máy của bạn) là quan trọng để thực sự sử dụng nó trong các bối cảnh khác nhau.

Các **mẹo bulk load** (dùng COPY thay vì INSERT, drop/tạo lại index quanh các lần load khổng lồ vì xây index một lần tốt hơn duy trì nó trên-mỗi-dòng, load trong một transaction) là kiến thức tối ưu hóa có giá trị cho các lần import lớn.

Vì các thao tác bulk dữ liệu (di chuyển, import, export, ETL) là phổ biến, và vì COPY là cách chuẩn, hiệu năng cao để xử lý chúng trong PostgreSQL (vượt trội hơn INSERT rất nhiều cho dữ liệu lớn), nên hiểu COPY — lợi ích hiệu năng của nó, sự khác biệt COPY vs \copy, và các best practice bulk load — là kiến thức có giá trị, liên quan thực tiễn để di chuyển hiệu quả các tập dữ liệu lớn vào và ra khỏi Postgres, một nhu cầu vận hành thường gặp nơi việc dùng đúng công cụ (COPY) tạo ra sự khác biệt lớn.