COPY로 데이터를 효율적으로 대량 적재하려면 어떻게 하나요?

Question

Accepted Answer

**`COPY`**는 데이터를 **대량 적재 및 내보내기**하는 PostgreSQL의 고성능 명령입니다 — 파일(또는 스트림)과 테이블 간에 많은 양의 데이터를 개별 `INSERT` 문보다 훨씬 빠르게 이동합니다. 큰 데이터셋을 가져오고 내보내는 표준 도구입니다.

## 빠른 대량 적재를 위한 COPY

```sql
-- CSV 파일에서 테이블로 데이터 적재 (서버 측; 파일 접근 + 권한 필요)
COPY users (name, email, age) FROM '/path/data.csv' WITH (FORMAT csv, HEADER true);

-- 테이블을 CSV 파일로 내보내기
COPY users TO '/path/export.csv' WITH (FORMAT csv, HEADER true);

-- psql에서 (클라이언트 측 — 서버 파일 접근 없이 동작): \copy 사용
\copy users FROM 'data.csv' WITH (FORMAT csv, HEADER true)
```

`COPY`는 한 번의 작업으로 전체 파일을 읽고 씁니다 — 수천 개의 개별 INSERT를 실행하는 것보다 극적으로 빠릅니다.

## COPY가 INSERT보다 훨씬 빠른 이유

```text
❌ 수천 개의 개별 INSERT:
   각각 별도 문장 → 문장별 오버헤드, 행별 transaction 가능,
   네트워크 왕복 → 큰 데이터에 느림 (10-100배 느릴 수 있음)

✅ COPY:
   하나의 대량 작업, 최소 오버헤드, 최적화된 데이터 경로 → 빠름
→ 큰 데이터셋 적재에는 COPY가 정석; INSERT는 작은/개별 행용.
```

## COPY vs \copy (서버 측 vs 클라이언트 측)

```text
COPY (SQL 명령) → 서버의 파일 읽기/쓰기, superuser/파일 권한 필요
\copy (psql 명령) → 클라이언트의 파일 읽기/쓰기, 특별한 권한 불필요
→ 자신의 머신에서 원격 데이터베이스에 대해 실행할 때 \copy 사용.
```

## 큰 데이터셋 대량 적재 팁

```text
✓ 큰 데이터에는 COPY 사용 (INSERT 아님)
✓ 거대한 적재 중 index와 제약조건 삭제/비활성화 고려, 후에
  재생성 (한 번 index 빌드가 행별 유지보다 빠름)
✓ 단일 transaction 내에서 적재; index 재빌드에 maintenance_work_mem 증가
✓ 프로그래밍 방식 대량 삽입에는 다중 행 INSERT나 드라이버의 COPY 지원 사용
```

## 왜 중요한가

`COPY`는 **효율적인 대량 데이터 적재 및 내보내기**를 위한 필수 PostgreSQL 도구이며, 이를 이해하는 것은 큰 데이터셋과 관련된 모든 시나리오 — 데이터 마이그레이션, ETL, 가져오기/내보내기, 시딩, 분석 — 에 가치가 있습니다. 이는 흔한 실제 필요입니다.

핵심 가치는 **성능**입니다: 개별 `INSERT` 문으로 많은 양의 데이터를 적재하는 것은 극적으로 느리지만(문장별 오버헤드, 왕복 — 잠재적으로 10-100배 느림), `COPY`는 적재를 하나의 최적화된 대량 작업으로 수행하여, 큰 데이터셋(수천에서 수백만 행)을 가져오거나 내보내는 정석이 됩니다.

COPY가 *왜* 그토록 빠른지(대량 작업 vs 행별 오버헤드) 이해하면 언제 그것을(큰 데이터) 대 INSERT를(작은/개별 행) 사용할지 명확해집니다.

**`COPY`**(서버 측 SQL 명령, 파일 접근/권한 필요)와 **`\copy`**(psql 클라이언트 측 명령, 특별한 권한 불필요 — 자신의 머신에서 원격 데이터베이스에 대해 동작)의 실용적 구분을 아는 것은 다른 컨텍스트에서 실제로 사용하는 데 중요합니다.

**대량 적재 팁**(INSERT보다 COPY 사용, 한 번 index 빌드가 행별 유지보다 나으므로 거대한 적재 주위에서 index 삭제/재생성, transaction 내 적재)은 큰 가져오기에 가치 있는 최적화 지식입니다.

대량 데이터 작업(마이그레이션, 가져오기, 내보내기, ETL)은 흔하고, COPY가 PostgreSQL에서 이를 처리하는 표준적이고 고성능인 방법(큰 데이터에 INSERT를 크게 능가)이므로, COPY — 성능 이점, COPY vs \copy 구분, 대량 적재 모범 사례 — 를 이해하는 것은 Postgres에 큰 데이터셋을 효율적으로 이동하는 가치 있고 실용적으로 관련된 지식이며, 올바른 도구(COPY)를 사용하는 것이 큰 차이를 만드는 빈번한 운영 필요입니다.