ਤੁਸੀਂ COPY ਦੇ ਨਾਲ ਡੇਟਾ ਨੂੰ ਮਜਬੂਤੀ ਨਾਲ ਕਿਵੇਂ ਲੋਡ ਕਰਦੇ ਹੋ?

Question

IT Interview Practice · Accepted Answer

**`COPY`** PostgreSQL ਦਾ **ਬਲਕ ਲੋਡਿੰਗ ਅਤੇ ਐਕਸਪੋਰਟ** ਕਰਨ ਲਈ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਕਮਾਂਡ ਹੈ — ਵਿਅਕਤੀਗਤ `INSERT` ਸਟੇਟਮੈਂਟਸ ਨਾਲੋਂ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਫਾਈਲ (ਜਾਂ ਸਟ੍ਰੀਮ) ਅਤੇ ਟੇਬਲ ਦੇ ਵਿਚਕਾਰ ਡੇਟਾ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਸਥਾਨਾਂਤਰਿਤ ਕਰਦਾ ਹੈ। ਇਹ ਵੱਡੀਆਂ ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਆਮਦ/ਬਰਾਮਦ ਕਰਨ ਦਾ ਮਿਆਰੀ ਟੂਲ ਹੈ।

## COPY ਜ਼ਰੀਏ ਤੇਜ਼ ਬਲਕ ਲੋਡਿੰਗ

```sql
-- load data from a CSV file into a table (server-side; needs file access + privileges)
COPY users (name, email, age) FROM '/path/data.csv' WITH (FORMAT csv, HEADER true);

-- export a table to a CSV file
COPY users TO '/path/export.csv' WITH (FORMAT csv, HEADER true);

-- from psql (client-side — works without server file access): use \copy
\copy users FROM 'data.csv' WITH (FORMAT csv, HEADER true)
```

`COPY` ਇੱਕ ਸਮੇ ਵਿੱਚ ਪੂਰੀ ਫਾਈਲ ਨੂੰ ਪੜ੍ਹਦਾ/ਲਿਖਦਾ ਹੈ — ਹਜ਼ਾਰਾਂ ਵਿਅਕਤੀਗਤ INSERTs ਨੂੰ ਚਲਾਉਣ ਨਾਲੋਂ ਕਾਫ਼ੀ ਤੇਜ਼।

## INSERT ਨਾਲੋਂ COPY ਬਹੁਤ ਤੇਜ਼ ਕਿਉਂ ਹੈ

```text
❌ thousands of individual INSERTs:
   each is a separate statement → per-statement overhead, possibly per-row transactions,
   network round-trips → SLOW for large data (can be 10-100x slower)

✅ COPY:
   one bulk operation, minimal overhead, optimized data path → FAST
→ For loading large datasets, COPY is the go-to; INSERTs are for small/individual rows.
```

## COPY ਬਨਾਮ \copy (ਸਰਵਰ-ਸਾਇਡ ਬਨਾਮ ਕਲਾਇਂਟ-ਸਾਇਡ)

```text
COPY (SQL command) → reads/writes files on the SERVER, needs superuser/file privileges
\copy (psql command) → reads/writes files on the CLIENT, no special privileges
→ Use \copy when running from your machine against a remote database.
```

## ਵੱਡੀਆਂ ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਲੋਡ ਕਰਨ ਦੇ ਟਿਪਸ

```text
✓ Use COPY (not INSERTs) for large data
✓ Consider dropping/disabling indexes and constraints during a huge load, then
  recreating them after (building an index once is faster than maintaining it per-row)
✓ Load within a single transaction; increase maintenance_work_mem for index rebuilds
✓ For programmatic bulk inserts, use multi-row INSERT or the driver's COPY support
```

## ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ

`COPY` **ਕਠਿਨ ਬਲਕ ਡੇਟਾ ਲੋਡਿੰਗ ਅਤੇ ਐਕਸਪੋਰਟ** ਲਈ ਜ਼ਰੂਰੀ PostgreSQL ਟੂਲ ਹੈ, ਅਤੇ ਇਸ ਨੂੰ ਸਮਝਣਾ ਕਿਸੇ ਵੀ ਮਨੋਰਮ ਲਈ ਮੁੱਲਵਾਨ ਹੈ ਜਿਸ ਵਿੱਚ ਵੱਡੀ ਡੇਟਾਸੈਟਾਂ ਸ਼ਾਮਲ ਹੋਣ — ਡੇਟਾ ਤਬਦੀਲੀ, ETL, ਆਮਦ/ਬਰਾਮਦ, ਸੀਡਿੰਗ, ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ, ਜੋ ਕਿ ਆਮ ਅਸਲੀ-ਜਗਤ ਦੀਆਂ ਲੋੜਾਂ ਹਨ।

ਮੁੱਖ ਮੁੱਲ **ਪ੍ਰਦਰਸ਼ਨ** ਹੈ: ਵਿਅਕਤੀਗਤ `INSERT` ਸਟੇਟਮੈਂਟਸ ਨਾਲ ਡੇਟਾ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਲੋਡ ਕਰਨਾ ਤੁਰੰਤ ਹੀ ਸ਼ਿਥਿਲ ਹੈ (ਪ੍ਰਤੀ-ਸਟੇਟਮੈਂਟ ਓਵਰਹੈੱਡ, ਰਾؤਂਡ-ਟ੍ਰਿਪਸ — ਸੰਭਾਵਤ ਤੌਰ ਤੇ 10-100x ਸ਼ਿਥਿਲ), ਜਦਕਿ `COPY` ਲੋਡ ਨੂੰ ਇੱਕ ਅਨੁਕੂਲਿਤ ਬਲਕ ਓਪਰੇਸ਼ਨ ਦੇ ਰੂਪ ਵਿੱਚ ਕਰਦਾ ਹੈ, ਇਸ ਨੂੰ ਬੜੀ ਡੇਟਾਸੈਟ ਨੂੰ ਆਮਦ ਜਾਂ ਬਰਾਮਦ ਕਰਨ ਲਈ ਜਾਂਦਾ-ਤਾ ਬਣਾਦੇ (ਹਜ਼ਾਰਾਂ ਤੋਂ ਲੱਖਾਂ ਰੂ)।
urn *ਕਿਉਂ* COPY ਬਹੁਤ ਜ਼ਿਆਦਾ ਤੇਜ਼ ਹੈ (ਬਲਕ ਓਪਰੇਸ਼ਨ ਬਨਾਮ ਪ੍ਰਤੀ-ਰੂ ਓਵਰਹੈੱਡ) ਨੂੰ ਸਮਝਣਾ ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ ਕਿ ਇਸ ਨੂੰ ਕਦੋਂ ਪ੍ਰਾਪਤ ਕਰਨਾ ਹੈ (ਵੱਡਾ ਡੇਟਾ) ਬਨਾਮ INSERTs (ਛੋਟਾ/ਵਿਅਕਤੀਗਤ ਸਤਰ)।

**`COPY`** (ਸਰਵਰ-ਸਾਇਡ SQL ਕਮਾਂਡ, ਫਾਈਲ ਐਕਸੈਸ/ਸਹੂਲਤਾਂ ਦੀ ਜ਼ਰੂਰਤ) ਅਤੇ **`\copy`** (psql ਕਲਾਇਂਟ-ਸਾਇਡ ਕਮਾਂਡ, ਕੋਈ ਵਿਸ਼ੇਸ਼ ਸਹੂਲਤਾਵਾਂ ਨਹੀਂ — ਆਪਣੀ ਮਸ਼ੀਨ ਤੋਂ ਰਿਮੋਟ ਡਾਟਾਬੇਸਾਂ ਦੇ ਵਿਰੁੱਧ ਕੰਮ ਕਰਦਾ ਹੈ) ਦੇ ਵਿੱਚ ਵਿਆਵਹਾਰਕ ਅੰਤਰ ਨੂੰ ਜਾਣਨਾ ਵੱਖ-ਵੱਖ ਸੰਦਰਭਾਂ ਵਿੱਚ ਇਸ ਨੂੰ ਸਮਝਦਾਰੀ ਨਾਲ ਵਰਤਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ।

**ਬਲਕ-ਲੋਡਿੰਗ ਟਿਪਸ** (INSERTs ਦੇ ਬਜਾਏ COPY ਦੀ ਵਰਤੋਂ, ਵਿਸ਼ਾਲ ਲੋਡਾਂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਸੂਚਕਾਂ ਨੂੰ ਸੁੱਟਨਾ/ਪੁਨਰ-ਨਿਰਮਾਣ ਕਰਨਾ ਕਿਉਂਕਿ ਇੱਕ ਸੂਚਕ ਨੂੰ ਇੱਕ ਵਾਰ ਬਣਾਉਣਾ ਪ੍ਰਤੀ-ਰੂ ਇਸ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ, ਇੱਕ ਤਬਦੀਲੀ ਵਿੱਚ ਲੋਡ ਕਰਨਾ) ਵਿਸ਼ਾਲ ਆਮਦ ਲਈ ਮੁੱਲਵਾਨ ਅਨੁਕੂਲਨ ਗਿਆਨ ਹਨ।

ਕਿਉਂਕਿ ਬਲਕ ਡੇਟਾ ਓਪਰੇਸ਼ਨਾਂ (ਤਬਦੀਲੀ, ਆਮਦ, ਬਰਾਮਦ, ETL) ਆਮ ਹਨ, ਅਤੇ ਕਿਉਂਕਿ COPY ਆਮ ਹੈ, PostgreSQL ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਹੈਂਡਲ ਕਰਨ ਦਾ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਤਰੀਕਾ (ਵਿਸ਼ਾਲ ਡੇਟਾ ਲਈ INSERTs ਨੂੰ ਵਾਪਸ ਲੈਂਦਾ ਹੈ), COPY ਨੂੰ ਸਮਝਣਾ — ਇਸ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਲਾਭ, COPY ਬਨਾਮ \copy ਭੇਦ, ਅਤੇ ਬਲਕ-ਲੋਡਿੰਗ ਸਰਵੋਤਮ ਅਭਿਆਸ — Postgres ਵਿੱਚ ਵੱਡੀਆਂ ਡੇਟਾਸੈਟਾਂ ਦੀ ਤੁਰੰਤਿਆਂ ਕਾਢ ਅਤੇ ਬਾਹਰ ਜਾਣ ਲਈ, ਇੱਕ ਆਮ ਸੰਚਾਲਨ ਦੀ ਲੋੜ ਜਿੱਥੇ ਸਹੀ ਸਾਧਨ (COPY) ਦੀ ਵਰਤੋਂ ਬਹੁਤ ਫ਼ਰਕ ਪਾਉਂਦੀ ਹੈ, ਲਾਭਦਾਇਕ, ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਗਿਆਨ ਹੈ।

COPY ਜ਼ਰੀਏ ਤੇਜ਼ ਬਲਕ ਲੋਡਿੰਗ

INSERT ਨਾਲੋਂ COPY ਬਹੁਤ ਤੇਜ਼ ਕਿਉਂ ਹੈ

COPY ਬਨਾਮ \copy (ਸਰਵਰ-ਸਾਇਡ ਬਨਾਮ ਕਲਾਇਂਟ-ਸਾਇਡ)

ਵੱਡੀਆਂ ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਲੋਡ ਕਰਨ ਦੇ ਟਿਪਸ

ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦਾ ਹੈ

ਸੰਬੰਧਿਤ ਸਵਾਲ