તમે COPY સાથે ડેટા બલ્ક-લોડ કરવું કેટલું કાર્યક્ષમતાથી કરો છો?

Question

Accepted Answer

**`COPY`** એ PostgreSQL નું ઉચ્ચ-પ્રદર્શન આદેશ છે જે **બલ્ક લોડિંગ અને નિકાસ** માટે વપરાય છે — ફાઇલ (અથવા સ્ટ્રીમ) અને ટેબલ વચ્ચે મોટી માત્રામાં ડેટા ખસેડવા માટે વ્યક્તિગત `INSERT` વિધાનો કરતાં ઘણો વધુ ઝડપી છે. તે મોટા ડેટાસેટ્સ આયાત/નિકાસ કરવા માટે માનક સાધન છે.

## COPY ફાસ્ટ બલ્ક લોડિંગ માટે

```sql
-- load data from a CSV file into a table (server-side; needs file access + privileges)
COPY users (name, email, age) FROM '/path/data.csv' WITH (FORMAT csv, HEADER true);

-- export a table to a CSV file
COPY users TO '/path/export.csv' WITH (FORMAT csv, HEADER true);

-- from psql (client-side — works without server file access): use \copy
\copy users FROM 'data.csv' WITH (FORMAT csv, HEADER true)
```

`COPY` સમગ્ર ફાઇલ એક પ્રક્રિયામાં વાંચે/લખે છે — હજારો વ્યક્તિગત INSERTs ચલાવવાથી નાટકીય રીતે ઝડપી છે.

## COPY કેમ INSERT કરતાં ઘણો વધુ ઝડપી છે

```text
❌ thousands of individual INSERTs:
   each is a separate statement → per-statement overhead, possibly per-row transactions,
   network round-trips → SLOW for large data (can be 10-100x slower)

✅ COPY:
   one bulk operation, minimal overhead, optimized data path → FAST
→ For loading large datasets, COPY is the go-to; INSERTs are for small/individual rows.
```

## COPY વિ \copy (સર્વર-સાઇડ વિ ક્લાયન્ટ-સાઇડ)

```text
COPY (SQL command) → reads/writes files on the SERVER, needs superuser/file privileges
\copy (psql command) → reads/writes files on the CLIENT, no special privileges
→ Use \copy when running from your machine against a remote database.
```

## મોટા ડેટાસેટ્સ બલ્ક લોડ કરવા માટે ટીપ્સ

```text
✓ Use COPY (not INSERTs) for large data
✓ Consider dropping/disabling indexes and constraints during a huge load, then
  recreating them after (building an index once is faster than maintaining it per-row)
✓ Load within a single transaction; increase maintenance_work_mem for index rebuilds
✓ For programmatic bulk inserts, use multi-row INSERT or the driver's COPY support
```

## તેનું મહત્વ શું છે

`COPY` એ **કાર્યક્ષમ બલ્ક ડેટા લોડિંગ અને નિકાસ** માટે અનિવાર્ય PostgreSQL સાધન છે, અને તેને સમજવું એ મોટા ડેટાસેટ્સ સાથે જોડાયેલ કોઈપણ પરિસ્થિતીમાં મૂલ્યવાન છે — ડેટા મોડલ્સ, ETL, આયાત/નિકાસ, સીડિંગ અને વિશ્લેષણ, જે સામાન્ય વાસ્તવિક-વિશ્વ જરૂરિયાતો છે.

મુખ્ય મૂલ્ય એ છે **કામગીરી**: વ્યક્તિગત `INSERT` વિધાનો સાથે મોટી માત્રામાં ડેટા લોડ કરવું નાટકીય રીતે ધીમું છે (પ્રતિ-વિધાન ओવરહેડ, રાઉન્ડ-ટ્રીપ્સ — સંભવતઃ 10-100x ધીમું), જ્યારે `COPY` લોડને એક ઑપ્ટિમાઇજ્ડ બલ્ક પ્રક્રિયા તરીકે પરિણમે કરે છે, જે તેને મોટા ડેટાસેટ્સ (હજારો થી મિલિયન પંક્તિઓ) આયાત અથવા નિકાસ કરવા માટે જાઓ-ટુ છે.

COPY એટલું ઝડપી કેમ છે તે સમજવું (બલ્ક પ્રક્રિયા વિ પ્રતિ-પંક્તિ ওવરહેડ) તે સ્પષ્ટ કરે છે કે તેને કેટલીવાર પહોંચવું જોઈએ (મોટું ડેટા) વિ INSERTs (નાના/વ્યક્તિગત પંક્તિઓ).

**`COPY`** (સર્વર-સાઇડ SQL આદેશ, ફાઇલ ઍક્સેસ/વિશેષાધિકારો જરૂરી) અને **`\copy`** (psql ક્લાયન્ટ-સાઇડ આદેશ, કોઈ ખાસ વિશેષાધિકારો નથી — તમારી મશીનમાંથી દૂરસ્થ ડેટાબેસ વિરુદ્ધ કાર્ય કરે છે) વચ્ચે વ્યવહારિક તફાવત જાણવું વિવિધ સંદર્ભોમાં તેનો ઉપયોગ કરવા માટે મહત્વપૂર્ણ છે.

**બલ્ક-લોડિંગ ટીપ્સ** (INSERTs માટે COPY નો ઉપયોગ, વિશાળ લોડ્સની આસપાસ ઇન્ડેક્સ ડ્રોપ/પુનઃનિર્માણ કરવું કારણ કે ઇન્ડેક્સ એક વખત બનાવવું તેને પ્રતિ-પંક્તિ જાળવણી કરતાં વધુ સારું છે, એક લેવડેતમાં લોડ કરવું) મોટા આયાત માટે મૂલ્યવાન ઑપ્ટિમાઇજેશન જ્ઞાન છે.

બલ્ક ડેટા પરિચાલન (મોડલ્સ, આયાત, નિકાસ, ETL) સામાન્ય હોવાથી, અને કારણ કે COPY એ PostgreSQL માં તેમને હેન્ડલ કરવા માટે માનક, ઉચ્ચ-કામગીરી તરીકે છે (INSERTs માટે મોટા ડેટા માટે વધુ પ્રદર્શન આપે છે), COPY સમજવું — તેનો કામગીરી લાભ, COPY વિ \copy તફાવત, અને બલ્ક-લોડિંગ શ્રેષ્ઠ પ્રથાઓ — Postgres માં મોટા ડેટાસેટ્સ અંદર અને બહાર ખસેડવા માટે મૂલ્યવાન, વ્યવહારિક-સંબંધિત જ્ઞાન છે, એક વારંવાર પ્રક્રિયાયુક્ત જરૂરિયાત જ્યાં યોગ્ય સાધન (COPY) નો ઉપયોગ કરવો મોટો તફાવત કરે છે.