Node.js मध्ये streams काय आहेत आणि त्यांचा वापर कधी करावा?

Question

Accepted Answer

**Streams** डेटा **वाढीव, खंडांमध्ये** प्रक्रिया करतात, एकाच वेळी सर्व मेमोरीमध्ये लोड करण्याऐवजी. हे मोठ्या डेटा (मोठ्या फाइल, नेटवर्क ट्रान्सफर) साठी आवश्यक आहे जेथे सर्व काही बफर करणे मेमोरी संपवून देईल.

## streams जी समस्या सोडवतात

```js
// ❌ loads the ENTIRE file into memory — crashes on a 10GB file
const data = await fs.promises.readFile("huge.csv");
process(data);

// ✅ stream it — constant memory, processes chunk by chunk
fs.createReadStream("huge.csv")
  .pipe(transform)
  .pipe(fs.createWriteStream("out.csv"));
```

Streams सह, मेमोरी वापर फाइल आकारापेक्षा अदृश्य राहतो — आप एक वेळी एक खंड हाताळता.

## चार stream प्रकार

```text
Readable  → source you read FROM (fs.createReadStream, http request)
Writable  → destination you write TO (fs.createWriteStream, http response)
Duplex    → both readable & writable (TCP socket)
Transform → modify data as it passes through (zlib gzip, encryption)
```

## pipe — streams जोडा

```js
import { createReadStream, createWriteStream } from "fs";
import { createGzip } from "zlib";

// read → compress → write, all streaming, low memory
createReadStream("file.txt")
  .pipe(createGzip())            // Transform: compress on the fly
  .pipe(createWriteStream("file.txt.gz"));
```

`pipe` एक readable ला writable कडे जोडतो (त्यामध्ये transforms सह), स्वयंचलितपणे प्रवाह व्यवस्थापित करतो — streams तयार करण्याचा प्रामाणिक मार्ग.

## pipeline — योग्य त्रुटी हाताळणीसह pipe

```js
import { pipeline } from "stream/promises";

await pipeline(
  createReadStream("in.txt"),
  createGzip(),
  createWriteStream("out.gz")
); // ✅ cleans up all streams on error/completion (pipe alone leaks on errors)
```

`pipeline` साखळीबद्ध `.pipe()` पेक्षा अधिक प्राधान्य आहे कारण ते त्रुटी प्रसारित करते आणि प्रत्येक stream योग्यरित्या साफ करते.

## जेथे streams दिसतात

```text
✓ HTTP request/response bodies (req and res ARE streams)
✓ File reading/writing, file uploads/downloads
✓ Compression (zlib), encryption (crypto)
✓ Database cursors, large query results
✓ Real-time data processing, video streaming
```

## कधी वावाद करू नका

```text
Small data that fits comfortably in memory → readFile/simple buffering is simpler.
Streams add complexity; use them for LARGE or continuous data.
```

## हे महत्वाचे का आहे

Streams हे Node चे एक व्याख्याकारक वैशिष्ट्य आहे मोठ्या किंवा सतत डेटाचे **मेमोरी-कार्यक्षम** हाताळणीसाठी — एक अ‍ॅप जो मोठ्या अपलोडवर क्रॅश होतो आणि एक जो कोणत्याही आकारला सपाट मेमोरीसह हाताळतो यात फरक.

चार प्रकार, `pipe`/`pipeline` तयार करणे (आणि `pipeline` का अधिक सुरक्षित आहे) समजून घेणे, आणि HTTP विनंत्या/प्रतिक्रिया स्वतः streams आहेत हे समजणे Node मध्ये स्केलेबल फाइल-हाताळणी, डेटा-प्रक्रिया, आणि प्रॉक्सिंग सेवा तयार करण्यासाठी आवश्यक आहे.