Node.js-এ streams কী এবং আপনি কখন সেগুলি ব্যবহার করবেন?

Question

Accepted Answer

**Streams** ডেটা **ধাপে ধাপে, চাংকে** প্রক্রিয়া করে, সবকিছু একবারে মেমরিতে লোড করার পরিবর্তে। এটি বড় ডেটা (বড় ফাইল, নেটওয়ার্ক ট্রান্সফার) এর জন্য অপরিহার্য যেখানে সবকিছু বাফার করা মেমরি শেষ করে দেবে।

## Streams যে সমস্যা সমাধান করে

```js
// ❌ loads the ENTIRE file into memory — crashes on a 10GB file
const data = await fs.promises.readFile("huge.csv");
process(data);

// ✅ stream it — constant memory, processes chunk by chunk
fs.createReadStream("huge.csv")
  .pipe(transform)
  .pipe(fs.createWriteStream("out.csv"));
```

Streams এর সাথে, মেমরি ব্যবহার ফাইল সাইজ নির্বিশেষে সমতল থাকে — আপনি এক সময়ে একটি চাংক পরিচালনা করেন।

## চারটি stream প্রকার

```text
Readable  → source you read FROM (fs.createReadStream, http request)
Writable  → destination you write TO (fs.createWriteStream, http response)
Duplex    → both readable & writable (TCP socket)
Transform → modify data as it passes through (zlib gzip, encryption)
```

## pipe — streams সংযোগ করুন

```js
import { createReadStream, createWriteStream } from "fs";
import { createGzip } from "zlib";

// read → compress → write, all streaming, low memory
createReadStream("file.txt")
  .pipe(createGzip())            // Transform: compress on the fly
  .pipe(createWriteStream("file.txt.gz"));
```

`pipe` একটি readable কে writable এর সাথে সংযুক্ত করে (মধ্যে transforms এর সাথে), প্রবাহ স্বয়ংক্রিয়ভাবে পরিচালনা করে — streams গঠনের রীতিবদ্ধ উপায়।

## pipeline — সঠিক ত্রুটি পরিচালনা সহ pipe

```js
import { pipeline } from "stream/promises";

await pipeline(
  createReadStream("in.txt"),
  createGzip(),
  createWriteStream("out.gz")
); // ✅ cleans up all streams on error/completion (pipe alone leaks on errors)
```

`pipeline` চেইনড `.pipe()` এর চেয়ে পছন্দনীয় কারণ এটি ত্রুটি প্রচার করে এবং প্রতিটি stream সঠিকভাবে পরিষ্কার করে।

## যেখানে streams দেখা যায়

```text
✓ HTTP request/response bodies (req and res ARE streams)
✓ File reading/writing, file uploads/downloads
✓ Compression (zlib), encryption (crypto)
✓ Database cursors, large query results
✓ Real-time data processing, video streaming
```

## কখন চিন্তা না করা উচিত

```text
Small data that fits comfortably in memory → readFile/simple buffering is simpler.
Streams add complexity; use them for LARGE or continuous data.
```

## এটি কেন গুরুত্বপূর্ণ

Streams হল বড় বা ক্রমাগত ডেটার **মেমরি-দক্ষ** পরিচালনার জন্য একটি সংজ্ঞায়িত Node বৈশিষ্ট্য — একটি বড় আপলোডে ক্র্যাশ করা অ্যাপ এবং সমতল মেমরি সহ যেকোনো আকার পরিচালনা করে এমন একটির মধ্যে পার্থক্য।

চারটি প্রকার, `pipe`/`pipeline` গঠন (এবং কেন `pipeline` নিরাপদ), এবং HTTP requests/responses নিজেই streams বোঝা Node-এ স্কেলেবল ফাইল-হ্যান্ডলিং, ডেটা-প্রসেসিং, এবং প্রক্সিয়িং সেবা তৈরির জন্য অপরিহার্য।