Çfarë janë stream-et në Node.js dhe kur duhet t'i përdorësh ato?

Question

Accepted Answer

**Stream-et** përpunojnë të dhënat **hap pas hapi, në copëza**, në vend që të ngarkohet gjithçka në kujtesë njëherësh. Kjo i bën ato thelbësore për të dhëna të mëdha (skedarë të mëdhenj, transferta rrjeti) ku ruajtja e gjithçkaje në buffer do të varroste kujtesën.

## Problemi që zgjidhen stream-et

```js
// ❌ loads the ENTIRE file into memory — crashes on a 10GB file
const data = await fs.promises.readFile("huge.csv");
process(data);

// ✅ stream it — constant memory, processes chunk by chunk
fs.createReadStream("huge.csv")
  .pipe(transform)
  .pipe(fs.createWriteStream("out.csv"));
```

Me stream-et, përdorimi i kujtesës mbetet konstant pavarësisht nga madhësia e skedarit — ti trajton një copë në të njëjtën kohë.

## Katër llojet e stream-eve

```text
Readable  → source you read FROM (fs.createReadStream, http request)
Writable  → destination you write TO (fs.createWriteStream, http response)
Duplex    → both readable & writable (TCP socket)
Transform → modify data as it passes through (zlib gzip, encryption)
```

## pipe — lidhja e stream-eve

```js
import { createReadStream, createWriteStream } from "fs";
import { createGzip } from "zlib";

// read → compress → write, all streaming, low memory
createReadStream("file.txt")
  .pipe(createGzip())            // Transform: compress on the fly
  .pipe(createWriteStream("file.txt.gz"));
```

`pipe` lidh një të lexueshme me një të shkrueshme (me transformime në mes), duke menaxhuar në mënyrë automatike rrjedhën — mënyra idiomatike për të komponuar stream-et.

## pipeline — pipe me trajtimin e duhur të gabimeve

```js
import { pipeline } from "stream/promises";

await pipeline(
  createReadStream("in.txt"),
  createGzip(),
  createWriteStream("out.gz")
); // ✅ cleans up all streams on error/completion (pipe alone leaks on errors)
```

`pipeline` është i preferuar në krahasim me lanxhën `.pipe()` sepse përhap gabimet dhe çiston siç duhet çdo stream.

## Ku shfaqen stream-et

```text
✓ HTTP request/response bodies (req and res ARE streams)
✓ File reading/writing, file uploads/downloads
✓ Compression (zlib), encryption (crypto)
✓ Database cursors, large query results
✓ Real-time data processing, video streaming
```

## Kur NUK duhet ta bezdisesh veten

```text
Small data that fits comfortably in memory → readFile/simple buffering is simpler.
Streams add complexity; use them for LARGE or continuous data.
```

## Pse kjo është e rëndësishme

Stream-et janë një veçori përcaktuese e Node.js për trajtimin **efikas për kujtesën** të të dhënave të mëdha ose të vazhdueshme — dallimi ndërmjet një aplikacioni që shembet në një ngarkesë të madhe dhe njërit që menaxhon çdo madhësi me kujtesë konstante.

Komprehensioni i katër llojeve, kompozitës `pipe`/`pipeline` (dhe pse `pipeline` është më i sigurt) dhe fakti që kërkesa/përgjigjet HTTP janë vetë stream-et është thelbësor për ndërtimin e shërbimeve të shkallëzueshme të trajtimit të skedarëve, përpunimit të të dhënave dhe proxy-ng në Node.