Τι είναι backpressure στα streams και πώς το χειρίζεστε;

Question

Accepted Answer

**Backpressure** είναι αυτό που συμβαίνει όταν τα δεδομένα παράγονται **γρηγορότερα από ό,τι μπορούν να καταναλωθούν**. Στα streams, εάν μια γρήγορη πηγή ανάγνωσης σπρώχνει δεδομένα σε έναν αργό προορισμό εγγραφής, τα μη κατανάλωτα δεδομένα αποθηκεύονται σε ενδιάμεση μνήμη — και χωρίς χειρισμό, αυτή η ενδιάμεση μνήμη αυξάνεται έως ότου η μνήμη εξαντληθεί. Το Backpressure είναι ο μηχανισμός (και η πειθαρχία) για να διατηρηθεί η ισορροπία μεταξύ παραγωγού και καταναλωτή.

## Το πρόβλημα

```text
Fast source ──(1 GB/s)──▶ Slow destination (10 MB/s write speed)
                          ▲
             The 990 MB/s difference piles up in a memory buffer → OOM crash
```

Παράδειγμα: ανάγνωση ενός τεράστιου αρχείου γρήγορα και εγγραφή σε ένα αργό δίκτυο socket ή δίσκο — εάν δεν σεβαστείτε τον ρυθμό του προορισμού, η μνήμη αυξάνεται κατάκορυφα.

## pipe χειρίζεται το backpressure αυτόματα

```js
import { createReadStream, createWriteStream } from "fs";

// ✅ pipe automatically pauses the source when the destination is full,
//    and resumes it when the destination drains — backpressure handled for you
createReadStream("huge.file").pipe(createWriteStream("copy.file"));
```

Αυτός είναι ένας κύριος λόγος για τη χρήση `pipe`/`pipeline`: διαχειρίζονται το backpressure για εσάς, σταματώντας και συνεχίζοντας τη ροή ώστε η μνήμη να παραμείνει περιορισμένη ανεξάρτητα από τη διαφορά μεγέθους.

## Χειρισμός του χειροκίνητα με την τιμή επιστροφής του write()

```js
// write() returns FALSE when the internal buffer is full — that's the backpressure signal
readable.on("data", (chunk) => {
  const ok = writable.write(chunk);
  if (!ok) {
    readable.pause();                       // stop reading — destination is full
    writable.once("drain", () => readable.resume()); // resume when it drains
  }
});
```

Εάν χειρίζεστε τα streams χειροκίνητα, ο κανόνας είναι: όταν `writable.write()` επιστρέφει `false`, **σταματήστε** την ανάγνωση και **συνεχίστε** την στο ιστορικό `drain` του writable. Η αγνόηση της επιστροφής `false` είναι το κλασικό σφάλμα backpressure.

## Με async iteration (σύγχρονο, καθαρό)

```js
// for-await respects backpressure naturally — it awaits each chunk's processing
for await (const chunk of readable) {
  await processSlowly(chunk); // only pulls the next chunk when ready
}
```

## Προτιμήστε την pipeline για ασφάλεια

```js
import { pipeline } from "stream/promises";
await pipeline(source, transform, destination); // backpressure + error handling + cleanup
```

## Γιατί έχει σημασία

Το Backpressure είναι μια λεπτή αλλά κρίσιμη έννοια για οποιαδήποτε υπηρεσία Node με εντατική χρήση δεδομένων (επεξεργασία αρχείων, αναμετάδοση, streaming, ETL).

Η αγνόησή του — με ενδιάμεση αποθήκευση όλων ή αγνόηση της τιμής επιστροφής του `write()` — προκαλεί ανεξέλεγκτη αύξηση της μνήμης και κατάρρευση υπό φορτίο, συχνά μόνο στην παραγωγή με μεγάλα δεδομένα.

Η κατανόηση ότι `pipe`/`pipeline` το χειρίζονται αυτόματα (ο κύριος λόγος να τα προτιμάτε), και πώς να το σεβαστείτε χειροκίνητα (σταματήστε στο `false`, συνεχίστε στο `drain`) ή μέσω `for await`, είναι αυτό που σας δίνει τη δυνατότητα να χτίσετε συστήματα streaming που παραμένουν σταθερά ως προς τη μνήμη ανεξάρτητα από το πόσο μεγάλα ή γρήγορα είναι τα δεδομένα.

Είναι ένα χαρακτηριστικό γνώρισμα ικανής χρήσης stream.