Что такое противодавление (backpressure) в потоках и как его обрабатывать?

Question

Accepted Answer

**Противодавление (backpressure)** — это то, что происходит, когда данные производятся **быстрее, чем они могут быть потреблены**. В потоках, если быстрый читаемый источник отправляет данные в медленное записываемое назначение, непотребленные данные буферизуются в памяти — и без обработки этот буфер растет до истощения памяти. Противодавление — это механизм (и дисциплина) для сохранения баланса между производителем и потребителем.

## Проблема

```text
Fast source ──(1 GB/s)──▶ Slow destination (10 MB/s write speed)
                          ▲
             The 990 MB/s difference piles up in a memory buffer → OOM crash
```

Пример: быстрое чтение большого файла и его запись в медленный сетевой сокет или диск — если вы не уважаете темп назначения, память раздувается.

## pipe автоматически обрабатывает противодавление

```js
import { createReadStream, createWriteStream } from "fs";

// ✅ pipe automatically pauses the source when the destination is full,
//    and resumes it when the destination drains — backpressure handled for you
createReadStream("huge.file").pipe(createWriteStream("copy.file"));
```

Это основная причина использовать `pipe`/`pipeline`: они управляют противодавлением для вас, приостанавливая и возобновляя поток так, чтобы память оставалась ограниченной независимо от несоответствия размеров.

## Обработка вручную с возвращаемым значением write()

```js
// write() returns FALSE when the internal buffer is full — that's the backpressure signal
readable.on("data", (chunk) => {
  const ok = writable.write(chunk);
  if (!ok) {
    readable.pause();                       // stop reading — destination is full
    writable.once("drain", () => readable.resume()); // resume when it drains
  }
});
```

Если вы обрабатываете потоки вручную, правило таково: когда `writable.write()` возвращает `false`, **приостановите** readable, и **возобновите** его при событии `drain` writable. Игнорирование возвращаемого значения `false` — это классическая ошибка противодавления.

## С асинхронной итерацией (современный, чистый способ)

```js
// for-await respects backpressure naturally — it awaits each chunk's processing
for await (const chunk of readable) {
  await processSlowly(chunk); // only pulls the next chunk when ready
}
```

## Предпочитайте pipeline для безопасности

```js
import { pipeline } from "stream/promises";
await pipeline(source, transform, destination); // backpressure + error handling + cleanup
```

## Почему это важно

Противодавление — это тонкое, но критическое понятие для любого интенсивного по данным сервиса Node (обработка файлов, проксирование, потоковая передача, ETL).

Игнорирование его — путем буферизации всего или игнорирования возвращаемого значения `write()` — вызывает неограниченный рост памяти и крахи под нагрузкой, часто только в production с большими данными.

Понимание того, что `pipe`/`pipeline` обрабатывают это автоматически (основная причина их предпочтения), и как его уважать вручную (приостановить при `false`, возобновить при `drain`) или через `for await`, — вот что позволяет вам создавать потоковые системы, которые остаются стабильными по памяти независимо от того, насколько большие или быстрые данные.

Это отличительный признак компетентного использования потоков.