streams における backpressure とは何で、どのように扱いますか？

Question

Accepted Answer

**backpressure**（バックプレッシャー）とは、データが**消費されるよりも速く生成される**ときに起こることです。streams において、速い readable ソースが遅い writable 宛先にデータを押し込むと、消費されないデータがメモリにバッファされます。そして対処しないと、そのバッファはメモリが枯渇するまで増え続けます。backpressure は、生産者と消費者のバランスを保つための仕組み（そして規律）です。

## 問題

```text
速いソース ──(1 GB/s)──▶ 遅い宛先（10 MB/s の書き込み速度）
                          ▲
             990 MB/s の差がメモリバッファに積み上がる → OOM クラッシュ
```

例：巨大なファイルを高速に読み込み、遅いネットワークソケットやディスクに書き込む場合 — 宛先のペースを尊重しないと、メモリが膨れ上がります。

## pipe は backpressure を自動的に処理する

```js
import { createReadStream, createWriteStream } from "fs";

// ✅ pipe は宛先が満杯のときソースを自動的に一時停止し、
//    宛先が空くと再開する — backpressure を自動で処理してくれる
createReadStream("huge.file").pipe(createWriteStream("copy.file"));
```

これが `pipe`/`pipeline` を使う大きな理由です。これらは backpressure を代わりに管理し、フローを一時停止・再開して、サイズの不一致に関係なくメモリを有界に保ちます。

## write() の戻り値を使って手動で扱う

```js
// write() は内部バッファが満杯のとき FALSE を返す — それが backpressure のシグナル
readable.on("data", (chunk) => {
  const ok = writable.write(chunk);
  if (!ok) {
    readable.pause();                       // 読み込みを停止 — 宛先が満杯
    writable.once("drain", () => readable.resume()); // 空いたら再開
  }
});
```

streams を手動で扱う場合のルールは：`writable.write()` が `false` を返したら readable を**一時停止**し、writable の `drain` イベントで**再開**することです。`false` の戻り値を無視するのが、典型的な backpressure のバグです。

## 非同期イテレーションで（モダンでクリーン）

```js
// for-await は backpressure を自然に尊重する — 各 chunk の処理を待つ
for await (const chunk of readable) {
  await processSlowly(chunk); // 準備ができたときだけ次の chunk を引き出す
}
```

## 安全のため pipeline を優先する

```js
import { pipeline } from "stream/promises";
await pipeline(source, transform, destination); // backpressure + エラー処理 + クリーンアップ
```

## なぜ重要なのか

backpressure は、データ集約的なあらゆる Node サービス（ファイル処理、プロキシ、ストリーミング、ETL）にとって、微妙ながら決定的に重要な概念です。

これを無視すると — すべてをバッファしたり、`write()` の戻り値を無視したりすると — メモリが際限なく増大し、負荷下でクラッシュします。多くの場合、大量のデータを扱う本番でのみ発生します。

`pipe`/`pipeline` がそれを自動的に処理すること（これらを優先する主な理由）、そして手動で尊重する方法（`false` で一時停止、`drain` で再開）や `for await` 経由での方法を理解することが、データがどれほど大きく速くてもメモリが安定するストリーミングシステムを構築できるかどうかを左右します。

それは熟練したストリーム利用の証なのです。