stream에서 backpressure란 무엇이며 어떻게 처리하나요?

Question

Accepted Answer

**backpressure**는 데이터가 소비되는 속도보다 **빠르게 생산될** 때 일어나는 현상입니다. stream에서 빠른 readable 소스가 느린 writable 목적지로 데이터를 밀어 넣으면, 소비되지 못한 데이터가 메모리에 버퍼링되며 — 처리하지 않으면 그 버퍼가 메모리가 고갈될 때까지 커집니다. backpressure는 생산자와 소비자를 균형 있게 유지하는 메커니즘(이자 규율)입니다.

## 문제

```text
Fast source ──(1 GB/s)──▶ Slow destination (10 MB/s write speed)
                          ▲
             The 990 MB/s difference piles up in a memory buffer → OOM crash
```

예: 거대한 파일을 빠르게 읽어 느린 네트워크 소켓이나 디스크에 쓰는 경우 — 목적지의 속도를 존중하지 않으면 메모리가 부풀어 오릅니다.

## pipe는 backpressure를 자동으로 처리합니다

```js
import { createReadStream, createWriteStream } from "fs";

// ✅ pipe automatically pauses the source when the destination is full,
//    and resumes it when the destination drains — backpressure handled for you
createReadStream("huge.file").pipe(createWriteStream("copy.file"));
```

이것이 `pipe`/`pipeline`을 사용하는 주요 이유입니다. 이들은 backpressure를 대신 관리하여, 흐름을 멈추고 재개함으로써 크기 불일치와 무관하게 메모리가 한정되게 유지합니다.

## write()의 반환값으로 수동 처리

```js
// write() returns FALSE when the internal buffer is full — that's the backpressure signal
readable.on("data", (chunk) => {
  const ok = writable.write(chunk);
  if (!ok) {
    readable.pause();                       // stop reading — destination is full
    writable.once("drain", () => readable.resume()); // resume when it drains
  }
});
```

stream을 수동으로 처리한다면 원칙은 이렇습니다. `writable.write()`가 `false`를 반환하면 readable을 **pause**하고, writable의 `drain` 이벤트에서 **resume**합니다. `false` 반환을 무시하는 것이 전형적인 backpressure 버그입니다.

## 비동기 반복(async iteration)으로(현대적, 깔끔함)

```js
// for-await respects backpressure naturally — it awaits each chunk's processing
for await (const chunk of readable) {
  await processSlowly(chunk); // only pulls the next chunk when ready
}
```

## 안전을 위해 pipeline을 선호하세요

```js
import { pipeline } from "stream/promises";
await pipeline(source, transform, destination); // backpressure + error handling + cleanup
```

## 왜 중요한가

backpressure는 데이터 집약적인 모든 Node 서비스(파일 처리, 프록싱, 스트리밍, ETL)에서 미묘하지만 중요한 개념입니다.

이를 무시하면 — 모든 것을 버퍼링하거나 `write()`의 반환값을 무시함으로써 — 메모리가 무제한으로 증가하고 부하에서 충돌하며, 종종 대용량 데이터가 있는 프로덕션에서만 나타납니다.

`pipe`/`pipeline`이 이를 자동으로 처리한다는 점(이들을 선호하는 주된 이유)과, 수동으로(`false`에서 pause, `drain`에서 resume) 또는 `for await`로 존중하는 방법을 이해하는 것이 데이터가 아무리 크거나 빠르든 메모리가 안정적으로 유지되는 스트리밍 시스템을 구축하게 합니다.

이는 능숙한 stream 사용의 분명한 표시입니다.