대규모에서 동시성을 제한하는 것은 무엇인가? 경합(contention), 거짓 공유(false sharing), 배압(backpressure)을 설명하라.

Question

IT Interview Practice · Accepted Answer

**대규모에서 처리량은 CPU 수보다 경합, 캐시 효과, 제한 없는 큐에 의해 더 크게 제한됩니다 — 어느 지점을 넘어서 스레드를 추가하면 오히려 느려집니다.** 암달의 법칙(Amdahl's law)과 보편 확장성 법칙(Universal Scalability Law) 모두 이를 예측합니다: 결국 조율 비용이 지배적이 됩니다.

## 경합(Contention)

많은 스레드가 하나의 락이나 캐시 라인을 두고 다투면, 그들은 직렬화되어 일하는 대신 기다리는 데 시간을 씁니다. 보편 확장성 법칙에 따르면, 경합에 **일관성 비용(coherency cost)**이 더해지면 최적 스레드 수를 넘어서면서 처리량이 오히려 *감소*할 수 있습니다.

**완화책**: 데이터를 샤딩/파티셔닝, 스레드별 상태(thread-local, `LongAdder` 같은 스트라이프 카운터), 읽기-쓰기 락, 또는 락프리 구조.

## 거짓 공유(False sharing)

우연히 **같은 CPU 캐시 라인**에 위치한 두 개의 독립적인 변수는, 결코 같은 데이터를 건드리지 않는데도 매 쓰기마다 코어들이 서로의 캐시를 무효화하게 만듭니다 — 조용하고 잔혹한 성능 저하죠.

```text
cache line (64B): [ counterA | counterB ]  ← two cores ping-pong the line
Fix: pad so each hot variable owns its own line
```

```java
@Contended long counterA;   // JVM pads to a separate cache line
```

## 배압(Backpressure)

생산자가 소비자를 앞지르면, 제한 없는 큐는 OOM에 이를 때까지 커지고 지연 시간이 폭발합니다. **배압**은 생산자에게 속도를 늦추라고 신호합니다: 블로킹하거나 거부하는 제한된 큐, 크레딧 기반 흐름 제어, 또는 리액티브 스트림의 `request(n)`.

```text
producer ──▶ [bounded queue full] ──▶ block/reject ──▶ producer slows
```

## 왜 중요한가

이것들이 "4개 코어에서는 된다"와 "64개 코어로 확장된다"를 가르는 효과들입니다. 순진한 설계는 벽에 부딪힙니다: 락이 직렬화되고, 캐시 라인이 스래싱하며, 큐가 부풀어 오릅니다. 경합을 줄이기 위한 샤딩, 거짓 공유를 없애기 위한 패딩, 큐를 제한하기 위한 배압이야말로 실제 부하에서 지연 시간과 처리량을 건강하게 유지하는 지렛대입니다.

경합(Contention)

거짓 공유(False sharing)

배압(Backpressure)

왜 중요한가

관련 질문