병목이 CPU, memory, I/O, network 중 무엇인지 어떻게 판단하나요?

Question

Accepted Answer

**자원의 utilization과 saturation을 보고, 측정으로 확인하세요.** 체계적인 접근 — **USE 방법**(Utilization, Saturation, Errors) — 은 각 자원을 점검하여 엉뚱한 자원을 탓하지 않게 합니다.

## USE 방법

모든 자원(CPU, memory, disk, network)에 대해 세 가지를 묻습니다:

```text
UTILIZATION → 얼마나 바쁜가 (사용 시간 %)?
SATURATION  → 얼마나 많은 작업이 대기/큐에 있는가 (load, run queue, swap)?
ERRORS      → 오류가 있는가 (드롭된 packet, disk 오류, OOM kills)?
→ 단지 바쁜 게 아니라 saturated된 자원이 보통 병목이다.
```

## 자원별 도구와 증상

각 자원은 표준 도구로 읽을 수 있는 고유한 특징을 갖습니다:

```text
CPU     → top/htop: 높은 %us 또는 load > 코어 수, run queue 적체
MEMORY  → free/vmstat: 낮은 free RAM + 높은 SWAP in/out (si/so) → swapping = thrashing
DISK I/O→ iostat/vmstat: 높은 %iowait, %util ~100%, 높은 await → I/O-bound
NETWORK → iftop/sar/ss: 대역폭 포화, retransmit, 높은 latency
```

핵심 구분: **높은 load와 높은 %us**는 CPU-bound; **swapping (si/so)**은 memory 압박; **높은 %iowait**은 CPU가 *disk를 기다리며* 유휴 상태; 높은 **latency/retransmit**은 network를 가리킵니다.

```text
$ vmstat 1
 r  b   swpd  free   si  so   bi   bo  us sy id wa
 8  0      0  120m   0   0   12   20  92  6  2  0   ← CPU-bound (id=0, wa=0)
 1  3 800m   30m  40 120  900    8   5  3  2 90   ← I/O + swap (wa=90, so>0)
```

## 측정으로 확인

절대 하나의 숫자에서 멈추지 마세요. 프로세스를 **profile**하여(예: `perf`, CPU/heap profiler) 핫 함수나 allocation을 찾고, 한 가지를 바꾸고, **재측정**하세요. 증상은 오해를 부를 수 있습니다 — 높은 CPU가 실제로는 lock contention으로 인한 busy-wait이지 진짜 작업이 아닐 수 있습니다.

## 왜 중요한가

엉뚱한 자원을 고치면(CPU-bound 장비에 RAM 추가) 돈을 낭비하고 도움이 안 됩니다. USE 방법에 올바른 도구를 더하면 실제 제약을 빠르게 격리하고, 재측정은 수정이 효과가 있었음을 확인합니다.