CPU 사용률이 낮아도 Nginx 연결이 고갈되는 이유는 무엇인가요?

Question

IT Interview Practice · Accepted Answer

연결은 CPU 사용률이 낮아도 기다리는 동안 자원을 점유할 수 있습니다. 처리 성능을 늘려야 한다고 가정하기 전에 어느 한도에 도달했는지 확인합니다.

## 프록시 요청의 양쪽 연결 세기

```text
Client -- socket A --> Nginx -- socket B --> Backend
```

프록시된 HTTP/1.x 요청은 클라이언트 연결 하나와 upstream 연결 하나를 사용할 수 있습니다. 백엔드가 멈추면 둘 다 점유된 채 남을 수 있습니다. `worker_connections`는 upstream 연결도 포함하므로 단순히 지원 사용자 수를 의미하지 않습니다.

## 오류를 확인 항목으로 바꾸기

- `worker_connections are not enough`: 설정된 worker별 연결 한도와 현재 연결을 확인합니다.
- `Too many open files`: worker에 실제 적용된 파일 디스크립터 한도를 확인합니다. 디스크립터는 소켓과 파일에 사용하는 운영체제 핸들입니다.
- upstream 응답 시간이 증가함: 연결을 계속 점유하게 하는 백엔드 작업을 조사합니다.

예를 들어 동시에 활성인 프록시 요청 1,000개는 양쪽에서 대략 2,000개 소켓을 필요로 할 수 있습니다. 이는 용량 산정 공식이 아닙니다. HTTP/2, keepalive 재사용, 유휴 연결에 따라 관계가 달라집니다.

## 원인을 찾은 뒤 용량 늘리기

먼저 정체된 백엔드 작업을 수정하거나 대기 요청을 제한합니다. 정상 트래픽이 한도를 넘으면 worker 설정, 프로세스 한도, 메모리를 맞춘 뒤 부하 테스트합니다. 단순히 더 긴 큐를 허용하는 대신 성공 처리량과 지연 시간이 개선되는지 확인합니다.

[공식 문서](https://nginx.org/en/docs/ngx_core_module.html#worker_connections).

프록시 요청의 양쪽 연결 세기

오류를 확인 항목으로 바꾸기

관련 질문

원인을 찾은 뒤 용량 늘리기