Mengapa Nginx kehabisan koneksi saat penggunaan CPU rendah?

Question

IT Interview Practice · Accepted Answer

Koneksi dapat memakai sumber daya ketika menunggu, meskipun penggunaan CPU rendah. Identifikasi dahulu batas yang tercapai, bukan mengasumsikan mesin memerlukan daya pemrosesan lebih besar.

## Hitung kedua sisi permintaan proxy

```text
Client -- socket A --> Nginx -- socket B --> Backend
```

Permintaan HTTP/1.x yang diproxy dapat memakai satu koneksi klien dan satu koneksi upstream. Jika backend macet, keduanya dapat tetap terpakai. `worker_connections` mencakup koneksi upstream, jadi nilainya bukan sekadar jumlah pengguna yang didukung.

## Ubah kesalahan menjadi pemeriksaan

- `worker_connections are not enough`: periksa batas koneksi per-worker yang dikonfigurasi dan koneksi saat ini.
- `Too many open files`: periksa batas file descriptor efektif worker. Descriptor adalah handle sistem operasi untuk socket dan berkas.
- Waktu respons upstream meningkat: selidiki pekerjaan backend yang menahan koneksi tersebut.

Sebagai ilustrasi, 1.000 permintaan proxy aktif bersamaan mungkin memerlukan sekitar 2.000 socket di kedua sisi proxy. Ini bukan rumus kapasitas: HTTP/2, penggunaan ulang keepalive, dan koneksi idle mengubah hubungannya.

## Tambah kapasitas setelah menemukan penyebab

Perbaiki pekerjaan backend yang macet atau batasi permintaan menunggu terlebih dahulu. Jika trafik sehat melampaui batas, selaraskan pengaturan worker, batas proses, dan memori, lalu lakukan load test. Pastikan throughput berhasil dan latensi membaik, bukan sekadar mengizinkan antrean lebih panjang.

[Dokumentasi resmi](https://nginx.org/en/docs/ngx_core_module.html#worker_connections).

Hitung kedua sisi permintaan proxy

Ubah kesalahan menjadi pemeriksaan

Tambah kapasitas setelah menemukan penyebab

Pertanyaan terkait