CPU使用率が低くても、待機中の接続はリソースを占有します。処理能力の追加が必要だと決めつけず、まずどの上限に達したか特定します。
Client -- socket A --> Nginx -- socket B --> Backend
プロキシされたHTTP/1.xリクエストは、クライアント接続とupstream接続を1つずつ使う場合があります。バックエンドが停滞すると両方が占有されたままになります。worker_connectionsにはupstream接続も含まれるため、その値は単純な対応ユーザー数ではありません。
ジュニアからシニアまで、詳細な回答付きのIT面接質問ライブラリ。
寄付するworker_connections are not enough：workerごとの接続上限設定と現在の接続数を確認します。Too many open files：workerに実際に適用されるファイルディスクリプター上限を確認します。ディスクリプターはソケットやファイルに使われるOSのハンドルです。例として、同時にアクティブなプロキシリクエスト1,000件には、両側でおよそ2,000個のソケットが必要になることがあります。これはサイジング式ではありません。HTTP/2、keepalive再利用、アイドル接続によって関係は変わります。
まず停滞したバックエンド処理を直すか、待機リクエストを制限します。正常なトラフィックが上限を超えるなら、worker設定、プロセス上限、メモリーを整合させて負荷テストします。単にキューを長くするのではなく、成功スループットとレイテンシーが改善したことを確認してください。