Thread pool là gì? Vì sao dùng nó, và cỡ pool nên đặt bao nhiêu?

Question

IT Interview Practice · Accepted Answer

**Thread pool là một tập cố định các worker thread tái sử dụng, lấy task từ một work queue dùng chung.** Nó tránh chi phí tạo một thread cho mỗi task và giới hạn số thread chạy đồng thời.

## Vì sao dùng

Tạo và huỷ thread tốn kém (cấp phát stack, thiết lập scheduling ở OS), và tạo thread không giới hạn làm cạn bộ nhớ và gây thrashing do context-switch. Pool phân bổ đều chi phí tạo và chặn trên số concurrency.

```text
tasks →  [ work queue ]  →  worker 1
                            worker 2   (N worker cố định lấy & chạy)
                            worker 3
```

## Ví dụ

```python
from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=8) as pool:
    futures = [pool.submit(handle, req) for req in requests]
    # 8 thread xử lý queue; phần dư chờ tới lượt
```

## Chọn cỡ pool

- **Việc CPU-bound**: cỡ pool ≈ số core. Nhiều thread hơn số core chỉ thêm overhead context-switch mà không tăng parallelism.
- **Việc I/O-bound**: đặt lớn hơn, khoảng `cores × (1 + wait_time / compute_time)`, vì thread phần lớn thời gian bị block và có thể chồng lấn.
- **Giới hạn cả queue**: queue không giới hạn che giấu quá tải và dẫn tới OOM; queue có giới hạn kèm chính sách từ chối (drop, block, hoặc shed) tạo backpressure.

## Tại sao điều này quan trọng

Pool là xương sống của server và executor. Chọn cỡ sai là lỗi hiệu năng kinh điển: quá ít thread thì CPU không dùng hết; quá nhiều thì thrashing và áp lực bộ nhớ. Khớp cỡ pool với loại workload (CPU vs I/O) và giới hạn queue giữ hệ thống ổn định khi tải cao.

Vì sao dùng

Ví dụ

Chọn cỡ pool

Tại sao điều này quan trọng

Câu hỏi liên quan