Apa itu thread pool? Mengapa menggunakannya, dan bagaimana Anda menentukan ukurannya?

Question

IT Interview Practice · Accepted Answer

**Thread pool adalah sekumpulan worker thread yang tetap dan dapat dipakai ulang yang menarik task dari sebuah work queue bersama.** Ia menghindari biaya membuat satu thread per task dan membatasi jumlah thread yang concurrent.

## Mengapa menggunakannya

Membuat dan menghancurkan thread itu mahal (alokasi stack, penyiapan penjadwalan OS), dan pembuatan thread yang tak terbatas menguras memory dan menyebabkan context-switch thrashing. Sebuah pool mengamortisasi biaya pembuatan dan membatasi concurrency.

```text
tasks →  [ work queue ]  →  worker 1
                            worker 2   (N fixed workers pull & run)
                            worker 3
```

## Contoh

```python
from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=8) as pool:
    futures = [pool.submit(handle, req) for req in requests]
    # 8 threads process the queue; extras wait their turn
```

## Penentuan ukuran

- Pekerjaan **CPU-bound**: ukuran pool ≈ jumlah core. Lebih banyak thread daripada core hanya menambah overhead context-switch tanpa keuntungan parallelism.
- Pekerjaan **I/O-bound**: ukuran lebih besar, kira-kira `cores × (1 + wait_time / compute_time)`, karena thread menghabiskan sebagian besar waktu terblokir dan dapat saling menumpangkan.
- **Batasi queue** juga: queue yang tak terbatas menyembunyikan kelebihan beban dan mengarah ke OOM; queue yang terbatas dengan rejection policy (drop, block, atau shed) menerapkan backpressure.

## Mengapa ini penting

Pool adalah tulang punggung server dan executor. Ukuran yang salah adalah bug performa klasik: terlalu sedikit thread membuat CPU kurang terpakai; terlalu banyak menyebabkan thrashing dan tekanan memory. Menyesuaikan ukuran pool dengan tipe beban kerja (CPU vs I/O) dan membatasi queue menjaga sistem tetap stabil di bawah beban.

Mengapa menggunakannya

Contoh

Penentuan ukuran

Mengapa ini penting

Pertanyaan terkait