What is a thread pool? Why use one, and how do you size it?

Question

IT Interview Practice · Accepted Answer

**thread pool అనేది ఒక shared work queue నుండి tasks ను తీసుకునే reusable worker threads యొక్క fixed set.** ఇది ప్రతి task కు ఒక thread ను create చేసే ఖర్చును నివారిస్తుంది మరియు concurrent threads సంఖ్యను పరిమితం చేస్తుంది.

## ఒకదాన్ని ఎందుకు ఉపయోగించాలి

threads ను create మరియు destroy చేయడం ఖరీదైనది (stack allocation, OS scheduling setup), మరియు అపరిమిత thread creation memory ను ఖాళీ చేస్తుంది మరియు context-switch thrashing కు కారణమవుతుంది. ఒక pool creation ఖర్చును విస్తరించి concurrency ను పరిమితం చేస్తుంది.

```text
tasks →  [ work queue ]  →  worker 1
                            worker 2   (N fixed workers pull & run)
                            worker 3
```

## ఉదాహరణ

```python
from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=8) as pool:
    futures = [pool.submit(handle, req) for req in requests]
    # 8 threads process the queue; extras wait their turn
```

## Sizing

- **CPU-bound** పని: pool size ≈ cores సంఖ్య. cores కంటే ఎక్కువ threads కేవలం parallelism లాభం లేకుండా context-switch overhead ను జోడిస్తాయి.
- **I/O-bound** పని: పెద్దగా size చేయండి, సుమారుగా `cores × (1 + wait_time / compute_time)`, ఎందుకంటే threads ఎక్కువ సమయం blocked గా గడుపుతాయి మరియు overlap అవ్వగలవు.
- **queue ను కూడా పరిమితం చేయండి**: అపరిమిత queue overload ను దాచి OOM కు దారితీస్తుంది; rejection policy (drop, block, లేదా shed) తో ఉన్న bounded queue backpressure ను వర్తింపజేస్తుంది.

## ఇది ఎందుకు ముఖ్యం

Pools అనేవి servers మరియు executors యొక్క వెన్నెముక. తప్పు sizing ఒక classic performance bug: చాలా తక్కువ threads CPU ను తక్కువగా ఉపయోగిస్తాయి; చాలా ఎక్కువ thrashing మరియు memory pressure కు కారణమవుతాయి. pool size ను workload type (CPU vs I/O) కు సరిపోల్చడం మరియు queue ను పరిమితం చేయడం system ను load కింద స్థిరంగా ఉంచుతుంది.

ఒకదాన్ని ఎందుకు ఉపయోగించాలి

ఉదాహరణ

Sizing

ఇది ఎందుకు ముఖ్యం

సంబంధిత ప్రశ్నలు