你何时选择 threading、multiprocessing 或 asyncio？

Question

Accepted Answer

Python 提供三种并发模型，选择正确的模型主要取决于你的工作是 **I/O 密集型** 还是 **CPU 密集型** — 这个决定在很大程度上由 GIL 影响（GIL 阻止线程并行运行 Python 代码）。

## 三种模型

```text
threading        → multiple threads, ONE process. GIL-limited for CPU.
multiprocessing  → multiple PROCESSES, each its own interpreter/GIL → true parallelism.
asyncio          → single thread, cooperative coroutines yielding at await points.
```

## threading — 用于 I/O 密集型并发

```python
from concurrent.futures import ThreadPoolExecutor

# ✅ good for I/O — the GIL is RELEASED during I/O waits, so waits overlap
with ThreadPoolExecutor(max_workers=10) as ex:
    results = list(ex.map(download_url, urls))   # many downloads concurrently
```

线程适合 I/O 密集型任务（网络、文件、数据库），因为在等待时 GIL 会被释放 — 多个等待可以并发进行。但线程 **不能** 加速 CPU 密集型工作。

## multiprocessing — 用于 CPU 密集型并行

```python
from concurrent.futures import ProcessPoolExecutor

# ✅ good for CPU — separate processes each have their own GIL → use all cores
with ProcessPoolExecutor(max_workers=4) as ex:
    results = list(ex.map(heavy_computation, data))   # genuine parallelism
```

对于 CPU 密集型工作（图像处理、数学计算、数据处理），独立的进程绕过单一 GIL 并在多核上真正并行运行。代价是：更高的开销（进程启动）且数据必须在进程间 **序列化**（默认无共享内存）。

## asyncio — 用于高并发 I/O

```python
import asyncio
# ✅ best for MANY concurrent I/O operations (thousands) — lightest weight
await asyncio.gather(*(fetch(url) for url in urls))
```

asyncio 在一个线程上处理大量并发 I/O 操作，比线程更高效（无线程开销） — 理想用于服务器和高并发网络代码。

## 决策指南

```text
CPU-bound (computation)              → multiprocessing
I/O-bound, moderate concurrency      → threading (simple, works with sync libraries)
I/O-bound, HIGH concurrency          → asyncio (thousands of connections, but needs
                                       async-compatible libraries)
Mixed CPU + I/O                       → combine (e.g. asyncio + a process pool for CPU)
```

## 为什么这很重要

选择正确的并发模型是 Python 性能决策中最重要的之一，选错了（常见错误：对 CPU 密集型工作使用线程，GIL 使其无用）会导致代码无法扩展。

指导逻辑来自 GIL：**对 I/O 密集型使用 threads/asyncio**（GIL 在等待时被释放 — 并发有效）和 **对 CPU 密集型使用 multiprocessing**（独立的 GIL 实现真正并行），当并发程度很高时首选 asyncio。

理解每种模型的优势、成本（进程开销/序列化、asyncio 的库要求）和 I/O 与 CPU 的决策对编写能实际提升性能的并发 Python 代码至关重要。