多进程(Multiprocessing)
一句话解释
multiprocessing 运行具有独立内存的独立进程,实现真正的多核 CPU 并行。
用大白话说
multiprocessing 模块创建独立的操作系统进程,每个有自己的 Python 解释器和内存空间。由于每个进程有自己的 GIL,你可以获得 CPU 密集型工作的真正并行。进程默认不共享内存,所以你用 Queue、Pipe 或 Value/Array(共享内存)来通信。启动进程和序列化数据有开销,所以只对大量 CPU 工作才值得。concurrent.futures.ProcessPoolExecutor 提供类似 ThreadPoolExecutor 的简洁高级 API,但使用进程。
示例
python
from multiprocessing import Pool
import math
def is_prime(n):
if n < 2:
return False
for i in range(2, int(math.sqrt(n)) + 1):
if n % i == 0:
return False
return True
if __name__ == "__main__":
numbers = range(10_000, 10_100)
with Pool(4) as pool: # 4 processes
results = pool.map(is_prime, numbers)
primes = [n for n, p in zip(numbers, results) if p]
print(f"Found {len(primes)} primes")Pool(4) 创建 4 个工作进程。pool.map 将工作分配到各进程——真正的并行 CPU 执行,绕过 GIL。
常见混淆
容易混淆的对象: 线程
关键区别: 多进程使用独立进程(真正并行,无 GIL,独立内存)。线程在一个进程内使用线程(GIL 限制 CPU 并行,共享内存)。CPU 密集型用多进程,I/O 密集型用线程。
相关术语
相关资源
相关课程
- Python 并发
多进程。
解读错误信息
用大白话解释常见错误——什么意思、为什么发生、如何修复。