首页/新闻资讯/正文详情

详解Python如何使用并发模型编程

发布时间:2026/11/17 0:36:01 来源:云帆数科 栏目:资讯中心
详解Python如何使用并发模型编程
前言Python 提供了不止一种并发模型这让初学者很困惑既然有线程为什么还要协程既然有多进程为什么还要线程池答案是它们解决的问题不一样。并发模型的选择取决于任务是在等还是在算以及你要管理的任务量有多大。先立三条本文反复要用的判断。第一GIL全局解释器锁是 CPython 的实现细节它让同一进程内同一时刻只有一个线程执行 Python 字节码所以多线程对 CPU 密集任务基本没有加速对 I/O 密集任务有效等待时会释放 GIL。第二CPU 密集要并行就用multiprocessing或concurrent.futures.ProcessPoolExecutor每个进程有独立的解释器和独立的 GIL。第三现在跑 Python 已经不带 GIL 了这个说法是错的——PEP 703 的自由线程构建从 3.13 起是实验性的、非默认需要单独的可执行文件而且去掉 GIL 不等于自动变快。本文把这四种模型摆在一起对比给出各自的适用边界和能跑的骨架。示例按 Python 3.8 编写。一、四模型总览模型并行还是并发适合任务主要成本threading并发受 GIL 限制I/O 密集线程切换、需自己加锁multiprocessing真并行CPU 密集进程启动开销、数据要可序列化asyncio单线程并发海量 I/O 连接阻塞调用会拖垮整个事件循环concurrent.futures上面两者的统一封装大多数批量任务便利性换一点灵活性有一张速查表你的任务选择抓几百个网页ThreadPoolExecutor压缩几百个文件计算密集ProcessPoolExecutor维持上万个长连接asyncio只是想让一个耗时函数别挡住主流程threading.Thread不确定先量一下时间花在算还是等二、threading把等待重叠起来线程是最直观的模型开一个线程跑一个函数。# 适用于 Python 3.8import threadingimport timedef task(name):time.sleep(0.5) # 模拟 I/O 等待print(f{name} 完成)threads [threading.Thread(targettask, args(ft{i},)) for i in range(3)]for t in threads:t.start()for t in threads:t.join() # 等全部结束三个线程的等待重叠总耗时接近 0.5 秒而非 1.5 秒。共享状态要用Lock保护或者干脆用线程安全的queue.Queue传递数据Queue内部实现了锁多个线程同时读写不会破坏内部状态。线程模型的短板是管理:线程数一多切换开销和共享状态的复杂度都上一个台阶。这时候用线程池更合适——固定几个工作线程把任务排队。三、multiprocessingCPU 密集的正解进程模型绕开了 GIL因为每个进程都是独立的解释器。代价是启动开销大且进程之间通过序列化传数据所以传给子进程的参数和返回的结果都必须是可序列化pickle的。# 适用于 Python 3.8Windows 下必须放在 if __name__ 保护内调用from multiprocessing import Pooldef square(x):return x * xdef main():with Pool(4) as pool:results pool.map(square, range(10))print(list(results))if __name__ __main__:main()这里的if __name__ __main__:不是装饰而是 Windows 上的硬性要求。原因在于 Windows 没有 fork启动子进程用的是 spawn新进程会重新导入主模块。如果创建进程池的代码写在模块顶层子进程导入时又会执行一遍这段代码、又去创建进程池如此递归下去程序会不断重启子进程直到崩溃。把入口逻辑放进这个保护块子进程导入时就不会重复执行。如果漏写保护在 Windows 上典型的表现是反复输出重复的启动信息或直接抛出RuntimeError: An attempt has been made to start a new process beforethe current process has finished its bootstrapping phase.进程数迅速膨胀最终内存耗尽或被系统终止。四、asyncio单线程处理海量连接asyncio走的是另一条路单线程 事件循环用async def定义协程用await在等待处主动让出控制权。它的优势是把每个连接一个线程的内存开销降到每个连接一个协程。# 适用于 Python 3.8import asyncioasync def fetch(name, delay):await asyncio.sleep(delay) # 让出控制权事件循环去跑别的协程return f{name} 完成async def main():results await asyncio.gather(fetch(a, 0.5),fetch(b, 0.3),fetch(c, 0.2),)print(results)asyncio.run(main()) # asyncio.run() 是 3.7 新增的入口函数asyncio.gather()把多个协程并发跑起来并收集结果。两点必须记住一是asyncio.run()需要 Python 3.7 及以上二是协程里绝对不能调用阻塞函数——一句普通的time.sleep(1)而不是await asyncio.sleep(1)会把整个事件循环卡住一秒所有协程一起停顿。CPU 密集的代码同理会把事件循环占满让并发完全失效。阻塞和协程混用时可以用asyncio.to_thread()把阻塞函数丢进线程执行需要 Python 3.9 及以上避免堵住循环。五、concurrent.futures统一的池化接口concurrent.futures把线程池和进程池抽象成同一套接口两者都通过submit提交任务、返回Future用as_completed按完成顺序收集。# 适用于 Python 3.8from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor, as_completedimport timedef io_task(n):time.sleep(0.2)return n * 2def cpu_task(n):return sum(i * i for i in range(n))def main():with ThreadPoolExecutor(max_workers4) as pool:futures [pool.submit(io_task, i) for i in range(8)]for f in as_completed(futures):print(I/O 结果:, f.result())with ProcessPoolExecutor(max_workers4) as pool:futures [pool.submit(cpu_task, 100000) for _ in range(4)]print(CPU 结果:, [f.result() for f in as_completed(futures)])if __name__ __main__:main()submit(fn, *args)返回Futuref.result()取结果如果任务抛了异常异常会在这里重新抛出——这是它比裸线程更好用的地方错误不会被悄悄吞掉。as_completed()按完成顺序产出map()则按输入顺序返回。注意上面第二个块用了ProcessPoolExecutor所以整个main()被放在if __name__ __main__:保护之内同样是 Windows 下 spawn 启动的硬性要求。常见坑点用多线程加速 CPU 密集任务。受 GIL 限制同一进程同一刻只有一个线程执行字节码纯计算不会因加线程而变快。❌ 用ThreadPoolExecutor跑大量数值计算期待提速 ✅ 改用ProcessPoolExecutor或multiprocessing各进程有独立解释器和独立 GIL。误以为现在跑 Python 已经不带 GIL 了。自由线程构建在 3.13 起是实验性的、非默认需要单独的可执行文件。❌ 新版 Python 里多线程已经能让纯计算任务真正并行提速 ✅ 自由线程是实验特性且去掉 GIL 不等于自动变快单线程可能更慢。Windows 下漏写if __name__ __main__:。spawn 启动的子进程重新导入主模块会再次执行创建进程池的代码导致无限重启子进程。❌ 把Pool(...)或ProcessPoolExecutor(...)直接写在模块顶层 ✅ 入口逻辑放进if __name__ __main__:保护块。在协程里调用阻塞函数。time.sleep()、同步的网络或磁盘调用会把整个事件循环卡住所有协程一起停。❌ 在async def里写time.sleep(1)✅ 用await asyncio.sleep(1)或用asyncio.to_thread()把阻塞调用挪出循环。传不可序列化的参数给子进程。进程间要 pickle 传递lambda、打开的文件句柄、数据库连接都传不过去。❌pool.submit(lambda x: x 1, 1)✅ 用模块级的具名函数参数与返回值限制为可序列化的基本类型。创建进程池时不限制并发数或忘了关闭。默认工作进程数可能远超机器核数且不关闭会留下悬挂进程。❌ProcessPoolExecutor()后不shutdown✅ 用with ProcessPoolExecutor(...) as pool:让上下文管理器负责收尾。以为Future.result()会立刻返回。它是阻塞调用会一直等到任务结束在主线程里对第一个Future直接result()会让并发退化成串行等待。❌ 按提交顺序逐个result()而不先等其他任务 ✅ 用as_completed()按完成顺序收集或最后统一取结果。在asyncio里用asyncio.get_event_loop()拿循环。3.10 起在没有运行中的事件循环时它会发DeprecationWarning行为也在版本间调整过。❌ 老代码里到处asyncio.get_event_loop().run_until_complete(...)✅ 用asyncio.run(main())作为入口3.7让它在内部管理循环。总结需求模型关键约束I/O 密集、任务量中等threading/ThreadPoolExecutor共享状态加锁用Queue传递数据CPU 密集multiprocessing/ProcessPoolExecutor参数可序列化Windows 需要__main__保护超大量 I/O 连接asyncio循环内不得有阻塞调用asyncio.run()需 3.7批量任务、要统一接口concurrent.futuressubmit/map/as_completed异常经Future传回并行计算多进程不要指望线程并发模型没有最好的只有匹配当前任务的。先判断任务是在等还是在算再决定用线程、进程还是协程判断错了代码写得再漂亮也只是原地打转。

相关推荐

BP神经网络驱动的PIFA天线优化:从S11预测到参数快速寻优
BP神经网络驱动的PIFA天线优化:从S11预测到参数快速寻优

简介:PDF文档《基于BP神经网络的PIFA天线结构优化设计》聚焦移动通信天线小型化设计中的参数优化难题,面向从事天线设计、电磁仿真及神经网络应用的研究人员与工程师。文档提出以BP神经网络拟合PIFA天线结构参数与S参数之间的非线性关系,结合… · 2026/11/15 7:58:03

OpenClaw与飞书集成:打造企业级AI数字员工
OpenClaw与飞书集成:打造企业级AI数字员工

1. 项目概述:当AI助手遇上企业协作平台OpenClaw作为一款开源的AI代理网关,正在重新定义我们与人工智能的交互方式。不同于传统的云端AI服务,它采用本地优先的架构设计,将大语言模型的推理能力下沉到用户控制的硬件设备上。这种设计… · 2026/11/13 23:48:14

Navicat for MySQL 10.0.11简体中文版深度实战指南
Navicat for MySQL 10.0.11简体中文版深度实战指南

简介:本资源为Navicat for MySQL 10.0.11简体中文版安装包,面向数据库管理员、后端开发人员及MySQL初学者,解决跨平台(Windows/Mac/Linux)下MySQL数据库可视化管理、SQL开发与运维效率低下的核心问题。压缩包为RAR格式… · 2026/11/8 0:54:16

太原考电工证多久模拟考试题库官方报名入口在哪
太原考电工证多久模拟考试题库官方报名入口在哪

太原考电工证多久模拟考试题库官方报名入口在哪 之前考的证在外省能不能转过来,这事儿真不是小事。我这边就遇到个老熟人,南阳卧龙区的,他早年在河南考的电工证,现在想回太原干点活儿,结果一打听,才知道跨省转证流程复杂,材料一堆,还得分清楚是低压还… · 2026/11/17 0:35:41

徐工特种机械营业执照怎么转异地 2026河南最新政策全解析
徐工特种机械营业执照怎么转异地 2026河南最新政策全解析

徐工特种机械营业执照怎么转异地 2026河南最新政策全解析 怕考不过白交培训费?你不是一个人!最近在洛阳涧西区,有位建筑工人老张就因为没搞清楚2026河南最新政策,结果报名了徐工特种机械营业执照的培训课程,最后因为材料不全、政策不符,培训费… · 2026/11/17 0:35:41

低压电工证的目的官方回应:外省证能不能转过来?怎么考更靠谱
低压电工证的目的官方回应:外省证能不能转过来?怎么考更靠谱

低压电工证的目的官方回应:外省证能不能转过来?怎么考更靠谱 之前考的证在外省能不能转过来?这个问题最近在咱们电工圈里讨论得特别多。官方回应已经明确: 跨省证是可以转移的,但必须通过全国统一的“特种作业操作证”系统进行信息变更。… · 2026/11/17 0:35:41

工地太忙根本没时间复习考试 电工证没有原件怎么查怎么报名全攻略
工地太忙根本没时间复习考试 电工证没有原件怎么查怎么报名全攻略

工地太忙根本没时间复习考试 电工证没有原件怎么查怎么报名全攻略 工地太忙根本没时间复习考试,手里拿着一个电工证却不知道怎么查,更不知道怎么报名继续教育,这事儿在我们这行太常见了。尤其是像濮阳房建工程的从业者,每天在工地上跑来跑去,连抽空看看… · 2026/11/17 0:35:41

文盲考电工证有用吗 电子证书全国通用吗
文盲考电工证有用吗 电子证书全国通用吗

文盲考电工证有用吗 电子证书全国通用吗 怕考不过白交培训费?这事儿真不是开玩笑的。尤其是对文化程度不高的朋友来说,考个电工证听起来容易,但实际操作起来可不简单。很多人担心自己文盲身份会影响考试成绩,甚至怀疑 电子证书… · 2026/11/17 0:35:41

学高压电工证怎么收费电子证书查询
学高压电工证怎么收费电子证书查询

高压电工证培训费贵不贵?含金量到底值不值得考 怕考不过白交培训费?学高压电工证怎么收费?这是很多人报名前最担心的问题。别急,今天我就从一线操作员和培训机构角度,说说高压电工证的费用结构、含金量以及你最关心的通过率问题,别再被乱收费忽悠了。… · 2026/11/17 0:34:41

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码