首页/新闻资讯/正文详情

python 多线程+队列的简单应用

发布时间:2026/11/21 17:21:08 来源:云帆数科 栏目:资讯中心
python 多线程+队列的简单应用
在实际处理需求的过程中博主比较偏爱使用多线程threading队列queue的方式 去开发代码。本文注重的是搭建模板框架仅供参考举例以豆瓣电影的排行为例写个简单的demo。豆瓣链接https://movie.douban.com/top250?start0filter一共也就10页!直接上代码importjsonimporttimeimporturllib3importthreadingfromqueueimportQueuefromloguruimportlogger urllib3.disable_warnings()classCrawlDoubanMovie(object):def__init__(self):self.max_times5self.queue_reqQueue()# 创建塞入任务defcreate_tasks(self):foriinrange(1,11):self.queue_req.put({page_num:i,retry_times:0})logger.info(f本次任务数量:{self.queue_req.qsize()})# 请求解析操作defget_content_from_web(self,page):pass# 解析任务defparse_task(self,task_info):page_numtask_info[page_num]retry_timestask_info.get(retry_times,0)logger.info(f正在访问第【{page_num}】页)ifretry_timesself.max_times:logger.error(f抓取失败已达到最大重试次数page_num:{page_num})returnlogger.info(f正在访问豆瓣电影第【{page_num}】页(第{retry_times1}次尝试))try:self.get_content_from_web(page_num)exceptExceptionasexc:logger.warning(f抓取失败:{exc}, 准备重试! page_num:{page_num})time.sleep(1)# 加入延迟防止疯狂重试self.queue_req.put({page_num:page_num,retry_times:retry_times1})else:logger.info(f抓取成功返回内容! page_num:{page_num})defmain_run(self):whileTrue:task_infoself.queue_req.get()iftask_infoisNone:self.queue_req.task_done()breakelse:try:self.parse_task(task_info)finally:self.queue_req.task_done()# 放在 finally 里防止异常导致 join 卡死if__name____main__:threading_num6crawlCrawlDoubanMovie()crawl.create_tasks()threads[]foriinrange(threading_num):tthreading.Thread(targetcrawl.main_run)t.daemonTruet.start()threads.append(t)crawl.queue_req.join()# 任务全部完成后给每个线程发送退出信号 Nonefor_inrange(threading_num):crawl.queue_req.put(None)logger.info(所有任务执行完毕)模块和函数之间非常的清晰明了create_tasks() 就负责初始化创建任务get_content_from_web负责请求和解析数据parse_task() 负责解析任务这里面还包括了错误重试并重新放入队列中。main_run主函数 启动程序搭配了多线程提升很多也用到了队列。运行效果图不仅使用方式简单实用而且速度也是相当的快。再重构一下ThreadPoolExecutor改用 Python 标准库的concurrent.futures.ThreadPoolExecutor优势不用管 None 信号不用管 task_done不用管 join。代码少了三分之一。天然支持获取返回结果。遇到异常不会卡死。importtimefromloguruimportloggerfromconcurrent.futuresimportThreadPoolExecutor,as_completedclassCrawlDoubanMovie(object):def__init__(self):self.max_times5defget_content_from_web(self,page):# 模拟网络请求假设 3 和 7 会失败ifpagein(3,7):raiseValueError(模拟网络超时)time.sleep(0.1)returnf第{page}页内容defcrawl_page_with_retry(self,page_num):带重试的单个任务处理函数forattemptinrange(1,self.max_times1):logger.info(f正在访问豆瓣电影第【{page_num}】页(尝试{attempt}/{self.max_times}))try:contentself.get_content_from_web(page_num)logger.success(f抓取成功! page_num:{page_num})returncontentexceptExceptionasexc:logger.warning(f抓取失败:{exc}, page_num:{page_num})ifattemptself.max_times:logger.error(fpage_num:{page_num}已达到最大重试次数放弃)returnNonetime.sleep(1)# 失败后等待 1 秒再试defmain_run(self,page_nums):# 设置最大并发数为 6withThreadPoolExecutor(max_workers6)asexecutor:# 提交所有任务到线程池future_to_page{executor.submit(self.crawl_page_with_retry,page):pageforpageinpage_nums}# 等待所有任务结束并获取结果forfutureinas_completed(future_to_page):pagefuture_to_page[future]try:resultfuture.result()# 这里可以处理成功的结果比如存入数据库ifresult:passexceptExceptionasexc:logger.error(f任务{page}发生未知异常:{exc})if__name____main__:crawlCrawlDoubanMovie()# 直接生成页码列表提交crawl.main_run(range(1,11))logger.info(全部任务结束)ThreadPoolExecutor 写法代码更清晰维护成本更低且不会遇到队列死锁的问题。

相关推荐

数据结构详解:从基本概念到常见数据结构
数据结构详解:从基本概念到常见数据结构

一、前言在计算机科学中,数据结构是程序设计的重要基础,也是学习算法、操作系统、数据库、计算机网络以及其他技术领域的必备知识。在上一篇文章中,我们介绍了数据、数据元素、数据对象、数据结构等基本概念。理解这些概念之后,接… · 2026/11/21 10:31:43

Gin + Vue3 + ElementPlus 后台:分批搬运的大数据量迁移策略
Gin + Vue3 + ElementPlus 后台:分批搬运的大数据量迁移策略

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 1:23:51

用 Gin + Vue3 + ElementPlus 完成 Sqlite 到 MySQL 的数据迁移
用 Gin + Vue3 + ElementPlus 完成 Sqlite 到 MySQL 的数据迁移

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 3:08:27

办个低压电工证全流程办理指南
办个低压电工证全流程办理指南

低压电工证过期了怎么复审?在哪考最靠谱? 证书过期了不知道怎么复审延期?你是不是也遇到过这种情况?别慌,这篇文章给你讲清楚【办个低压电工证】的全流程,特别是 在哪考… · 2026/11/21 17:20:30

电工证换证要考试吗 通过率揭秘 驻马店公路工程从业者必须知道的真相
电工证换证要考试吗 通过率揭秘 驻马店公路工程从业者必须知道的真相

电工证换证要考试吗 通过率揭秘 驻马店公路工程从业者必须知道的真相 你是不是正为了找工作而四处奔波?特种作业证在很多岗位上已经成了“硬门槛”,尤其像驻马店这样的地方,公路工程行业对电工证的需求非常大。但你知道吗?很多人以为电工证到期了直接换… · 2026/11/21 17:20:30

电工证特别难考嘛?网上查询报名入口与办理流程全解析
电工证特别难考嘛?网上查询报名入口与办理流程全解析

电工证特别难考嘛?网上查询报名入口与办理流程全解析 你现在是不是正在找工作,却发现用人单位明确要求必须有电工证?你是不是也在网上查询“电工证特别难考嘛”这个问题,却找不到靠谱的信息?别急,这篇文章就是为你量身定制的。从报名入口到办理流程,从… · 2026/11/21 17:20:30

登高证电工证考试时间怎么安排?考前押题帮你省下3000块
登高证电工证考试时间怎么安排?考前押题帮你省下3000块

登高证电工证考试时间怎么安排?考前押题帮你省下3000块 学历不高怕报不上名?别慌, 登高证电工证考试时间 其实每年都有固定安排,关键是要提前规划。今天我就从商丘劳务班组负责人的角度,说说这证怎么考、怎么拿, 考前押题… · 2026/11/21 17:20:30

工地太忙根本没时间复习考试?低压电工证网上查不了怎么办
工地太忙根本没时间复习考试?低压电工证网上查不了怎么办

工地太忙根本没时间复习考试?低压电工证网上查不了怎么办 工地太忙根本没时间复习考试,低压电工证网上查不了的困扰,你不是一个人。我见过太多同行,明明已经考过了,却因为证书信息查不到而耽误了项目开工。这种事在驻马店这样的工程大市,几乎每年都会发… · 2026/11/21 17:20:30

天津政府电工证补贴千万别踩坑,新乡电工如何顺利拿证
天津政府电工证补贴千万别踩坑,新乡电工如何顺利拿证

天津政府电工证补贴千万别踩坑,新乡电工如何顺利拿证 你是不是也遇到过这种情况?刚听说 天津政府电工证补贴 的事情,心里一激动,赶紧上网一查,结果发现报名点五花八门,什么“保过班”“代报名”“加急办证”,搞得你一头雾水,不知道该信谁?… · 2026/11/21 17:19:30

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码