首页/新闻资讯/正文详情

Python爬虫实战:用requests库爬取电商数据并保存到Excel

发布时间:2026/11/20 12:24:20 来源:云帆数科 栏目:资讯中心
Python爬虫实战:用requests库爬取电商数据并保存到Excel
Python爬虫实战用requests库爬取电商数据并保存到Excel爬虫是 Python 最经典的应用场景之一。本文将从零开始带你用 requests 库爬取电商商品数据并使用 pandas 和 openpyxl 将数据清洗后保存到 Excel 文件。包含完整的反爬处理策略适合新手学习。一、准备工作1.1 安装依赖库首先我们需要安装以下 Python 库pipinstallrequests pandas openpyxl fake-useragent各库的作用requests发送 HTTP 请求获取网页内容pandas数据处理和清洗openpyxl读写 Excel 文件fake-useragent生成随机 User-Agent1.2 项目结构spider_project/ ├── spider.py # 主爬虫脚本 ├── data_clean.py # 数据清洗脚本 ├── requirements.txt # 依赖列表 └── output/ # 输出目录 └── products.xlsx # 最终 Excel 文件二、基础爬虫实现2.1 发送第一个请求我们先从最简单的请求开始importrequests# 发送 GET 请求urlhttps://books.toscrape.com/responserequests.get(url)# 查看响应状态码print(f状态码:{response.status_code})print(f响应长度:{len(response.text)})# 查看部分响应内容print(response.text[:500])2.2 解析 HTML 内容我们使用 Python 内置的html.parser或者更强大的lxml来解析 HTMLfromhtml.parserimportHTMLParserclassProductParser(HTMLParser):def__init__(self):super().__init__()self.products[]self.current_product{}self.captureFalsedefhandle_starttag(self,tag,attrs):attrs_dictdict(attrs)iftagarticleandproduct_podinattrs_dict.get(class,):self.current_product{}iftagh3:self.captureTruedefhandle_data(self,data):ifself.capture:self.current_product[title]data.strip()self.captureFalseparserProductParser()parser.feed(response.text)print(f找到{len(parser.products)}个商品)三、反爬处理策略电商平台通常会有反爬机制我们需要做好以下处理3.1 设置请求头importrequestsfromfake_useragentimportUserAgent uaUserAgent()# 构造完整的请求头headers{User-Agent:ua.random,Accept:text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,Accept-Language:zh-CN,zh;q0.9,en;q0.8,Accept-Encoding:gzip, deflate, br,Connection:keep-alive,Referer:https://books.toscrape.com/,}responserequests.get(url,headersheaders)3.2 请求延迟避免请求过快被识别为爬虫importtimeimportrandomdefcrawl_with_delay(urls):results[]forurlinurls:responserequests.get(url,headersheaders)results.append(response)# 随机延迟 1-3 秒delayrandom.uniform(1,3)print(f等待{delay:.2f}秒...)time.sleep(delay)returnresults3.3 使用代理 IP# 代理池配置proxy_list[http://123.45.67.89:8080,http://98.76.54.32:3128,# 更多代理...]defget_random_proxy():proxyrandom.choice(proxy_list)return{http:proxy,https:proxy}# 使用代理发送请求try:proxyget_random_proxy()responserequests.get(url,headersheaders,proxiesproxy,timeout10)exceptrequests.exceptions.RequestExceptionase:print(f请求失败:{e})3.4 重试机制fromretryingimportretryretry(stop_max_attempt_number3,wait_fixed2000)deffetch_url(url,headersheaders):responserequests.get(url,headersheaders,timeout10)response.raise_for_status()returnresponse四、完整爬虫代码下面是完整的爬虫代码整合了所有反爬策略importrequestsimporttimeimportrandomimportjsonfromfake_useragentimportUserAgentclassECommerceSpider:# 电商数据爬虫def__init__(self):self.uaUserAgent()self.sessionrequests.Session()self.data[]defget_headers(self):# 生成随机请求头return{User-Agent:self.ua.random,Accept:text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,Accept-Language:zh-CN,zh;q0.9,en;q0.8,Connection:keep-alive,}defcrawl_page(self,page_num):# 爬取单页数据urlfhttps://books.toscrape.com/catalogue/page-{page_num}.htmlheadersself.get_headers()try:responseself.session.get(url,headersheaders,timeout10)response.raise_for_status()returnresponse.textexceptrequests.exceptions.RequestExceptionase:print(f第{page_num}页爬取失败:{e})returnNonedefparse_products(self,html):# 解析商品数据fromhtml.parserimportHTMLParserclassBookParser(HTMLParser):def__init__(self):super().__init__()self.books[]self.current{}self.in_titleFalseself.in_priceFalseself.in_ratingFalsedefhandle_starttag(self,tag,attrs):attrs_dictdict(attrs)iftagarticleandproduct_podinattrs_dict.get(class,):self.current{}iftagh3:self.in_titleTrueiftagpandprice_colorinattrs_dict.get(class,):self.in_priceTrueiftagpandstar-ratinginattrs_dict.get(class,):ratingattrs_dict.get(class,).split()[-1]self.current[rating]ratingdefhandle_data(self,data):ifself.in_title:self.current[title]data.strip()self.in_titleFalseifself.in_price:self.current[price]data.strip()self.in_priceFalsedefhandle_endtag(self,tag):iftagarticleandself.current:self.books.append(self.current)self.current{}parserBookParser()parser.feed(html)returnparser.booksdefrun(self,max_pages5):# 运行爬虫print( 开始爬取 )forpageinrange(1,max_pages1):print(f正在爬取第{page}页...)htmlself.crawl_page(page)ifhtml:productsself.parse_products(html)self.data.extend(products)print(f 获取到{len(products)}条数据)# 随机延迟time.sleep(random.uniform(1,3))print(f 爬取完成共{len(self.data)}条数据 )returnself.data# 运行爬虫spiderECommerceSpider()dataspider.run(max_pages5)五、数据清洗爬取到的原始数据通常需要清洗。我们使用 pandas 进行处理importpandasaspddefclean_data(raw_data):# 数据清洗dfpd.DataFrame(raw_data)print(f原始数据量:{len(df)})print(df.head())# 1. 去除重复数据dfdf.drop_duplicates(subset[title])print(f去重后数据量:{len(df)})# 2. 清洗价格字段去除货币符号转换为数值df[price]df[price].str.replace(£,).str.replace(Â,).astype(float)df.rename(columns{price:price_gbp},inplaceTrue)# 3. 评分映射rating_map{One:1,Two:2,Three:3,Four:4,Five:5}df[rating_score]df[rating].map(rating_map)# 4. 添加爬取时间df[crawl_time]pd.Timestamp.now()# 5. 去除空值dfdf.dropna(subset[title,price_gbp])print(f清洗后数据量:{len(df)})returndf# 清洗数据dfclean_data(data)print(df.describe())六、保存到 Excel6.1 基础保存# 最简单的保存方式df.to_excel(output/products.xlsx,indexFalse)print(数据已保存到 output/products.xlsx)6.2 格式化保存使用 openpyxl 进行格式化fromopenpyxlimportWorkbookfromopenpyxl.stylesimportFont,PatternFill,Alignment,Border,Sidefromopenpyxl.utils.dataframeimportdataframe_to_rowsdefsave_to_excel(df,filepath):# 格式化保存到 ExcelwbWorkbook()wswb.active ws.title商品数据# 标题样式header_fontFont(name微软雅黑,size11,boldTrue,colorFFFFFF)header_fillPatternFill(start_color4472C4,end_color4472C4,fill_typesolid)borderBorder(leftSide(stylethin),rightSide(stylethin),topSide(stylethin),bottomSide(stylethin))# 写入数据forrowindataframe_to_rows(df,indexFalse,headerTrue):ws.append(row)# 格式化标题行forcellinws[1]:cell.fontheader_font cell.fillheader_fill cell.alignmentAlignment(horizontalcenter)cell.borderborder# 设置列宽ws.column_dimensions[A].width50# 标题列ws.column_dimensions[B].width15# 价格列ws.column_dimensions[C].width12# 评分列# 添加自动筛选ws.auto_filter.refws.dimensions wb.save(filepath)print(f格式化数据已保存到{filepath})save_to_excel(df,output/products_formatted.xlsx)七、新手注意事项遵守 robots.txt爬取前先查看目标网站的 robots.txt控制请求频率不要请求过快尊重服务器数据仅供学习爬取的数据仅用于学习研究不要商用处理异常网络请求可能失败务必做好异常处理合法合规遵守相关法律法规不要爬取敏感数据八、完整流程总结发送请求 → 获取HTML → 解析数据 → 数据清洗 → 保存Excel | | | | | 设置UA 响应文本 提取字段 去重转换 格式化输出 设置头 编码处理 结构化 空值处理 自动筛选 代理池 超时控制 存储列表 类型转换 列宽设置九、扩展建议使用Scrapy框架处理大型爬虫项目使用Selenium或Playwright处理动态渲染页面使用Redis构建分布式爬虫队列使用数据库MySQL/MongoDB存储大量数据如果这篇文章对你有帮助欢迎点赞、收藏、关注有任何问题欢迎在评论区交流我会及时回复。后续会分享更多 Python 爬虫实战教程敬请期待作者tlyyxjz | 转载请注明出处

相关推荐

高速PCB设计中阻抗不连续性的成因与优化策略
高速PCB设计中阻抗不连续性的成因与优化策略

1. 阻抗不连续性:高速PCB设计的隐形杀手在高速PCB设计领域,阻抗不连续性就像电路板上的暗礁,表面看似平静,实则暗藏危机。我第一次意识到这个问题的严重性,是在设计一块千兆以太网接口板时——明明原理图正确无误&… · 2026/10/23 6:02:18

基准测试工具之你不知道的两三事 | 8.怎样找到并发与批大小的合理区间
基准测试工具之你不知道的两三事 | 8.怎样找到并发与批大小的合理区间

上一篇文章做完公平的性能对比后,很多人会立刻追问:把客户端并发和批大小调到多大,才能得到最好的性能? 这个问题没有脱离场景的固定答案。并发过低,机器可能没有被充分利用;并发过高,客户端、… · 2026/11/20 12:24:20

Laravel与Spring Boot开发效率对比:创业团队技术选型指南
Laravel与Spring Boot开发效率对比:创业团队技术选型指南

1. 创业团队的技术选型困境创业初期选择技术栈就像在迷雾中寻找灯塔,每个决策都可能影响产品的生死存亡。2018年我参与一个O2O项目时,团队就曾因技术选型失误付出惨痛代价——用Node.js重构了三次后台系统,最终错过市场窗口期。这段经历让我深… · 2026/10/27 12:35:50

电工证使用吗?多久拿证?工地太忙根本没时间复习考试
电工证使用吗?多久拿证?工地太忙根本没时间复习考试

电工证使用吗?多久拿证?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线施工人员的真实写照。尤其是像电工证这种关乎安全生产的特种作业操作证,不仅是上岗的“通行证”,更是一份保障。但很多人对电工证是否真的“用得上”、办理流… · 2026/11/20 12:23:49

申请报考电工证的条件有哪些?考前押题帮你稳过实操考试
申请报考电工证的条件有哪些?考前押题帮你稳过实操考试

申请报考电工证的条件有哪些?考前押题帮你稳过实操考试 实操考试心里没底怕挂科?别慌,很多人第一次考电工证时都有这种担心。但只要你了解清楚申请报考电工证的条件,再结合考前押题来准备,其实通过率一点都不低。下面我就从信阳浉河区中小施工企业负责人… · 2026/11/20 12:23:49

考电工证判断必背口诀在哪考?电工证考试技巧全解析
考电工证判断必背口诀在哪考?电工证考试技巧全解析

考电工证判断必背口诀在哪考?电工证考试技巧全解析 实操考试心里没底怕挂科?别慌,考电工证判断必背口诀在哪考,其实早有章法。作为信阳一家中小施工企业负责人,我深知电工证在项目落地、设备运行、安全合规中的分量。今天就把那些年考试踩过的坑、刷过的… · 2026/11/20 12:23:49

电工证准考年龄最新政策解读,内部消息曝光,别再被坑了
电工证准考年龄最新政策解读,内部消息曝光,别再被坑了

电工证准考年龄最新政策解读,内部消息曝光,别再被坑了 实操考试心里没底怕挂科?你不是一个人。前两天我接了个电话,是个南阳应届工程类毕业生小李,说他准备报考低压电工证,但网上看到不同说法,搞得他心里七上八下的。这年头,特种作业证不光是找工作的… · 2026/11/20 12:23:49

电工证准考年龄到底怎么算?上岗必备证件你真了解吗?
电工证准考年龄到底怎么算?上岗必备证件你真了解吗?

电工证准考年龄到底怎么算?上岗必备证件你真了解吗? 之前考的证在外省能不能转过来?这几乎是每个准备考电工证的打工人都会问的问题,尤其是在跨省打工或换工作时,这种疑问更是频繁出现。很多人觉得电工证是上岗必备,但并不清楚自己的年龄是否符合报考要… · 2026/11/20 12:23:49

工地太忙根本没时间复习考试?中宁电工证哪里考含金量高一目了然
工地太忙根本没时间复习考试?中宁电工证哪里考含金量高一目了然

工地太忙根本没时间复习考试?中宁电工证哪里考含金量高一目了然 工地太忙根本没时间复习考试?你不是一个人。很多人在一线工作,每天和钢筋水泥打交道,根本没时间专门去准备电工证考试,但电工证的 含金量… · 2026/11/20 12:22:49

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/19 16:06:02

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/19 17:40:37

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/19 17:50:07

建设厅特种工周三报名怎么弄?上岗必备别被中介坑
建设厅特种工周三报名怎么弄?上岗必备别被中介坑

建设厅特种工周三报名怎么弄?上岗必备别被中介坑 不知道去哪报名怕被中介坑?作为商丘某高校工程类应届毕业生,小李最近就遇到了这样的困扰。他刚毕业,正在找实习岗位,发现很多工地都要求持有特种作业操作证,尤其是【建设厅特种工周三报名】这个时间点,… · 2026/11/20 0:00:54

中专考的中级电工证内部消息全攻略
中专考的中级电工证内部消息全攻略

中专考的中级电工证内部消息全攻略 你中专毕业,手头有中级电工证,但不知道从哪开始报名,怕被中介坑?别急,这篇文章就是为你量身定制的“内部消息”,帮你避开报名陷阱,稳稳拿到证书。… · 2026/11/20 0:00:54

外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价
外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价

外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价 之前考的证在外省能不能转过来?这几乎是所有在外地打拼的电工从业者最关心的问题。特别是像洛阳这样的工业城市,很多电工证是在外地考的,现在想在当地用,流程是不是很复杂?其实,只要搞清楚… · 2026/11/20 0:00:54

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码