Python爬虫实战：抓取中国城市PM2.5数据并可视化分析

简介面向高校数据可视化课程设计及期末大作业场景提供基于Python爬虫的中国城市PM2.5数据分析完整方案。项目以北京、上海、广州、成都、沈阳等多城市多年监测数据为对象包含爬虫获取与CSV数据清洗流程、可视化图表生成逻辑及配套实验报告文档代码附详细注释适合新手参照部署完成课设任务。压缩包共21个文件以Html交互图表为主辅以Csv原始数据、Docx报告说明和Py主程序整体约6.13MB结构清晰便于按模块理解数据采集、处理与展示全流程。已有352人学习项目功能完整、界面直观可帮助读者快速掌握从数据采集到图表呈现的完整实践路径也可为城市空气质量分析类课题提供可直接复用的参考模板。1. 用Python爬虫抓中国城市PM2.5数据为什么这份期末大作业值得自己动手最近在期末季总有同学拿着“基于Python爬虫的中国城市PM2.5值数据可视化分析”这个标题来找现成源码。说实话网上能搜到的版本不是接口失效就是只给爬虫不给可视化拿过去根本跑不通。这个作业其实是一个完整的数据采集与展示闭环用requests爬网页、用XPath抽数据、用pandas清洗、用ECharts出图最后用实验报告把过程讲清楚。做完这一套你不仅能拿高分还能把“采集-存储-分析-展示”这条链路复用到以后的工作里。下面我就按这个顺序把每一步的代码、参数和坑位都拆开讲。2. 把PM2.5爬虫拆成三步请求、解析、入库爬虫部分是整套作业的地基。很多现成源码会把三步全写进一个函数看起来短实际上完全没法改。我习惯拆成“请求-解析-入库”三步每一步单独封装。这样做的好处是反爬更新时只改请求函数页面改版时只改解析函数不用动其他代码。下面每一步都用可运行的代码示例说明。2.1 先选数据源和请求头requests爬虫不是拿到URL就完事常见做法是抓“中国空气质量在线监测分析平台”这类站点的历史数据页面。这类页面不需要登录也没有复杂的加密参数适合期末作业也够练手。爬虫原理很简单构造HTTP请求拿到HTML文本再从文本中抽出表格字段。看起来简单但第一步就会翻车很多同学直接用requests.get(url)结果拿到403或空内容。原因是服务器会校验客户端身份。我在实际爬取时一般会准备一份完整的请求头。关键字段是User-Agent、Referer和Accept-Language。User-Agent告诉服务器你是浏览器Referer表示你从哪个页面跳转过来很多反爬配置只放过有来源的请求。下面这段是最小请求头import requests from lxml import etree import pandas as pd import time import random # 以某公开空气质量平台的历史数据页为例 # 实际使用时先抓一次列表页确认 URL 里 city_code 和 date 的拼接规律 base_url https://air.example.com/history/{city_code}/{date}.html city_code beijing date 2024-03-01 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://air.example.com/, Accept-Language: zh-CN,zh;q0.9, } resp requests.get( base_url.format(city_codecity_code, datedate), headersheaders, timeout15 ) resp.raise_for_status() # 状态码不是 2xx 就抛异常方便定位 resp.encoding resp.apparent_encoding # 优先用网页实际编码避免中文乱码 print(resp.status_code, len(resp.text))逻辑说明requests.get会发起GET请求base_url.format把城市代码和日期填进占位符。headers传进去后服务器看到的请求就像浏览器发出来的。timeout15是连接超时和读取超时防止某个城市页面卡死整个脚本。raise_for_status()会在状态码为4xx或5xx时抛出异常而不是继续返回一个错误页这样方便后面定位。参数说明resp.encoding这行是血泪经验。很多空气质量站点用的是GBK或GB2312requests默认按ISO-8859-1解码中文会变成乱码。用resp.apparent_encoding让Requests自动从网页文本中识别编码大部分情况下能解决。如果识别出来还是错的就手动设成resp.encoding gbk。这里有一个最常见的误用有人用requests.get(url, verifyFalse)跳过证书校验然后被网站的重定向带到登录页解析了半天全是登录框。如果遇到证书错误先确认URL是不是写错了尽量不要全局关verify。2.2 用XPath抽取城市PM2.5值text()函数和tbody的坑拿到HTML后很多人习惯用正则来抓。正则慢且不说页面稍微改一下就全废。而且PM2.5表格通常有几十行用正则写出来极难维护。我一般用XPath配合lxml库。XPath可以直接定位到表格行再用text()函数取出单元格文本。下面代码演示如何从表格中抽取时间点和对应的PM2.5值tree etree.HTML(resp.text) # 优先定位 table而不是从 body 一路往下写绝对路径 # 表格多时用 contains 按 class 或 id 过滤 rows tree.xpath(//table[contains(class,data-table)]//tr) for row in rows: # 每一行的所有单元格文本都在一个列表里 cells row.xpath(./td/text()) # 跳过表头和空行 if len(cells) 3: continue time_point cells[0].strip() # 如 00:00 pm25_value cells[1].strip() # 如 75 # 有的页面浓度值可能带—表示缺失需要清洗 if pm25_value.replace(., ).isdigit(): print(time_point, float(pm25_value))逻辑说明etree.HTML把resp.text解析成Element对象之后所有xpath都是在这个树上操作。xpath(./td/text())取的是当前行下所有td单元格的直接文本返回一个字符串列表。很多新手在这里翻车直接拿cells去strip会报“列表没有strip属性”的错误。cells[0]和cells[1]分别对应第一列和第二列然后strip()去掉两端的换行和空格因为HTML源码里 和文本之间经常有缩进。参数说明contains(class,data-table)是模糊匹配class属性如果你的页面里只有一个表格直接写//table//tr也行。为什么写//tr而不是/tbody/tr因为浏览器开发者工具里看到的tbody很可能是浏览器自动补全的服务器返回的源码里并没有。照抄开发者工具路径在lxml里会匹配不到。用//table//tr让XPath直接钻进任意层级的tr最稳。这里要特别提text()函数的一个特点如果td里面还嵌套了span或a标签text()只会取当前节点的直接文本嵌套标签里的内容取不到。遇到这种情况改成./td//text()再把取出来的多个文本片段用join拼起来。不过PM2.5表格一般是纯文本直接用text()就够了。2.3 数据入库与去重CSV还是SQLite数据抓下来之后需要落盘。期末作业建议用CSV因为后面pandas处理和可视化都要基于表格数据CSV也是老师最容易打开核对的格式。如果爬多个城市和多天建议加一个去重步骤防止断点重跑后出现重复行。all_frames [] for city in [beijing, shanghai, guangzhou, chengdu]: for date in [2024-03-01, 2024-03-02]: df fetch_city_pm25(city, date) # 把前面两步封装成函数 if df is not None and not df.empty: all_frames.append(df) time.sleep(random.uniform(1, 2)) # 随机延时避免请求过快 full_df pd.concat(all_frames, ignore_indexTrue) full_df[city] full_df[city].str.strip() full_df[pm25] pd.to_numeric(full_df[pm25], errorscoerce) # 去重同一城市同一时间点只保留一条 full_df.drop_duplicates(subset[city, date, time], keepfirst, inplaceTrue) # 用 utf-8-sig 编码Excel 打开中文不会乱码 full_df.to_csv(pm25_data.csv, indexFalse, encodingutf-8-sig)逻辑说明fetch_city_pm25是一个封装函数内部完成2.1和2.2的请求与解析返回一个DataFrame列名统一为city、date、time、pm25。pd.concat把多个城市的DataFrame纵向拼接ignore_indexTrue让索引重新编号。pd.to_numeric把“75”这样的字符串转成数字errorscoerce表示遇到“—”、None这类无效值就转成NaN不会中断。参数说明drop_duplicates的subset指定了去重字段这里是城市、日期、时间三个字段完全相同才去重。keepfirst表示保留该组合第一次出现的行。sleep(random.uniform(1, 2))每次请求后随机等1到2秒这比固定sleep(1)更接近人的操作习惯也能明显降低被反爬的概率。如果要爬几十个城市把区间改成2到3秒。到这里pm25_data.csv就是后面可视化和实验报告的“数据基座”。你可以在保存前打印一下full_df.shape和full_df[city].value_counts()确认每个城市都有完整的24小时数据。如果某个城市数据量明显偏少多半是页面结构不一样需要单独看那一个页面而不是盲目改代码。3. 用ECharts把PM2.5数据变成可视化看板从JSON到地图热力图爬完数据看的不是csv而是图。很多同学在这一步直接用Matplotlib画个折线图就交了但期末答辩现场ECharts交互式地图的视觉效果和提问空间完全不一样。ECharts是百度开源的JavaScript图表库也是目前企业级数据可视化里被大量使用的方案。它的优势在于鼠标悬停时能看到具体数值、可以缩放地图、还能点击图例筛选城市。用Python生成好数据再交给ECharts渲染正好分工明确数据准备和可视化逻辑分离代码也更好维护。3.1 为什么选ECharts而不是MatplotlibMatplotlib适合论文插图和本地分析但它的输出是静态图片没法交互。期末答辩时老师最喜欢的提问方式是“你指一下哪个城市浓度最高”——用ECharts可以悬停动态看数值老师直观感受到你的作品是“活的”。另外ECharts的地图热力图能直接看出污染分布的区域性而Matplotlib做地图需要额外拼底图工程量大。不过也要说明ECharts本身是前端库Python这边要做两件事一是把CSV聚合变成它认识的JSON数组二是提供一个HTML页面把图表跑起来。这一步不需要前端框架一个静态HTML文件加本地引用的JS文件就行。3.2 用pandas把CSV整理成ECharts的JSON数据ECharts地图series的data典型结构是二维数组每一项是[城市名, 数值]。城市名必须跟ECharts中国地图GeoJSON里的name完全一致比如“北京市”“上海市”不是“北京”“上海”。站点代码一般是拼音所以需要一个映射字典。import pandas as pd import json df pd.read_csv(pm25_data.csv) # 城市拼音 - ECharts地图标准名 city_map { beijing: 北京, shanghai: 上海, guangzhou: 广州, chengdu: 成都, wuhan: 武汉, shenyang: 沈阳, xian: 西安, hangzhou: 杭州, } df[city_name] df[city].map(city_map) df df.dropna(subset[city_name, pm25]) # 每个城市求整体均值 avg_by_city df.groupby(city_name)[pm25].mean().round(1) # 转成 ECharts 需要的 [name, value] 列表 data_list [[city, float(value)] for city, value in avg_by_city.items()] # 写入 JS 文件ensure_asciiFalse 让中文正常显示 js_content var cityPm25Data json.dumps(data_list, ensure_asciiFalse) ; with open(pm25_map.js, w, encodingutf-8) as f: f.write(js_content) print(data_list)逻辑说明df[city].map(city_map)把拼音映射成中文城市名没有映射上的城市变成NaNdropna直接扔掉。groupby(city_name)[pm25].mean()按城市分组求平均值round(1)保留一位小数。列表推导式把pandas的Series转成二维数组注意float(value)是防止pandas把均值变成numpy.float64类型json.dumps不认就炸了。参数说明ensure_asciiFalse是关键不设的话中文会被转成\u5317\u4eac这类转义序列虽然ECharts也能解析但你在文本编辑器里根本看不懂。生成的pm25_map.js是前端脚本文件后面让HTML通过script标签引入。如果你还想画24小时变化折线图可以再生成一个cityHourlyData对象键是城市名值是浓度数组。结构类似不重复贴代码。重点是保持数据与展示分离同一个CSV可以生成本个JS变量。3.3 地图热力图和折线图的关键配置参数有了pm25_map.js再写一个index.html。核心配置在visualMap和series两个地方。visualMap用来控制颜色映射series里的type和map决定图表类型。!DOCTYPE html html langzh-CN head meta charsetUTF-8 !-- 从 ECharts 官网下载 echarts.min.js 和 china.js放在 lib 目录下 -- script srclib/echarts.min.js/script script srclib/china.js/script script srcpm25_map.js/script /head body div idmap stylewidth: 100%; height: 600px;/div script var chart echarts.init(document.getElementById(map)); chart.setOption({ title: { text: 中国城市 PM2.5 浓度均值μg/m³, left: center }, tooltip: { trigger: item }, visualMap: { min: 0, max: 100, inRange: { color: [#d4e8f0, #ffd580, #ff5151] }, text: [高, 低] }, series: [{ name: PM2.5均值, type: map, map: china, data: cityPm25Data, label: { show: true, fontSize: 10 }, roam: false, itemStyle: { borderColor: #fff, borderWidth: 1 } }] }); /script /body /html逻辑说明setOption是ECharts的核心入口所有配置都放在这一个对象里。visualMap的min和max决定色阶的两端如果数据里有城市均值超过100把max调大否则最高值的城市颜色会跟次高值拉不开。inRange.color数组是从低到高的颜色渐变一般用蓝到黄到红。series里面的data直接引用cityPm25Data也就是pm25_map.js里定义的全局变量。参数说明roam: false表示禁止鼠标拖拽缩放期末展示场景建议关掉不然老师手一抖地图飘走了气氛会有点尴尬。label.show控制城市名是否显示如果城市太多可以改成formatter只显示大城市的名称。tooltip的trigger: item表示悬停在地图块上时弹出数据这是交互感的来源。折线图也是一样的逻辑换一个divseries.type换成linedata传数组即可。有一个小坑ECharts的折线图横轴是分类轴时如果时间点是“00:00”“01:00”这样X轴默认会把每个标签都显示出来导致横坐标太密集。解决方法是在xAxis里加axisLabel: { interval: 3 }每4个小时显示一个标签或者rotate: 45旋转45度。这个参数很重要不然出来的图全部挤在一起答辩会被一眼看出没调过配置。到这一步你已经有了一个能悬停查看具体数值的交互地图。如果页面打开白屏先检查有没有成功引入china.js99%的情况是ECharts5.x默认不包含中国地图这个问题在避坑章节再展开。4. 实验报告怎么拿满分七段式结构与三个分析维度很多人的源码能跑但实验报告只写“我用了爬虫和可视化”结果分数上不去。满分报告的本质是把“为什么这么做”讲清楚。老师看重的不是代码量而是你有没有工程思维。下面我按自己总结的七段式结构讲再给三个必做的数据分析维度保证让评审老师觉得你有数据建模的基本功。4.1 七段式结构摘要、需求分析、技术选型、爬虫设计、数据处理与可视化、结果分析、总结与改进我一般建议正文字数在3000字左右统一用下面的表格分配篇幅。注意不要放无关的大段源码截图代码以关键片段形式嵌入段落中。章节内容要点建议字数摘要一句话说清做了什么、得出了什么结论200需求分析为什么关注PM2.5目标城市和数据范围300技术选型为什么选Python、requests、XPath、pandas、ECharts400爬虫设计请求头、URL构造、解析逻辑、反爬应对800数据处理与可视化清洗规则、去重逻辑、图表类型选择600结果分析排名、区域差异、污染时段分布500总结与改进遇到的问题、改进方向300这个结构覆盖了“题目、数据、方法、结论”四个闭环。特别是技术选型很多学生直接写“使用Python”这是低分典型。要把每个库的角色写清楚requests负责网络请求lxml和XPath负责解析HTMLpandas负责清洗与聚合ECharts负责前端渲染。正文里要多写“为什么”比如为什么用CSV而不用数据库为什么用均值而不是中位数这些都是加分点。你不需要说得多么高深只要给出“因为数据量小、便于Excel查看”这类符合场景的理由就能跟抄代码的人拉开差距。4.2 三个必做的数据分析维度日均值、城市排名、时序走势实验报告不能只放一张地图至少要三张图。地图说明空间分布折线图说明时间趋势柱状图说明城市排名。每一张图都要在报告里有一段文字解读而不是干巴巴放图。下面是用pandas做基础统计的代码这组数据可以支撑报告里的“结果分析”章节import pandas as pd df pd.read_csv(pm25_data.csv) # 1. 城市日均值排名地图数据 daily df.groupby([city, date])[pm25].mean().reset_index() # 2. 全国整体时间序列按小时聚合看一天之内污染走势 hourly df.groupby(time)[pm25].mean() print(各小时全国均值\n, hourly) # 3. 城市排名找出均值最高的5个城市 top5 df.groupby(city)[pm25].mean().nlargest(5) print(PM2.5最高的前5个城市\n, top5) # 4. 计算污染天数占比超过75即轻度污染 df[is_polluted] df[pm25] 75 pollution_ratio df.groupby(city)[is_polluted].mean()逻辑说明daily是城市×日期两维度均值适合做多日对比。hourly按小时分组能看出早晚高峰和夜间污染堆积。nlargest(5)直接取前五是最省事的排名方式。is_polluted列把PM2.5超过75的判为污染日再按城市求比例这个指标比单纯均值更能反映污染严重程度。参数说明groupby返回的是DataFrame或Series记得reset_index()把分组字段变回普通列方便后续绘图或写入表格。nlargest后面的5改成你城市列表长度的一半就行取前多少因人而异。pm25在清洗阶段已经转成数值型这里不需要再处理。报告中引用图表时不要写“从图中可以看出”这种空话要写具体数值。例如“成都日均浓度75.3μg/m³排名第一北京和西安分别因为地形和采暖夜间时段出现明显峰值。”这样的句子有理有据才是满分选手的分析风格。4.3 代码说明怎么写才像自己写的期末作业最危险的是代码和网上的版本长得一模一样。解决方式不是改行数而是在报告里把关键逻辑用你自己的话解释出来。我写报告时有个习惯对每一块代码先写一句设计意图再写两个参数为什么这么选。举个例子爬虫部分不要贴完整代码而是贴一个片段然后配一段文字“为了保证请求频率不会对目标服务器造成压力我在两次请求之间加入了random.uniform(1,2)的随机延时。固定延时和随机延时的区别在于随机延时更接近人工操作也能降低被反爬策略识别的概率。”这段话一写代码就变成了你的方案。再比如可视化部分解释visualMap的颜色范围是如何根据数据分布设定的“本次数据均值在20到100之间因此把visualMap的max设为100避免色阶被极端值拉平。”这种描述完全没有难度只要你真的调过参数就能写出来。不要怕写得短十句这样的分析远胜于一段复制过来的博客。如果老师要求交原始代码请在代码开头用注释写上环境依赖# 依赖requests lxml pandas numpy echarts并在报告中给出pip install命令。这一步看着不起眼却是确保老师能复现你结果的前提。5. 避坑清单爬虫被拦、XPath失效、地图白屏的五个常见翻车点前面的代码能跑通但项目一换到真实环境各种玄学问题就来了。这些坑我几乎都踩过下面按现象、原因、解决的顺序写方便你出事时直接对号入座。5.1 请求被403头信息的Referer和Cookie不能省现象代码在别人电脑上能跑自己电脑上跑requests.get返回403。原因目标站点做了HTTP来源校验。有的站点还会在第一次访问时下发Cookie没有Cookie就拒绝后续请求。解决把请求头补全至少包含User-Agent和Referer。还是403的话用浏览器打开目标页面复制完整的请求头再补一个Cookie字段。常见做法是先用浏览器访问一次然后在开发者工具“网络”面板里找到该页面请求把headers里的Cookie原样复制进代码。注意Cookie会过期如果放了一天再跑又变成403重新复制一次即可。5.2 XPath匹配不到表格行别照抄开发者工具的tbody现象浏览器里看到20行数据xpath结果却是空列表或者只匹配到表头。原因浏览器开发者工具展示的是渲染后的DOM服务器源码里可能没有tbody或者table层级和你看到的不一样。你在控制台复制XPath时经常拿到//*[idapp]/div[1]/table/tbody/tr这样的绝对路径其中一个索引稍微变动就全错。解决不要用开发者工具右键复制的绝对XPath手写相对XPath。优先用//table//tr如果表格有id或class用//table[idtotable]//tr。另外如果目标页面是Ajax加载数据HTML初始状态里根本没有表格前面拿到的resp.text里自然没有rows。遇到这种情况需要用requests直接请求页面背后的JSON接口或者改用Selenium驱动浏览器渲染后再取。期末作业选页面时尽量选纯静态页面能省一整天的坑。5.3 数据单位不一致PM2.5浓度和AQI混用现象最后画出来的地图颜色分布特别诡异某城市PM2.5均值高达200但实际网页显示的是40。原因栏目选错了。有的站点表格里第一列是“AQI指数”第二列才是“PM2.5浓度”。AQI是一个综合指数数值范围跟PM2.5的μg/m³完全不是一个量纲。还有人把“PM10”和“PM2.5”混在了一起。解决爬之前先在网页上人工点开一个城市的页面确认表头字段。代码里解析时按照表头对应的列索引取值不要想当然用第二列。如果表格里有两列数值先把表头行单独取出来打印一遍再决定cells[1]还是cells[2]。数据入库后做一次范围检查正常城市日均PM2.5浓度一般在10到300之间超过500基本是脏数据直接过滤掉。5.4 ECharts地图白屏或只显示地图残角现象HTML打开后页面一片空白或者只显示地图边缘的一个角落看不见中国主体。原因ECharts5.x官方打包的echarts.min.js不再包含中国地图GeoJSON。如果你只引用了echarts.min.jsseries.type:map找不到map:china就会渲染失败。只显示地图残角说明china.js加载了但数据里的城市名和GeoJSON里的名称对不上导致主体地图块没有data项。解决先确保引入了china.js建议下载到本地不要完全依赖CDN因为答辩现场的网可能不稳。地图白屏时打开浏览器F12控制台看有没有“Map china not exists”报错有就说明缺china.js。城市名对不上时打印data_list和china.js里name列表做差集。注意ECharts中国的城市名是“北京市”“上海市”这类带市字使用city_map映射时要把名字写全别写“北京”。5.5 实验报告查重通用代码段怎么改成自己的现象交完作业查重重复率40%以上。原因爬虫和可视化的代码网上版本变了又变骨子里都是同一套。老师查重不只查代码也会查报告里的文字段落。解决代码层面把无效变量的命名改成你自己的习惯函数不要叫spider_main可以叫fetch_station_pollution。更有效的是调整实现方式比如引入timeout和retry机制写一个requests_session配合HTTPAdapter。这些是小改但能表现出你理解错误处理。文字层面只保留代码片段把对应的逻辑说明用自己的话写参考4.3的思路。另外在报告中加入本次实验的原始数据截图以及你本地运行成功的截图这些是网上源码无法覆盖的真实证据。如果爬虫过程中真的遇到页面改版你还可以把排查过程写进报告的“总结与改进”里例如“原计划抓取30个城市因某站点出现验证码实际抓取25个后续可以接入打码平台”。这种真实的限制说明反而会给老师留下好印象因为实验报告的价值在于过程而不是完美。6. 进阶玩法让PM2.5看板每天自动更新写完静态可视化如果还想加分可以做一个每天定时抓取、重新生成HTML的小看板挂在自己的电脑或服务器上。这样你会在每天固定时间得到一个自动更新的 index.html打开就是当天的全国PM2.5分布。我常用的工具是Python标准库里的schedule配合一个死循环就能实现。下面是一个最小示例import schedule import time import subprocess def job(): # 依次执行爬虫、数据更新、图表生成 subprocess.run([python, crawler.py]) subprocess.run([python, generate_map.py]) print(看板已更新) schedule.every().day.at(09:00).do(job) while True: schedule.run_pending() time.sleep(30)逻辑说明schedule.every().day.at(09:00)设定每天上午9点触发job。subprocess.run把三个独立的Python脚本串起来保证每一步都跑完后才继续。checkTrue可以检查脚本返回码失败时直接抛异常比静默失败好。如果你要把看板放到服务器上推荐用cron而不是schedule因为schedule依赖进程常驻一旦SSH断开进程就停了。服务器上执行crontab -e加一行0 9 * * * cd /path/to/project python crawler.py python generate_map.py。这是更工程化的做法。最后说一个我自己的教训有一回我把爬虫任务设置为每小时执行一次结果半夜把目标网站爬崩了第二天IP被封所有数据都是旧缓存。后来我改成每天一次并且把延时拉大到2到4秒问题才消失。所以自动化不是越快越好尊重数据源控制好频率这个项目才真正是“能跑、能演示、能长期用”的作品。希望这套代码和避坑经验帮到你做完记得把你的地图截图留档以后找工作做作品集也用得上。本文还有配套的精品资源点击获取