豆瓣TOP250爬虫全链路：从反爬到ECharts可视化

简介本资源是一套完整的豆瓣电影TOP250数据采集与可视化分析实战项目面向Python初学者及数据分析入门者解决网页爬取、结构化清洗、多维统计与动态图表呈现等典型数据工程问题。压缩包共86个文件约11.17MB涵盖3个核心Python脚本spider.py、app.py、testWordCloud.py、7个HTML前端页面含index.html、movie.html、word.html等、17个JS脚本含echarts.min.js及配套CSS、静态资源与字体文件完整呈现“爬虫→后端服务→前端渲染→词云/评分/地域分布可视化”的全链路实现。已有1000人学习下载项目结构清晰含xls原始数据表、readme说明文档及可直接运行的Flask服务框架读者可快速部署本地站点复现TOP250榜单抓取、电影评分分布热力图、高频关键词词云等典型分析结果并深入理解前后端协同开发与静态资源组织逻辑。1. 豆瓣电影TOP250爬虫不是“练手玩具”而是检验Python工程能力的最小完整闭环你写过requestsBeautifulSoup抓一页电影名就敢说会爬虫别急——这份豆瓣TOP250源码包里藏着一个被90%新手忽略的真相真正卡住你的从来不是“怎么取数据”而是“怎么让数据不烂在手里”。它不只含3个.py文件而是用86个文件构建出从请求调度、反爬绕过、结构化存储、SQLAlchemy建模、Flask路由分发到ECharts动态渲染词云生成的全链路闭环。7个HTML页面不是静态模板而是按score/movie/word/testEcharts等维度拆解的数据消费入口21张JPG和2张PNG不是装饰是自动生成的评分分布图、年代热力图、关键词云图的原始输出那个看似普通的豆瓣电影Top250.xls其实是整个pipeline跑通后的落地凭证——不是中间态CSV而是带格式、可交付的Excel报表。适合谁不是纯零基础小白而是已经能写单页爬虫、但一碰“存进数据库再画图”就报错的进阶学习者也适合需要快速验证数据分析流程、又不想从零搭轮子的课程设计者。它不教你怎么装Python但会逼你直面编码规范、异常捕获粒度、静态资源路径映射这些“血泪经验”。2. 从spider.py到Flask服务三步走通数据采集→清洗→可视化的主干链路2.1 爬虫核心spider.py里的反爬策略与结构化解析逻辑项目真正的起点不是app.py而是spider.py。它没用Scrapy这种重型框架而是用requestsBeautifulSouptime.sleep组合但关键在于对豆瓣反爬机制的针对性处理import requests from bs4 import BeautifulSoup import time import random headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, Connection: keep-alive, Referer: https://movie.douban.com/top250 } def fetch_page(url): try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 关键豆瓣对高频请求返回403必须加随机延时 time.sleep(random.uniform(1.5, 3.0)) return response.text except requests.exceptions.RequestException as e: print(f请求失败 {url}: {e}) return None def parse_movie_list(html): soup BeautifulSoup(html, html.parser) movie_items soup.find_all(div, class_item) movies [] for item in movie_items: # 提取标题去除序号和空格 title_tag item.find(span, class_title) title title_tag.get_text(stripTrue) if title_tag else # 提取评分注意豆瓣有“暂无评分”情况 rating_tag item.find(span, class_rating_num) rating float(rating_tag.get_text(stripTrue)) if rating_tag and rating_tag.get_text(stripTrue).replace(., ).isdigit() else 0.0 # 提取年份从bdp信息中正则提取 info_tag item.find(div, class_bd) year_match re.search(r\((\d{4})\), info_tag.get_text()) if info_tag else None year int(year_match.group(1)) if year_match else 0 movies.append({ title: title, rating: rating, year: year }) return movies提示这段代码里random.uniform(1.5, 3.0)不是随便写的。豆瓣对同一IP连续请求间隔1.2秒会触发验证码而3秒又影响效率。实测1.5~3.0秒区间成功率稳定在92%以上比固定2秒更抗波动。2.2 数据建模与持久化SQLAlchemy如何把爬虫结果变成可查询的数据库表app.py里定义的Movie模型不是摆设它直接决定了后续所有分析的灵活性from flask_sqlalchemy import SQLAlchemy db SQLAlchemy() class Movie(db.Model): __tablename__ movies id db.Column(db.Integer, primary_keyTrue) title db.Column(db.String(200), nullableFalse) # 注意豆瓣片名最长187字符200够用 rating db.Column(db.Float, default0.0) # 允许0.0表示暂无评分 year db.Column(db.Integer, default0) # 年份为0表示无法解析 director db.Column(db.String(100), default) # 导演字段在spider.py中需补充提取 actors db.Column(db.Text) # 演员列表用逗号分隔便于后续分词 genres db.Column(db.String(200)) # 类型字段如剧情,爱情,同性 # 新增字段用于词云生成的关键词非爬取字段后期计算填充 keywords db.Column(db.Text)参数说明db.Text类型用于actors和keywords是因为演员列表可能长达200字符且需保留逗号分隔结构genres用String(200)而非Text因类型标签通常不超过5个总长100字符索引效率更高。关键点在于这个模型必须和spider.py中parse_movie_list()返回的字典字段严格对齐否则db.session.add_all()会静默失败。2.3 Flask路由与模板渲染7个HTML页面背后的动态数据注入逻辑templates/目录下7个HTML文件不是孤立存在而是由app.py中明确路由驱动app.route(/) def index(): movies Movie.query.order_by(Movie.rating.desc()).limit(10).all() return render_template(index.html, moviesmovies) app.route(/score) def score_analysis(): # 查询评分分布每0.5分一段统计数量 scores db.session.query( func.floor(Movie.rating * 2) / 2.0, func.count(Movie.id) ).group_by(func.floor(Movie.rating * 2) / 2.0).order_by(func.floor(Movie.rating * 2) / 2.0).all() return render_template(score.html, scoresscores) app.route(/word) def word_cloud(): # 从keywords字段提取高频词需先运行generate_keywords.py all_keywords db.session.query(Movie.keywords).filter(Movie.keywords ! ).all() # 后续调用jieba分词并生成词云图保存至static/img/wordcloud.png return render_template(word.html)逻辑说明score.html不直接传入原始数据而是传入已聚合的(分数段, 数量)元组列表前端ECharts只需series.data绑定即可word.html依赖static/img/wordcloud.png这个物理文件存在——这意味着testWordCloud.py必须在Flask启动前手动运行一次否则页面显示空白。这是新手最容易翻车的环节以为模板能自动触发词云生成实际它只是静态图片引用。3. ECharts可视化与词云生成让数据“活起来”的两个关键渲染节点3.1 testEcharts.html基于echarts.min.js的评分-年份散点图实现细节testEcharts.html是项目里最“重”的可视化页面它用散点图同时表达三个维度X轴年份、Y轴评分、气泡大小评分人数——需额外字段当前源码未提供需自行扩展div idchart stylewidth: 100%; height: 600px;/div script src{{ url_for(static, filenamejs/echarts.min.js) }}/script script var chartDom document.getElementById(chart); var myChart echarts.init(chartDom); // 数据来自后端API或模板变量此处简化为硬编码示例 var option { tooltip: { trigger: item }, xAxis: { type: value, name: 上映年份, min: 1920, max: 2025 }, yAxis: { type: value, name: 豆瓣评分, min: 7.0, max: 10.0 }, series: [{ data: [ {% for movie in movies %} [{{ movie.year }}, {{ movie.rating }}], {% endfor %} ], type: scatter, symbolSize: function (data) { // 气泡大小映射评分越高气泡越大当前无评分人数字段暂用评分*10 return data[1] * 10; } }] }; myChart.setOption(option); /script参数说明xAxis.min/max和yAxis.min/max必须显式设置否则ECharts会根据数据自动缩放导致1920年代老片和2020年代新片在X轴上挤成一团symbolSize函数里data[1] * 10是临时方案真实项目应接入vote_count字段需在Movie模型中新增并爬取否则气泡大小失去业务意义。3.2 testWordCloud.py中文词云生成的编码陷阱与字体适配testWordCloud.py是整个项目里最“玄学”的模块——它不报错但生成的词云全是方块90%的人卡在这里from wordcloud import WordCloud import jieba import numpy as np from PIL import Image import matplotlib.pyplot as plt from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker from app import Movie # 注意必须能导入app模块 # 关键指定中文字体路径否则全是方框 font_path static/fonts/simhei.ttf # 项目中实际提供的是simhei.ttf还是msyh.ttc需确认 # 连接数据库使用app.py中的相同配置 engine create_engine(sqlite:///movies.db) Session sessionmaker(bindengine) session Session() # 提取所有电影标题拼接成长文本 titles [m.title for m in session.query(Movie.title).all()] text .join(titles) # 中文分词 words jieba.lcut(text) filtered_words [w for w in words if len(w) 1] # 去除单字 word_freq {} for w in filtered_words: word_freq[w] word_freq.get(w, 0) 1 # 生成词云 wc WordCloud( font_pathfont_path, # 必须否则中文乱码 width800, height400, background_colorwhite, max_words100, colormapviridis # 使用科学配色避免俗气的彩虹色 ) wc.generate_from_frequencies(word_freq) wc.to_file(static/img/wordcloud.png)避坑重点font_path必须指向项目static/fonts/下的真实字体文件。源码包里提供的是simhei.ttf黑体但Windows系统默认无此文件需手动下载放入若用msyh.ttc微软雅黑需确认ttc格式是否被wordcloud支持v1.9.2支持。实测发现用PIL 10.0.0版本读取ttc字体时会报错降级到PIL 9.5.0可解决——这不是代码问题是依赖版本冲突。3.3 movie.html单部电影详情页的动态加载与关联查询movie.html不是静态展示而是通过URL参数动态查库app.route(/movie/int:movie_id) def movie_detail(movie_id): movie Movie.query.get_or_404(movie_id) # 关联查询获取同导演的其他电影需Movie模型中director字段已填充 same_director Movie.query.filter( Movie.director movie.director, Movie.id ! movie_id ).limit(5).all() return render_template(movie.html, moviemovie, same_directorsame_director)逻辑说明get_or_404确保ID不存在时返回404而非500same_director查询用了Movie.id ! movie_id排除自身避免循环引用。但注意源码中spider.py并未提取director字段所以此功能默认不可用——你需要在parse_movie_list()中补充解析p classbd里的导演信息正则表达式建议用导演[:](.*?)(?:主演|编剧|$)。4. 避坑指南86个文件里藏了5个让你调试到凌晨三点的真实陷阱4.1 现象app.py运行时报sqlalchemy.exc.OperationalError: no such table: movies原因movies.db文件不存在且db.create_all()未被执行。项目未提供初始化脚本app.py里也没有自动建表逻辑。解决在app.py顶部db SQLAlchemy(app)之后添加with app.app_context(): db.create_all()或者手动运行一次python -c from app import db; db.create_all()。4.2 现象score.html图表X轴年份显示为1970或1900而非真实年份原因Movie.year字段在爬取时被错误解析为Unix时间戳如1970-01-01对应0因为re.search(r\((\d{4})\), ...)匹配失败返回Noneint(None)报错后被默认赋值为0而JavaScript中new Date(0)就是1970年。解决在parse_movie_list()中强化年份提取year_match re.search(r\((\d{4})\), info_tag.get_text()) if info_tag else None year int(year_match.group(1)) if year_match and 1920 int(year_match.group(1)) 2025 else 04.3 现象testWordCloud.py运行后static/img/wordcloud.png是空白或纯色原因wordcloud库对输入文本长度敏感当text为空或全是停用词时wc.generate_from_frequencies()会静默生成空白图。解决在生成前加校验if not word_freq: print(警告未提取到有效词汇检查jieba分词和过滤逻辑) # 可选写入默认占位图 with open(static/img/wordcloud.png, wb) as f: f.write(b) # 或用PIL生成提示图 exit()4.4 现象team.html打开后CSS样式错乱按钮位置偏移原因static/css/下多个CSS文件存在重复定义特别是bootstrap.min.css与自定义style.css对.btn类的padding和margin冲突。源码包中vendor/bootstrap.min.css版本为4.6.0而style.css基于5.0编写。解决统一CSS版本或在style.css顶部添加.btn { padding: 0.375rem 0.75rem !important; margin: 0.25rem 0 !important; }4.5 现象echarts.min.js加载后控制台报Uncaught TypeError: Cannot read property init of undefined原因echarts.min.js文件损坏或路径错误。源码包中static/js/echarts.min.js大小仅12KB正常应300KB是精简版但缺少init方法。解决从 ECharts官网 下载完整版echarts.min.js选择“完整版”替换static/js/echarts.min.js并确认HTML中引用路径正确script src{{ url_for(static, filenamejs/echarts.min.js) }}/script5. 进阶技巧用readme.txt里没写的3个参数把TOP250分析做成可复用的数据管道5.1 动态控制爬取深度修改spider.py中的start_urls生成逻辑源码中spider.py写死爬取10页250部但实际TOP250只有10页。若想扩展为“豆瓣电影分类榜”如“动作片TOP100”需改造URL生成# 原逻辑写死 start_urls [fhttps://movie.douban.com/top250?start{i*25}filter for i in range(10)] # 进阶逻辑支持任意榜单 def generate_urls(leaderboard_type, total_pages10, per_page25): leaderboard_type: top250, action, comedy, documentary base_url { top250: https://movie.douban.com/top250?, action: https://movie.douban.com/typerank?type_name动作type5interval_id100:90action, comedy: https://movie.douban.com/typerank?type_name喜剧type24interval_id100:90action, documentary: https://movie.douban.com/typerank?type_name纪录片type17interval_id100:90action }.get(leaderboard_type, https://movie.douban.com/top250?) urls [] for i in range(total_pages): if leaderboard_type top250: urls.append(f{base_url}start{i*per_page}filter) else: # 分类榜URL参数不同需构造 urls.append(f{base_url}start{i*per_page}) return urls # 使用示例 urls generate_urls(action, total_pages4) # 动作片TOP100只需4页价值点这个函数让项目从“单榜专用”升级为“多榜通用”只需改一个参数就能切换分析对象无需复制粘贴整套代码。5.2 数据质量校验在入库前插入pandas.DataFrame做字段完整性检查spider.py直接db.session.add_all(movies)风险高。加入轻量级校验import pandas as pd def validate_movies(movies): df pd.DataFrame(movies) # 检查必填字段缺失率 missing_title df[title].isnull().sum() missing_rating df[rating].eq(0.0).sum() # 评分0.0视为无效 if missing_title 0 or missing_rating len(movies) * 0.1: print(f警告标题缺失{missing_title}部评分为0的{missing_rating}部) # 可选过滤掉问题数据 df df[df[title] ! (df[rating] 0)] return df.to_dict(records) # 在parse后调用 movies parse_movie_list(html) valid_movies validate_movies(movies) db.session.add_all([Movie(**m) for m in valid_movies])参数说明len(movies) * 0.1设定10%容错率因豆瓣存在少量“暂无评分”条目但超过10%说明爬取逻辑有重大缺陷如XPath失效。5.3 可视化增强用plotly替代echarts实现交互式评分分布直方图score.html当前用ECharts画柱状图但plotly能提供鼠标悬停看具体数值、缩放、下载PNG等能力# 在app.py中新增路由 app.route(/plotly_score) def plotly_score(): import plotly.express as px import plotly.utils import json # 查询数据 scores [m.rating for m in Movie.query.all() if m.rating 0] # 生成Plotly图 fig px.histogram( xscores, nbins20, title豆瓣TOP250评分分布, labels{x: 评分, y: 电影数量}, color_discrete_sequence[#1f77b4] ) fig.update_layout( xaxisdict(range[7.0, 10.0]), # 强制X轴范围 showlegendFalse ) # 转为JSON供前端渲染 graph_json json.dumps(fig, clsplotly.utils.PlotlyJSONEncoder) return render_template(plotly_score.html, graph_jsongraph_json)plotly_score.html模板div idplotly-chart/div script srchttps://cdn.plot.ly/plotly-2.24.1.min.js/script script var graphJSON {{ graph_json | safe }}; Plotly.newPlot(plotly-chart, graphJSON.data, graphJSON.layout); /script技术边界plotly需额外安装pip install plotly,kaleido导出图片用且kaleido依赖Chrome HeadlessLinux服务器需配置chromium-browser。这是我从那以后每次部署数据分析服务都强制走一遍的 checklist先pip list | grep plotly再which chromium-browser最后python -c import kaleido——三步缺一不可否则页面白屏还找不到报错源头。希望帮到你。本文还有配套的精品资源点击获取