基于网易新闻评论的舆情热点分析平台：从爬虫到可视化完整实践

简介一份基于网易新闻与评论的舆情热点分析平台完整工程包面向Python课程设计、毕业设计及数据科学初学者旨在解决从舆论数据采集、清洗、情感判断到热点趋势可视化的全流程实践问题。包体共1403个文件以JS、CSS、HTML等前端资源为主兼顾Python源码、pyc编译文件、CSV与SQL示例数据以及说明文档压缩包约23.83MB目录结构便于按模块检索。目前已有166人学习资源在描述中清晰拆解了网络爬虫、jieba分词、SnowNLP情感分析、TF-IDF关键词提取、Flask/Django Web整合等知识点并使用了Bootstrap、Layui、Font Awesome等前端框架构建展示界面。学习者可从中获得一套可运行的完整项目骨架理解前后端配合方式也能借鉴其数据清洗与时间序列分析方法快速搭建自己的舆情分析或文本挖掘原型。1. 拿网易新闻练手的舆情热点分析平台从爬虫到可视化的完整闭环如果你正在找 Python 课程设计或毕业设计的选题又不想做一个烂大街的学生管理系统那么基于网易新闻加评论的舆情热点分析平台是一个性价比很高的方向。它一条链路串起了爬虫、文本清洗、情感分析、关键词提取、时间序列分析和 Web 可视化几乎把 Python 数据处理的常用技能全过了一遍。这个项目不是只把新闻标题抓下来就结束而是要把“评论情感”和“热点关键词”落成图表最终在浏览器里看到一个可以交互的分析界面。对于想证明自己具备 Python 全栈数据分析能力的人来说这份源码值得拆开看一遍甚至直接改造成自己的毕设。我拆这个项目的时候最深的感受是它的难点不在某一个环节而在环节之间的衔接——爬虫拿到的是杂乱 HTML清洗后才能做分词分词结果才能喂给情感分析分析结果又得存进数据库供 Web 层调用。任何一个环节掉链子后面的图表就是空的。下面我按实际开发顺序把整个项目拆开讲每一章都给到能直接复用的代码和参数说明以及我在复现过程中踩过的坑。2. 数据采集层用 requests 加 BeautifulSoup 把网易新闻和评论拉下来2.1 为什么选网易新闻反爬门槛适中评论区信息密度高网易新闻的页面结构相对规整不像微博那样需要登录授权也不像知乎那样有严格的风控但也不是完全没有反爬措施。它的新闻列表页是服务端渲染的直接用 requests 就能拿到完整 HTML而评论数据是异步加载的需要找到对应的 JSON 接口。这种“一半静态、一半动态”的组合恰好适合用来练习爬虫的两种常见策略。另外网易新闻的评论区质量在中文互联网里算是比较高的跟帖往往能反映真实的舆情态度这对情感分析环节来说是非常有价值的语料。如果换成纯官方新闻稿评论都是“点赞”“支持”情感分析就失去了区分度。选这个数据源能让情感分布图呈现出有意义的波动而不是一条直线。我在复现的时候首选 requests 加 BeautifulSoup 的组合。Selenium 虽然能解决动态加载但启动浏览器实例的开销大、速度慢能用接口拿数据就不必上浏览器模拟。2.2 新闻列表页的抓取请求头伪装与解析逻辑import requests from bs4 import BeautifulSoup def fetch_news_list(category_url, page1): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36, Referer: https://news.163.com/, } params {page: page} resp requests.get(category_url, headersheaders, paramsparams, timeout10) resp.encoding utf-8 soup BeautifulSoup(resp.text, lxml) news_items [] for li in soup.select(ul.news_list li): title_tag li.select_one(a) if title_tag is None: continue title title_tag.get_text(stripTrue) link title_tag.get(href) news_items.append({title: title, url: link}) return news_items这段代码里最关键的是 headers 字典。User-Agent 必须伪装成真实浏览器的标识否则网易的 WAF 会直接返回 403 或验证码页面。Referer 字段用来模拟从网易主页跳转过来的访问行为某些反爬策略会校验这个字段。resp.encoding utf-8这行不能漏网易页面虽然声明了 utf-8但有时候响应头里的 charset 是缺失的不手动指定的话中文标题会乱码。选择器ul.news_list li是我抓当前网易新闻首页结构时验证过的如果你的复现环境里页面改版了可以用开发者工具先确认列表容器的 class 名再调整。这里的一个经验是先用一小段测试脚本打印 soup 的前 3000 个字符确认解析结构没有变化再跑全量抓取。2.3 评论数据的异步接口:构造参数与 JSON 解析import requests def fetch_comments(news_id, page1): comment_url https://comment.api.163.com/api/v1/products/a2869674571f77b5a0867c3d71db5856/threads/{}/comments params { ibc: newspc, limit: 30, offset: str((page - 1) * 30), showLevelThreshold: 0, headLimit: 1, tailLimit: 2, } headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36, Referer: fhttps://news.163.com/{news_id}.html, } resp requests.get(comment_url.format(news_id), paramsparams, headersheaders, timeout10) data resp.json() comments [] for key, val in data.get(comments, {}).items(): content val.get(content, ) vote_count val.get(voteCount, 0) create_time val.get(createTime, ) comments.append({ news_id: news_id, content: content, vote_count: vote_count, create_time: create_time, }) return comments评论接口是网易新闻的一个 JSON API它需要新闻的 docid 作为参数。新闻列表页里的跳转链接通常就包含这个 ID我的做法是在抓列表时直接用正则从 URL 里提取 docid存进数据库再逐个请求评论接口。这段代码里有几个参数要说明一下。limit控制每页评论条数最大可以调到 50但调太大响应时间会明显变长我一般保持 30。offset是分页偏移量(page - 1) * 30这个计算公式要注意offset 的单位是条数而不是页码。ibc参数是固定的表示评论板块标识这个值在不同产品线里不一样如果是抓网易号自媒体的评论接口地址里的 products 参数要换。解析时用的是data[comments]这是一个字典key 是评论 IDval 里包含了 content、voteCount、createTime、floor 等字段。这里有一个坑不是每条评论都有 voteCount 字段被折叠的评论可能没有这个 key所以要用val.get(voteCount, 0)而不是val[voteCount]否则会在中途崩掉。2.4 抓取策略请求间隔、失败重试与断点续传整套爬虫如果一口气跑完大概率会在中途被服务器断开连接。我一般会加一个简单的间隔控制每抓一条新闻的评论后 sleep 1 到 2 秒并且把已经抓过的 news_id 记录在 SQLite 里这样即使程序中断下次启动也只抓新增的数据。至于数据存储这个项目我推荐直接用 SQLite 而不是 MySQL。原因很简单单机学习场景不需要部署独立的数据库服务sqlite3 是 Python 内置模块零配置就能用。表结构我设计了 three 张分别是 news存储新闻标题、链接、docid、抓取时间、comments存储评论正文、点赞数、发布时间、新闻外键、analysis存储后续分析的结果数据。后续 Flask 查询统计指标时SQLite 的读写速度完全够用。3. 文本清洗与中文分词把脏数据变成可分析的语料3.1 HTML 标签与噪声文本的清理策略抓下来的评论数据比新闻标题脏得多emoji、HTML 实体、无意义字符、广告文本混在一起。我见到最常见的翻车情况是有人直接拿原始评论去做词云结果高频词全是“http”“转发”“哈哈”这类噪声。所以在分词之前必须做一轮清洗顺序很重要。我的清洗顺序是先去 HTML 标签和实体用正则或 BeautifulSoup 的 get_text再替换中文标点然后过滤掉长度小于 2 的评论最后用停用词表做一轮过滤。示例如下import re def clean_text(raw_text): # 去掉 HTML 标签和转义实体 text re.sub(r[^], , raw_text) text re.sub(r[a-zA-Z];, , text) # 统一替换中文标点为空格 text re.sub(r[。、《》【】——…·], , text) # 去掉 URL 和邮箱 text re.sub(rhttps?://\S|www\.\S, , text) # 去掉全是空白字符的片段 text re.sub(r\s, , text).strip() return text注意第三行正则里的标点列表在正则里如果处理不当会引起匹配范围错误我在实际代码里用的是 Unicode 范围匹配[\u3000-\u303f\uff00-\uffef]来覆盖全角标点效果更稳。清洗完成后建议统计一下每条评论的净化前后长度差如果长度差超过 60%说明这条评论以噪声为主可以直接丢弃。3.2 jieba 分词的参数配置自定义词典与停用词import jieba # 加载自定义词典提升对新闻专有名词的分词准确率 jieba.load_userdict(user_dict.txt) stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def tokenize(text): words jieba.lcut(text) return [w for w in words if w not in stopwords and len(w.strip()) 1]user_dict.txt 里每一行是一个自定义词格式是“词 词频 词性”其中词频可以不填例如特斯拉 10 nz 张雪峰 10 nz 淄博烧烤 10 nz加载自定义词典的目的是让 jieba 把“杭州亚运会”当成一个整体切出来而不是切成“杭州”“亚运会”。分词完成后过滤停用词这一步很关键我用的停用词表大约 2000 个词除了一般的“的、了、和、是”之外还手动加了一批舆情场景里的高频噪声词比如“网易”“新闻”“小编”“网友”这些在评论语境里没有分析价值的词。注意在新词表里如果你改的是新闻分类维度nz这类词性标记可以让 jieba 在并行分词模式下更稳定不填也不会有大问题。3.3 数据预处理流程的完整管道实际项目里我不建议一行一行在 notebook 里跑而是把整个清洗过程封装成一个类输入原始评论列表输出清洗后的结构化 DataFrame。阶段输入处理方式输出原始抓取requests 响应JSON 解析字段提取评论列表文本清洗原始评论去标签、去 URL、去空行干净文本分词过滤干净文本jieba 分词 停用词过滤词列表统计归档词列表Counter 计数词频字典4. 情感分析与关键词提取从文本里挖出舆情态度4.1 基于 SnowNLP 的评论情感判定思路情感分析是舆情平台的核心模块。这个项目里最常用的方案是 SnowNLP它是一个纯 Python 实现的中文文本处理库内置了训练好的情感分类模型用法非常简单适合课程设计快速出效果。它的情感分值范围是 0 到 1越接近 1 表示越正面越接近 0 表示越负面。from snownlp import SnowNLP def analyze_sentiment(text): s SnowNLP(text) return s.sentiments # 返回 0.0 ~ 1.0 的情感值把情感值按阈值切分大于 0.6 标记为正向小于 0.4 标记为负向中间是中性。这个阈值可以根据自己的数据分布微调。我跑网易新闻评论的经验是直接用 0.6 和 0.4 的对称阈值会比较合理因为网易评论区整体偏负向吐槽如果用 0.5 作为单一分界会把大量中性和轻微吐槽全部算成负面导致情感分布图失真。SnowNLP 的好处是开箱即用但它的模型是在电商购物评论上训练的对新闻时政领域的词汇判断会有一点偏差。如果你对准确率有更高的要求可以再用 sklearn 的朴素贝叶斯在人工标注的小样本上做一个分类器不过对课程设计来说SnowNLP 的产出已经够看了。4.2 基于 TF-IDF 和 TextRank 的新闻热点关键词提取关键词提取的常用算法是 TF-IDF 和 TextRank。TF-IDF 的原理是过滤掉常见词保留那些在某篇文章里出现得多但语料库里出现得少的高信息量词TextRank 则是把句子里的词看成图节点计算词之间的共现权重迭代收敛后得到排名。我一般两个都会跑一遍然后取交集。这样做的原因是 TF-IDF 容易漏掉一些出现频率不高但是语义核心的词TextRank 则可能把多个相同领域的高频词都排到前面缺少区分度。两者取交集可以在直观感受上取得一个平衡。from jieba.analyse import extract_tags, textrank def extract_keywords(texts, topk20): full_text .join(texts) tfidf_tags extract_tags(full_text, topKtopk) textrank_tags textrank(full_text, topKtopk) overlap [t for t in tfidf_tags if t in textrank_tags] # 不足 topk 时用 TF-IDF 结果补齐 return list(dict.fromkeys(overlap tfidf_tags))[:topk]extract_tags底层调用了 jieba 分词后的 TF-IDF 算法它会自动把停用词和低频词过滤掉所以传入的 texts 可以不做额外清洗。但要注意textrank函数在 Python 3.8 以上的环境里偶尔会报误告警提示没有安装 numpy实际是 jieba 版本兼容问题升级 jieba 到最新版即可。关键词提取结果的准确性还取决于语料规模。只拿 50 条新闻去做热点提取出来的词肯定是散的我建议至少累积 500 篇新闻和对应评论再跑这个话题分析这样关键词才有统计意义。4.3 按时间维度的情感趋势聚合舆情分析不能只看整体情感占比更要看情感随时间的变化趋势。这里我用 pandas 按天分组计算每天的平均情感值输出一个时间序列。import pandas as pd def sentiment_trend(df): df[date] pd.to_datetime(df[create_time], units) df[date] df[date].dt.date trend df.groupby(date)[sentiment].agg([mean, count]).reset_index() trend.columns [date, avg_sentiment, comment_count] return trend注意create_time字段从网易接口返回的是 Unix 秒级时间戳必须先用pd.to_datetime(..., units)转成 datetime再提取日期。如果直接当字符串 groupby会把同一天的评论拆成不同组趋势图就会变成锯齿状。聚合后可以用一个简单的移动平均再做一次平滑避免因为某天评论量太少导致均值剧烈抖动。5. 避坑手册复现这个项目时最容易翻车的几个地方5.1 反爬拦截与请求头伪装现象用 requests 请求网易新闻列表页返回的不是预期的 HTML而是一个包含滑块验证码的页面或者 403 状态码。原因网易的 WAF 会对没有浏览器标识的请求直接拦截尤其是短时间内高频访问同一个栏目时触发频率限制的概率很高。解决每次请求必须带上完整的 User-Agent包括浏览器版本和系统信息不能只写Python-requests/2.x。其次控制请求频率新闻列表页每页间隔 2 秒评论接口每次请求至少间隔 1.5 秒。如果还是被拦截可以尝试更换 User-Agent 为一个移动端的标识或者用代理 IP 池轮换。5.2 评论接口返回空数据的根因现象评论接口返回的 JSON 里comments字段是空字典明明页面底下能看见评论。原因新闻的 docid 传错了。网易新闻有两个 ID一个是文章本身的 docid一个是评论系统对应的 commentid二者不一定相同。如果你是从新闻 URL 里提取的 ID需要确认它同时能作为评论接口的 thread 参数。解决先用浏览器开发者工具在评论区抓一次网络请求看正在请求的评论接口 URL 里 thread 参数长什么样把那个值提取出来作为标准。另外注意头条新闻如果没有开放评论接口也会返回空这是正常现象在代码里跳过即可。5.3 jieba 分词把专有名词切碎现象词云里出现“淄博”“烧烤”分列两个词或者“张雪峰”被切成“张”“雪峰”。原因j ieba 默认词典是通用的对新闻里的人物名和热点专有名词覆盖不够。解决用jieba.add_word()或者在自定义词典文件里维护一个不断增补的列表。我跑这个项目的时候维护了一个包含实时热点词的文件每轮抓取前先检查有没有新热点词需要加入。对于课程设计来说提前把当前新闻语料中出现频率高的专有名词手动加进词典就够了。5.4 中文字体缺失导致可视化图表乱码现象matplotlib 生成的情感趋势图横坐标的日期没问题但图例和标题的中文全部显示为方框。原因Linux 或部分 Windows 精简环境里 matplotlib 找不到可用的中文字体。解决在绘图前显式指定中文字体import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, WenQuanYi Zen Hei] plt.rcParams[axes.unicode_minus] False第一行设置字体优先列表第二个参数解决坐标轴上负数显示成方框的问题。如果服务器上连中文字体都没装还需要先安装 fonts-wqy-zenhei 之类的字体包装完记得删除 matplotlib 的字体缓存目录再重启。5.5 SQLite 并发写入导致的 database is locked现象爬虫正在写入评论数据Flask 后端同时查询统计结果偶发报错database is locked。原因SQLite 同一时间只允许一个写连接长事务会把数据库文件锁住。解决在 sqlite3.connect 时传入timeout10提高锁等待时间并且写完立即 commit。不要把连接做成全局的每个线程独立开连接用完即关。如果爬虫是多线程的考虑限制线程数最多 5 个或者把所有写操作放进一个队列由一个消费者串行执行。6. Flask 搭建可视化看板把分析结果用图表展示出来6.1 后台接口设计:统计查询与前端交互整个平台的最终形态是一个 Web 页面用户可以看到热点关键词、情感分布比例、趋势折线图等信息。Flask 在这个项目里承担的是后端 API 角色它从 SQLite 中读分析结果按前端请求的类型返回 JSON。我设计了三个核心接口。一个是获取整体舆情统计概览包括新闻总数、评论总数、平均情感值、正向负向中性占比。一个是获取指定时间范围的热点关键词 Top 榜前端拿到后渲染词云。还有一个是获取情感趋势数据前端绘制折线图。接口返回的是 JSON前端用 jquery 发 ajax 请求再调用 ECharts 渲染图表。6.2 ECharts 图表配置词云与情感趋势折线图前端展示我用的是 ECharts它对中文图表支持完善词云图用 echarts-wordcloud 扩展实现。情感趋势折线图的配置相对简单核心是把后端的数组映射成 ECharts 的 xAxis 和 series 数据。$.get(/api/trend, function (resp) { var chart echarts.init(document.getElementById(trendChart)); chart.setOption({ xAxis: { type: category, data: resp.dates }, yAxis: { type: value, name: 平均情感分值 }, series: [{ data: resp.values, type: line, smooth: true, areaStyle: { opacity: 0.2 } }] }); });这个请求对应后端的/api/trend接口。数据格式上resp.dates 是日期字符串数组resp.values 是浮点数数组。smooth 设为 true 可以让曲线更顺滑减少因为是逐日统计带来的锯齿感。词云图需要额外引入 echarts-wordcloud 的 JS 文件配置里的关键字段是wordCloud.sizeRange它控制词的大小范围值越大越夸张我用的是[12, 60]新闻关键词热度差异明显的话效果更好。6.3 端到端验证方式整条链路跑通的标准复现完这个平台后我习惯按三个指标来验证它是否真的可交付使用。第一是数据量验证。抓取完成后再查一次数据库确认新闻表和评论表非空且评论条数不少于 1000 条否则后面的统计图表可能因为数据太少而显得不具说服力。第二是接口验证。直接浏览器访问/api/trend确认返回的 JSON 中 dates 和 values 长度一致且数值范围在 0 到 1 之间。如果 values 全是 0.5 或者全是 1说明情感分析环节出问题了回查 SnowNLP 是否对空文本做了处理。第三是页面巡检。用浏览器打开首页看词云是否渲染成正常的中文词而非方框看折线图是否有数据点点击时间筛选按钮确认图表会重新请求接口并更新。这三步全过了项目就算真正跑通了。我在交付这个课程设计的时候还会专门留一个 requirements.txt 文件把依赖版本锁定到能跑的版本区间因为 jieba、snownlp 这几个库的版本差异真的会影响分词结果和情感分值。从那以后我每次复现这类数据分析项目都强制先把依赖环境用虚拟环境隔离好版本不一致的问题比代码逻辑问题更隐蔽也更浪费时间。希望这份拆解能帮你在自己的课程设计或毕业设计里少走几个弯路。本文还有配套的精品资源点击获取