微博情感分析系统实战：从数据采集到BERT模型封装全流程

简介面向Python方向的毕业设计者这份资源是完整的微博情感分析系统项目。它整合了微博数据获取、文本预处理、情感分类与结果可视化等环节其中SVM、朴素贝叶斯、AdaBoost三种算法均有对应实现适合需要快速搭建情感分析原型或对照学习机器学习流程的读者。资源压缩包约6.25MB共71个文件包括31个Python脚本分词、训练、测试、绘图等、15个npy模型文件、13个训练/停用词等txt数据以及4个model、3个pyc、README和算法说明docx目录按模块划分便于复现与二次开发。目前已有6975人学习下载。通过该项目可掌握微博API调用与OAuth2.0、TF-IDF特征提取、SVM与朴素贝叶斯分类器构建、AdaBoost弱分类器加权集成以及ROC曲线和词云可视化等实用技能配套的《基于AdaBoost算法的情感分析研究》文档可作为论文写作参考能有效支撑毕业设计或相关课题研究。1. 微博情感分析系统它解决的不只是“算出正负面”一部剧开播当晚冲上热搜评论区到底是夸还是骂品牌投放后舆情是在升温还是在退潮人工翻页看不过来只看阅读数又掩盖了态度。基于微博情感分析系统就是把微博采集、文本清洗、情感判定和可视化串成一条可重复跑的流水线输入一个关键词输出按时间排列的正负情感曲线和占比。它的重点是“系统”而不仅是“模型”适合毕业设计、舆情小工具和课题演示。这种项目真正的难度不在模型多大而在于让新增数据都按同一套口径被清洗、标注和判定这比换一个更大模型更影响答辩分数。2. 数据先行微博采集、清洗与标注的落地流程2.1 用搜索页定向采集微博文本Cookie 与翻页是第一个门槛很多毕业设计卡在第一步没有数据。微博开放接口的申请流程长、调用配额也一直在变常见做法是直接采集微博搜索页按关键词和时间范围把公开博文拉下来。搜索页是 HTML 页面不是 JSON 接口所以要带一套模仿浏览器的请求头其中最关键的是登录后的 Cookie 值。你用自己的账号在浏览器里打开 weibo.com 完成登录再从开发者工具里复制 Cookie 字符串这段配置就能让搜索页认为你是正常访客。import random import time from urllib import parse import requests COOKIE xxxxxxxx # 替换成你自己浏览器里的 Cookie 值 def fetch_search_page(keyword: str, page: int) - str: headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://weibo.com/, Cookie: COOKIE, } url https://s.weibo.com/weibo?q parse.quote(keyword) page str(page) resp requests.get(url, headersheaders, timeout15) time.sleep(random.uniform(2, 4)) return resp.text这段代码里有三个参数需要按自己的环境改。COOKIE 是网页登录态的标识复制时要包含完整字符串缺一段都会让搜索页跳回登录框。timeout 设 15 秒是为了防止页面响应慢导致请求挂死。sleep 的 2 到 4 秒随机延时是为了避免连续请求触发风控这个值不要改成 0也不要固定成同一个数随机延时在批量采集时更稳。keyword 需要先用 urllib 的 parse.quote 做 URL 编码否则中文关键词会变成乱码或丢失。拿到 HTML 之后要从中抽出微博正文。搜索页的 DOM 结构会随改版变化抓取前先打印一段 HTML 确认选择器常见的做法是定位 article 节点下以 feed_list_content 开头的段落节点。from lxml import html def extract_weibo_text(page_text: str) - list[str]: doc html.fromstring(page_text) items [] for node in doc.cssselect(article[node-typefeed_list_item]): content_nodes node.cssselect(p[node-typefeed_list_content]) if not content_nodes: continue items.append(content_nodes[0].text_content().strip()) return items这段解析逻辑处理的是“搜索页里每一条微博卡片”cssselect 定位所有 article 节点再在每个节点内查找正文段落。需要留意的是转发微博的卡片里可能同时出现“原博内容”和“转发者的评论内容”两个节点如果只想分析用户自己写的那一句就要区分这两个节点不然后续标注口径会乱。这个问题在避坑章节会展开说。2.2 文本清洗先去掉噪声再做归一化别把情感词也洗掉微博文本是噪声最重的短文本之一带 #话题#、用户名、超链接、[哈哈] 这类表情占位符、还有“分享图片”等系统后缀。情感分析模型不关心这些信息它们只会干扰分词和统计。清洗的顺序比正则本身更重要我的习惯是先去掉链接和系统后缀再处理 和话题标签最后做空白字符归一化。import re def clean_weibo_text(raw: str) - str: text raw.replace(分享图片, ).replace(分享视频, ) text re.sub(rhttps?://\S, , text) text re.sub(r[\w\u4e00-\u9fa5_-], , text) text re.sub(r#([^#])#, r\1, text) text re.sub(r\[([^\]]{1,6})\], , text) text re.sub(r\s, , text).strip() return text清洗顺序不是随便定的。先删链接是因为 URL 里的字符可能干扰后面的正则匹配再删 用户名避免把昵称当成情感词最后处理话题标签时只去掉前后的 #保留标签里的文字因为“#电影好看#”去掉井号后“电影好看”仍然是对内容定性的关键信息。表情占位符 [哈哈]、[悲伤] 这类也要去掉它们只代表发帖者用了系统表情不构成独立的文本特征。最后一步把多个连续空格合并成一个。清洗时最容易犯的错是顺手把“不”“没”“无”这些词加进停用词表。情感分析里否定词是强特征“这部电影不好看”里的“不”一旦被删整句就从负向变成中性甚至正向。我一般只过滤“的、了、啊、嗯”这类虚词和语气词否定词和程度副词一律保留。2.3 舆情标注规则前置Kappa 校验别用“我反正觉得”当标准清洗完的文本需要标注情感类别这是整个系统里最容易被忽视、又最影响模型质量的一步。毕业设计的数据量通常不大几百到两三千条常见做法是人工标注三分类负向、中性、正向。不要边标边改规则先写一份简短的标注规范明确否定句、反讽句、新闻播报句怎么处理再开始标。from sklearn.metrics import cohen_kappa_score annotator_a [2, 1, 2, 0, 1, 0, 2, 2, 1, 0] annotator_b [2, 1, 2, 0, 0, 0, 2, 2, 1, 0] kappa cohen_kappa_score(annotator_a, annotator_b) print(fKappa{kappa:.2f})用两个人各标一份相同的数据算 Cohen Kappa 系数能判断标注标准是否统一。Kappa 在 0.6 以上说明两位标注者基本达成一致低于 0.4 则说明任务定义本身有歧义要先改标注规范再继续标而不是拼命加人。另一个常见的做法是让第三人复核分歧样本把不一致的样本单独拉出来讨论。标注完成后把 label 写回 CSV 里一份 CSV 贯穿整个流程不要分散成多个 Excel 文件。2.4 数据文件怎么组织一份 CSV 从头用到尾我建议把整个项目的数据文件分成三层答辩时讲数据构成也方便。路径内容说明raw/搜索页原始 HTML 或抽取后的文本保留原始内容方便回溯清洗前状态dataset.csv清洗标注后的总表字段id、keyword、text_clean、label、publish_timemodels/训练好的模型权重与词典每个版本单独建目录标注日期dataset.csv 里至少要包含 keyword、text_clean、label、publish_time 四个字段。keyword 用于区分不同检索词采集的数据text_clean 是清洗后的文本label 是人工标注的三分类标签publish_time 用于后续做舆情时间曲线。raw 目录里的内容不需要加工直接按日期归档这样如果清洗规则写错了还能从原始数据重新跑不用重新采集。3. 模型选型与训练词典法、预训练模型与接口封装3.1 基线先用词典法跑通全链路snownlp 只做兜底不少同学一上来就加载大模型结果数据没清洗干净、标注也不统一折腾两周连一次完整的前端调用都没跑通。我的建议是先用词典法做基线把整个系统链路打通再替换成预训练模型。词典法不需要训练数据几行代码就能跑出一个“能看但不完美”的结果能帮你验证前面的清洗和标注是否可靠。from snownlp import SnowNLP def baseline_predict(text: str) - int: score SnowNLP(text).sentiments if score 0.6: return 2 if score 0.4: return 0 return 1snownlp 的 sentiments 输出的是正向概率0 到 1 之间。这个函数把大于等于 0.6 判为正向小于等于 0.4 判为负向中间 0.4 到 0.6 判为中性。snownlp 的词典偏老对“下头”“绝绝子”“劝退”这类近几年出现的网络新词不敏感所以它适合做基线不适合做最终交付模型。你可以准备两份自定义词表把新词对应的情感倾向叠加上去。POSITIVE_WORDS {绝绝子, 吹爆, yyds, 上头} NEGATIVE_WORDS {下头, 劝退, 翻车, 避雷} def adjust_score(score: float, text: str) - float: for w in POSITIVE_WORDS: if w in text: score 0.08 for w in NEGATIVE_WORDS: if w in text: score - 0.08 return max(0.05, min(0.95, score))之所以用加减分而不是直接覆盖是为了避免单个词把整句推到一个极端值。一个句子里同时出现“吹爆”和“翻车”时先后加上 0.08 又减掉 0.08最终回到原始分附近这比直接赋值更接近真实语义。如果某个新词在验证集上反复出现且判断错误就把它的分值调大一点如果影响不大保持 0.08 就够。3.2 预训练模型做主力加载、分词、训练三步走词典法只能证明系统能跑想要在答辩时讲出模型选型的故事还是要上预训练模型。对中文微博短文本我常用参数量较小的中文 BERT 权重比如 hfl/rbt3显存压力小、训练快效果又明显优于词典法。加载和训练用 Hugging Face Transformers 可以省掉大量底层代码。from transformers import AutoTokenizer, BertForSequenceClassification MODEL_NAME hfl/rbt3 tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model BertForSequenceClassification.from_pretrained(MODEL_NAME, num_labels3)def tokenize_fn(example): return tokenizer(example[text_clean], truncationTrue, max_length64) dataset Dataset.from_pandas(train_df) dataset dataset.map(tokenize_fn, batchedTrue)tokenizer 负责把文本转换成模型需要的输入 id这里做了两件事超过 64 个 token 的微博文本直接截断长度不足的自动补齐。微博正文大多在 140 字以内分词后通常不到 64 个 token所以 max_length 设 128 以上收益很低还会增加显存占用。如果实验时发现部分样本被截断得厉害再逐步加到 128。训练参数不需要自己从头调先照着一组稳妥的配置跑再根据验证集结果微调。参数推荐值说明num_train_epochs3小数据集上 2 到 3 轮足够太多会过拟合per_device_train_batch_size16显存紧张就降到 8learning_rate3e-5超过 5e-5 容易训练不稳定max_length64微博短文本的合理截断长度weight_decay0.01轻微正则防止跑到后期发散training_args TrainingArguments( output_dir./checkpoints, num_train_epochs3, per_device_train_batch_size16, per_device_eval_batch_size32, learning_rate3e-5, warmup_ratio0.1, weight_decay0.01, evaluation_strategyepoch, save_strategyepoch, logging_steps50, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, ) trainer.train() trainer.save_model(./models/sentiment_v1)这里用 EvaluationStrategy.EPOCH 让模型每训练完一轮自动跑一次验证集判断是继续训练还是提前停掉。save_strategy 同步设为 epoch每一轮结束存一个 checkpoint模型在验证集上效果变差时还能回滚到上一版。warmup_ratio 设为 0.1意思是前 10% 的训练步数里学习率从很小开始线性上升到设定值避免模型刚加载就被大梯度冲乱。3.3 样本不均衡先看混淆矩阵再动阈值毕业设计的标注数据往往只有几百条很容易出现正负样本不均衡。比如你搜的是一个“好口碑”相关话题正向样本特别多模型学出来就倾向于把所有输入判成正向。这时不要急着采样先看验证集的混淆矩阵确定是标签分布问题还是模型学习能力问题。如果只是阈值偏向调整判定阈值比调模型参数更直接。prob model.predict_proba(text) if hasattr(model, predict_proba) else softmax(outputs.logits) label 2 if prob[2] 0.50 else (0 if prob[0] 0.45 else 1)这个阈值策略针对的是正向类别样本多导致模型输出概率偏高而负向类别样本少导致输出概率偏低。把判定边界从 0.5 调整到 0.50 和 0.45 的差异值本质上是人为给负向类别一点补偿。如果负向样本数量仍然少得离谱可以考虑用回译或同义词替换做少量增强但要注意增强文本必须经过人工看一眼不能盲目生成。3.4 用 FastAPI 把模型封装成接口前端只发一句话模型训练完要服务于系统展示最常见做法是封装成一个 HTTP 接口。FastAPI 轻量、自带接口文档写在毕业论文的系统设计章节里也容易讲清楚。from fastapi import FastAPI from pydantic import BaseModel app FastAPI() class ReviewItem(BaseModel): text: str app.post(/sentiment) def sentiment_api(item: ReviewItem): text clean_weibo_text(item.text) label, prob model_predict(text) return {label: label, positive_prob: round(prob, 4)}启动时用uvicorn main:app --host 0.0.0.0 --port 8000。接口只接收一个 text 字段内部先走清洗函数再进模型预测返回 label 和正向概率。这样前端拿到 JSON 就能绘图不用关心文本清洗和模型细节。接口里一定要再调用一次 clean_weibo_text因为前端传来的文本可能没经过清洗直接进模型会影响准确率。4. 毕设避坑Cookie 失效、误删否定词与模型翻车的四五个现场4.1 Cookie 失效采集结果全是空模板现象采集脚本运行一段时间后拿回来的 HTML 里没有微博内容翻页返回的全是登录提示或空白模板。原因微博网页版会校验登录态Cookie 有有效期限长时间访问后过期失效或者 Cookie 复制时漏了后半段请求头不完整。另一个常见原因是单次采集量太大触发了访问频率限制。解决采集前先打印一页 HTML 确认内容完整再启动批处理批量采集中间加上随机延时Cookie 过期就重新登录浏览器并复制新值。毕业设计的数据量一般不大分几天采集每次只跑少量关键词比一次性抓三天数据更稳。4.2 转发和原创混在一起标注口径前后不一致现象训练集里同一句话被标成两个标签模型训练后准确率一直在 70% 左右上不去人工复查发现很多样本来自转发微博原博内容和转发者评论被拼在一起了。原因解析搜索页时一个转发卡片里可能有多个文本节点既包含原博主的文字也包含转发者自己写的评论抓取时没有区分两个节点导致文本语义混杂。解决在解析阶段只取“当前用户自己写的那一段”遇到转发内容时单独标记 is_forward 字段或者直接跳过转发样本。标注规则里也要写明只对用户原创文本进行情感标注不把原博内容混入。清洗代码里加上节点区分比在标注时纠错省力得多。4.3 停用词表误删否定词负面评论全变成正向现象验证集里“这电影一点都不好看”“服务态度太差了”这两类典型负面样本全部被判成正向但单独测单条又没问题。原因为了提升分词效果往停用词表里加了大量“高频词”把“不”“没”“无”“别”等否定词也加了进去清洗时全被删掉。情感倾向的信号在预处理阶段就丢了模型再好也修不回来。解决检查停用词表里是否包含否定词和程度副词把“不、没、没有、别、不用、不太、非常、特别”全部移出停用词表。更稳妥的做法是停用词表只放纯功能词比如“的、了、吗、呢、啊”所有带语义的词都保留。4.4 训练集只有一个话题来源模型在通用微博上泛化失败现象训练时用的是“某部电影上映”话题下采集的数据预测阶段换成一个不相关的社会新闻输出概率集中在某个类别看起来完全没有区分度。原因训练样本分布偏科模型只见过某类话题的表达方式。电影话题里大量出现“演技、剧情、特效”这些词社会新闻里这些词一个都没有模型只能靠高频词瞎猜。这不是模型问题是数据采集时关键词覆盖太窄。解决采集数据时至少覆盖三到五个不同领域的关键词比如一个娱乐话题、一个消费品牌话题、一个社会话题让训练集有基本多样性。答辩时也可以主动讲这个局限性模型受限于训练数据的领域分布迁移到新话题时需要补充标注数据做微调。4.5 演示前模型路径错乱接口报 404 或加载失败现象答辩前十分钟启动 FastAPI接口报模型文件找不到检查发现 models 目录下只有一个 checkpoint 子目录模型文件名和加载代码里写的路径对不上。原因Transformers 保存模型时会生成多个文件包括配置文件、模型权重、分词器文件路径写错一个就加载失败。常见错误是加载时用了绝对路径换机器后路径失效或者是把 checkpoint 目录和最终模型目录搞混。解决保存和加载用相对路径并且把最终模型统一复制到 models/sentiment_v1 这样的固定目录加载代码写model BertForSequenceClassification.from_pretrained(./models/sentiment_v1)。迁移到演示机器时整个项目目录一起拷贝不要只复制权重文件。启动接口前先用一段单测脚本调用一次模型确认能返回结果再演示。5. 验证做扎实混淆矩阵与舆情趋势两条线说服答辩答辩时只展示“准确率 85%”远远不够老师最想看的是模型在哪些样本上出错以及系统能不能反映真实舆情趋势。我的技巧是准备两个验证产出一个混淆矩阵一条舆情时间曲线。混淆矩阵用 sklearn 的三行代码就能输出。它比单一准确率指标更诚实如果正向样本很多模型即使什么都不学只猜正向准确率也能到 70% 以上但混淆矩阵会让“负向几乎全错”这个事实暴露出来。from sklearn.metrics import classification_report, confusion_matrix print(classification_report(y_true, y_pred, target_names[负向, 中性, 正向])) print(confusion_matrix(y_true, y_pred))看混淆矩阵时重点看两处负向样本被分到哪个类别中性样本是否被当成正负向。负向错到中性问题不大说明模型只是程度判断不准负向大量错到正向就是严重问题要回到数据和清洗环节找原因。报告里的 macro-F1 比 accuracy 更能反映小类别上的表现答辩时可以主动说一句“我最终以 macro-F1 作为主要评估指标而不是准确率”。另一个加分做法是画舆情趋势曲线。筛选出同一个关键词在一段时间内的全部微博按天分组每天计算正向占比或情感得分均值画一条折线。这条线能直观展示某个事件从发酵到退潮的过程峰值出现的时间通常对应热点事件的爆发点。可视化对比单条微博的判断结果更有说服力因为它把模型输出变成了业务语言。如果时间充裕还可以往多模态方向延伸一点微博里有大量配图和视频文本情感分析只能覆盖文本部分而图片表情、视频语音里也携带情感信息。毕业设计可以把模型结论设计成可扩展接口预留图片和视频的情感分析入口未来接入图像特征或语音特征从文本情感分析逐步过渡到多模态情感分析。不需要真的在毕设里实现完整多模态但把这层思考写进系统设计里会显得方案有延展性。我最早做类似系统时犯过一个错模型换了好几个数据清洗却只做了一版每次跑出来的结果都在同一批脏文本上打架。后来我调整了顺序先定清洗口径再定标注规则最后才碰模型项目一下子顺了。这条顺序值得你照着走一遍希望帮到你。本文还有配套的精品资源点击获取