CNN-Bi-LSTM中文情感分析实战：从分词到推理的完整指南

简介这是一套面向计算机相关专业学生与项目实战学习者的中文情感分析系统源码采用CNN-Bi-LSTM混合神经网络实现可作为高分毕业设计、课程设计或期末大作业的完整参考方案。资源包共35个文件以13个Python源码文件为核心涵盖数据预处理、模型构建与训练、评分报告等模块另含10个txt说明文档、2个pb模型文件、2个data分片文件及index索引配合png、jpeg截图与README.md压缩包整体约73.2MB目录结构清晰便于按模块查阅与复现。项目围绕酒店评论数据展开情感倾向判别从词向量到卷积特征提取再到双向LSTM序列建模完整呈现了深度学习文本分类的工程流程。目前已有72人学习下载适合希望快速掌握中文情感分析实现思路、需要可运行代码支撑论文与答辩的读者参考借鉴。1. 从一份 CNN-Bi-LSTM 中文情感分析源码说起它到底能跑出什么如果你手头正压着一个毕业设计题目里带着「Python」「中文情感分析」「CNN-Bi-LSTM」那你大概率已经翻过不少仓库有的只有模型定义没有数据处理有的训练脚本写死路径有的连中文分词都没做就直接把句子喂进 Embedding。这份源码要解决的核心问题很具体——把一段中文文本评论、弹幕、舆情短句映射成正面或负面的概率并且用 CNN 抽局部 n-gram 特征、用 Bi-LSTM 抽长距离上下文两者拼接后分类。它适合三类人一是需要一份能跑通、能改、能写进论文实验章节的毕业设计底座二是想理解「卷积 双向循环」这套组合拳在文本任务上到底比单模型强在哪的初学者三是手里有标注语料、想快速搭一个中文情感倾向分析 baseline 的从业者。读完你至少能拿到一条完整链路中文分词 → 词向量 → CNN-Bi-LSTM 建模 → 训练 → 评估 → 推理可视化。下面按这条链路拆开讲参数和坑都会落到具体位置。2. 中文情感分析的数据管线从原始语料到可训练张量2.1 为什么中文必须先分词再进 Embedding英文用空格天然切词中文不行。如果你直接把「这个产品非常好用」整句按字符切CNN 的卷积核看到的是一堆单字组合虽然也能学但语义粒度太碎Bi-LSTM 要花更多层去拼词边界。常见做法是用 jieba 做精确模式分词再过滤停用词和标点。注意一点情感分析里「不」「没」「别」这类否定词绝对不能进停用词表否则「不好用」会被切成「好用」标签直接反了这是血泪经验。分词之后要建词表。词表大小直接影响 Embedding 矩阵显存占用中文情感任务常用 10000 到 30000 的 vocab_size。低于 10000 会大量出现UNK高于 50000 在小数据集上纯属浪费。我一般会统计词频保留累计覆盖 95% 以上的词剩下的统一映射到未知词。import jieba import re from collections import Counter def clean_text(text): # 只保留中文、数字和基本标点去掉 URL 和特殊符号 text re.sub(rhttp[s]?://\S, , text) text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。], , text) return text.strip() def tokenize(text): text clean_text(text) # 精确模式否定词保留 words jieba.lcut(text) stopwords {的, 了, 是, 在, 和, 就, 都, 而, 及, 与} return [w for w in words if w not in stopwords and len(w) 0] def build_vocab(corpus, max_size20000, min_freq2): counter Counter() for line in corpus: counter.update(tokenize(line)) # 按词频排序过滤低频词 vocab {PAD: 0, UNK: 1} for word, freq in counter.most_common(max_size - 2): if freq min_freq: vocab[word] len(vocab) return vocab这段代码里clean_text负责去噪tokenize负责切词并保留否定词build_vocab按词频截断。参数max_size控制词表上限min_freq2表示只出现一次的词不进词表避免过拟合。跑完你会得到一个 dict后面用它把句子转成 id 序列。2.2 序列截断与 padding90% 的 shape 报错都出在这里模型要求每个 batch 的输入长度一致。中文情感短文本评论、微博长度分布很集中常见做法是取 95 分位数作为 max_len比如 128 或 256。太短会截掉关键情感词太长则 padding 占比过高Bi-LSTM 在大量PAD上做无用计算。import numpy as np def encode(text, vocab, max_len128): words tokenize(text) ids [vocab.get(w, vocab[UNK]) for w in words] if len(ids) max_len: ids ids[:max_len] # 超长截断 else: ids ids [vocab[PAD]] * (max_len - len(ids)) # 补零 return ids def batch_encode(texts, vocab, max_len128): return np.array([encode(t, vocab, max_len) for t in texts])encode先查词表再截断补零batch_encode把一批文本变成(batch_size, max_len)的矩阵。注意PAD的 id 必须是 0后面 Embedding 层要设置padding_idx0否则 padding 也会参与梯度更新模型会学到「零向量代表某种情感」这种玄学规律。提示如果你的数据集里长文本占比高别硬截断可以按长度分桶bucket再 batch减少 padding 浪费。3. CNN-Bi-LSTM 模型结构卷积核怎么设、双向层怎么接3.1 卷积层抽的是 n-gram不是图像边缘文本 CNN 和图像 CNN 的直觉不同。图像卷积核在空间上滑文本卷积核在词序列上滑一个kernel_size3的卷积核相当于在看「连续三个词」的组合特征也就是 trigram。多个不同 kernel_size 并行就能同时捕捉 2-gram、3-gram、4-gram 的情感搭配比如「非常 好用」「不 推荐」「质量 差 到」。import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim128, num_filters128, kernel_sizes[2,3,4]): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) # 每个 kernel_size 一组卷积输出通道数 num_filters self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizek) for k in kernel_sizes ]) self.dropout nn.Dropout(0.5) def forward(self, x): # x: (batch, seq_len) emb self.embedding(x) # (batch, seq_len, embed_dim) emb emb.permute(0, 2, 1) # (batch, embed_dim, seq_len) conv_outs [] for conv in self.convs: c torch.relu(conv(emb)) # (batch, num_filters, L-k1) p torch.max_pool1d(c, c.size(2)).squeeze(2) # 全局最大池化 conv_outs.append(p) return torch.cat(conv_outs, dim1) # (batch, num_filters * len(kernels))embed_dim128是词向量维度num_filters128是每种卷积核的输出通道数kernel_sizes[2,3,4]覆盖不同 n-gram。permute是因为 Conv1d 要求通道维在中间。全局最大池化把每个特征图压成一个值保留最强激活。最后拼接得到128*3384维向量。3.2 Bi-LSTM 接在 CNN 后面还是并行差别在哪常见有两种接法。串行CNN 输出序列再喂给 Bi-LSTM让 LSTM 在卷积抽出的局部特征上再建长距离依赖。并行CNN 和 Bi-LSTM 各自处理 Embedding最后拼接。串行更适合长文本因为卷积先降噪并行更适合短文本两条路互不干扰。这份源码用的是并行拼接短文本情感任务上更稳。class CNNBiLSTM(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_filters128, kernel_sizes[2,3,4], num_classes2): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, k) for k in kernel_sizes ]) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue, bidirectionalTrue) self.dropout nn.Dropout(0.5) # CNN 输出 num_filters*len(kernels)Bi-LSTM 输出 hidden_dim*2 self.fc nn.Linear(num_filters * len(kernel_sizes) hidden_dim * 2, num_classes) def forward(self, x): emb self.embedding(x) # (B, L, E) # CNN 分支 c_in emb.permute(0, 2, 1) # (B, E, L) c_outs [torch.relu(conv(c_in)) for conv in self.convs] c_outs [torch.max_pool1d(c, c.size(2)).squeeze(2) for c in c_outs] c_feat torch.cat(c_outs, dim1) # (B, F*K) # Bi-LSTM 分支取最后时间步的前向和后向隐藏态 lstm_out, (h_n, _) self.lstm(emb) # h_n: (2, B, H) l_feat torch.cat([h_n[0], h_n[1]], dim1) # (B, 2H) feat torch.cat([c_feat, l_feat], dim1) return self.fc(self.dropout(feat))hidden_dim128表示单向 LSTM 隐藏维度双向拼接后是 256。h_n[0]是前向最后隐藏态h_n[1]是后向最后隐藏态拼起来才完整表达整句上下文。num_classes2对应正负二分类如果做三分类正/中/负改成 3 即可。全连接层输入维度必须等于num_filters*len(kernel_sizes) hidden_dim*2这里算错就是最常见的 shape mismatch。注意Bi-LSTM 的batch_firstTrue一定要设否则输入维度顺序是(seq_len, batch, embed_dim)和 Embedding 输出对不上。4. 训练、评估与推理让模型真正跑起来4.1 训练循环里必须盯住的三个量训练脚本本身不复杂但有三处容易翻车。第一是损失函数二分类用CrossEntropyLoss标签必须是 long 类型且从 0 开始。第二是优化器Adam 学习率常用 1e-3但 Bi-LSTM 对学习率敏感太大直接梯度爆炸太小半天不收敛。第三是梯度裁剪LSTM 的梯度容易炸clip_grad_norm_设 5.0 是常见保险。from torch.utils.data import DataLoader, TensorDataset import torch.optim as optim def train(model, train_texts, train_labels, vocab, epochs10, batch_size64): device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) X torch.tensor(batch_encode(train_texts, vocab), dtypetorch.long) y torch.tensor(train_labels, dtypetorch.long) loader DataLoader(TensorDataset(X, y), batch_sizebatch_size, shuffleTrue) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) for epoch in range(epochs): model.train() total_loss, correct, total 0, 0, 0 for bx, by in loader: bx, by bx.to(device), by.to(device) optimizer.zero_grad() logits model(bx) loss criterion(logits, by) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() total_loss loss.item() correct (logits.argmax(1) by).sum().item() total by.size(0) print(fEpoch {epoch1} loss{total_loss/len(loader):.4f} acc{correct/total:.4f})batch_size64在显存 8G 以内比较稳epochs10配合早停足够。clip_grad_norm_的max_norm5.0是经验值梯度范数超过就按比例缩放。每个 epoch 打印 loss 和 acc如果 loss 不降反升先查学习率是不是太大再查标签有没有错位。4.2 评估不能只看准确率类别不平衡下的 F1中文情感数据集经常正负样本不均衡比如好评远多于差评。这时候准确率会骗人——全预测成正面也能有 80% 准确率。必须看每个类别的 precision、recall 和 F1。常见做法是用sklearn的classification_report同时画混淆矩阵看错分方向。from sklearn.metrics import classification_report, confusion_matrix def evaluate(model, test_texts, test_labels, vocab, batch_size64): device torch.device(cuda if torch.cuda.is_available() else cpu) model.eval() X torch.tensor(batch_encode(test_texts, vocab), dtypetorch.long) preds [] with torch.no_grad(): for i in range(0, len(X), batch_size): bx X[i:ibatch_size].to(device) logits model(bx) preds.extend(logits.argmax(1).cpu().numpy()) print(classification_report(test_labels, preds, digits4)) print(confusion_matrix(test_labels, preds))model.eval()关掉 dropouttorch.no_grad()省显存。classification_report会输出每类 F1如果负面类 F1 明显低于正面类说明模型偏向多数类可以考虑加权损失或过采样。混淆矩阵能看出是把负面错判成正面多还是反过来方向不同调参策略不同。4.3 推理阶段单句预测与情感词可视化训练完要能对任意中文句子输出情感倾向和置信度。推理时同样要分词、查词表、截断补零走一遍encode。置信度用 softmax 后的概率别只看 argmax。import torch.nn.functional as F def predict(model, text, vocab, max_len128): device torch.device(cuda if torch.cuda.is_available() else cpu) model.eval() ids torch.tensor([encode(text, vocab, max_len)], dtypetorch.long).to(device) with torch.no_grad(): logits model(ids) probs F.softmax(logits, dim1)[0] label 正面 if probs.argmax().item() 1 else 负面 return label, probs.max().item() # 示例 # label, conf predict(model, 这家店服务态度太差了再也不会来, vocab) # print(label, conf) # 负面 0.97F.softmax把 logits 转成概率probs.max()是置信度。如果置信度在 0.5 到 0.6 之间说明模型拿不准这类样本往往是反讽或混合情感实际业务里应该单独挑出来人工复核。可视化方面可以用 CNN 卷积核的激活强度反查哪些 n-gram 贡献大或者用 Bi-LSTM 的注意力权重如果加了 attention标出关键词这部分在论文里是加分项。5. 避坑与排查这份源码最容易翻车的五个地方5.1 现象loss 一直是 0.69 不动原因二分类 CrossEntropy 在随机猜时 loss 就是 ln2≈0.693。模型没学到东西通常是 Embedding 没训练、学习率太小或者输入全是PAD。解决先打印一个 batch 的输入 id确认不是全 0再把学习率调到 1e-3 以上检查padding_idx0是否设置没设的话 padding 参与更新会稀释梯度。5.2 现象训练 acc 99%测试 acc 55%原因典型过拟合。中文情感数据集如果只有几千条CNN-Bi-LSTM 参数量轻松过百万记忆训练集太容易。解决加大 dropout0.5 到 0.7加 L2 正则weight_decay1e-4早停验证集 loss 连续 3 轮不降就停数据量太少就做数据增强比如同义词替换、随机删除非关键词。5.3 现象RuntimeError: expected scalar type Long but found Float原因Embedding 层要求输入是 long 类型的 id但有时候标签或输入被转成了 float。解决检查torch.tensor(..., dtypetorch.long)标签也要 long。另外CrossEntropyLoss的 target 必须是 long不能是 one-hot。5.4 现象预测结果全是正面原因类别不平衡 没做处理。模型发现全猜正面 loss 最低就躺平了。解决用WeightedRandomSampler过采样少数类或者给CrossEntropyLoss传weight参数负面类权重设大。评估时盯 F1 而不是 acc。5.5 现象换一批新数据预测效果暴跌原因词表不匹配。训练时建的词表只覆盖了训练语料新数据里的词大量变成UNKEmbedding 查不到有效向量。解决要么用预训练词向量腾讯词向量、中文 Word2Vec初始化 Embedding 并冻结部分层要么在新数据上增量更新词表并微调模型。别指望一个小词表能通吃所有领域。6. 进阶用预训练词向量和注意力把 F1 再抬一截如果你已经把 baseline 跑通下一步提升空间最大的两个点是词向量初始化和注意力机制。随机初始化的 Embedding 在几千条数据上很难学好用预训练中文词向量初始化即使只微调也能明显提升。加载时注意词表对齐预训练词向量的词和你自己词表的词取交集交集外的用随机小值填充。def load_pretrained_embedding(vocab, pretrained_path, embed_dim128): # pretrained: dict word - np.array(embed_dim) pretrained load_word2vec(pretrained_path) # 自行实现加载 weight np.random.normal(0, 0.1, (len(vocab), embed_dim)).astype(np.float32) weight[vocab[PAD]] 0 hit 0 for word, idx in vocab.items(): if word in pretrained: weight[idx] pretrained[word] hit 1 print(f命中 {hit}/{len(vocab)} 个词) return torch.tensor(weight)命中率低于 60% 说明你的词表和预训练词向量领域差异太大强行用反而有害。加载后把 Embedding 的weight.data.copy_(pretrained_weight)可以先用较小学习率微调。注意力机制方面在 Bi-LSTM 输出上加一层nn.Linear(hidden_dim*2, 1)算每个时间步的权重softmax 后加权求和替代直接取最后隐藏态。这样模型能自动聚焦「差」「垃圾」「推荐」这些情感词长句效果提升明显。验证方法很简单固定随机种子对比加 attention 前后验证集 F1如果提升不到 1 个点说明你的数据里长句不多注意力收益有限不必硬上。我自己的习惯是任何模型改动都先跑三次不同随机种子取平均单次结果波动超过 2 个点就不下结论。毕业设计里写实验对比这个细节能让评审觉得你靠谱。希望帮到你。本文还有配套的精品资源点击获取