基于Python与CNN的影评特征提取与电影推荐系统实现

简介基于Python和卷积神经网络CNN的影评特征电影推荐系统采用PyTorch实现用CNN对影评文本做深层特征提取再与概率矩阵分解PMF融合完成打分预测覆盖数据管理、文本预处理、模型训练与评估全流程适合毕业设计、课程设计以及推荐系统方向的横向项目开发。压缩包共15个文件仅17KB其中8个Python源码文件承担数据读取、文本分析、模型构建和启动运行等职责2个Shell脚本分别执行数据预处理与模型训练命令另含PyC缓存、说明txt及README整体结构简洁适合对照源码梳理项目脉络。目前已有67人学习下载。源码经过严格测试可直接运行配套参考论文和说明文档有助于理解CNNPMF的建模思路便于在此基础上做二次开发或算法调优也能帮助初学推荐系统的读者掌握文本特征与协同过滤结合的实际落地方式。1. 从一段影评到一组推荐这个毕设题目到底在做什么“基于Python卷积神经网络CNN提取影评特征构建电影推荐系统”这个题目在毕业设计和课程设计里出现频率极高但很多同学第一次看到它时脑子里冒出的问题是CNN不是做图像识别的吗影评是文字怎么用CNN去提取特征提取出来的特征又是怎么变成“推荐”的把这个逻辑链条理清楚整个项目的骨架就立住了。这个项目的核心思路是把用户对电影的文本评价也就是影评当作理解用户偏好的入口。一段影评里包含的不只是“喜欢”或“不喜欢”的情感倾向还有具体的题材偏好、叙事风格偏好、演员认可度等信息。CNN在文本任务上有一个天然优势它可以用不同尺寸的卷积核扫描文本序列像滑动窗口一样抓取连续的词组合特征——比如“剧情平淡但配乐出色”这样的局部语义片段。把这些局部特征通过池化层压缩成固定维度的向量就得到了影评的稠密向量表示。推荐系统拿到这个向量就能计算用户与电影之间的相似度或者把向量作为特征送入评分预测模型完成Top-N推荐。适合做这个题目的是已经掌握Python基础语法、能独立完成数据处理但对深度学习项目流程还不熟悉的同学。这个项目难度适中数据好获取模型结构清晰训练周期短踩坑点又足够典型做完之后你对PyTorch的整个工作流——数据加载、模型构建、训练调参、特征复用——都会有完整的认识。下面按一条可复现的路径把它拆开讲。2. 数据先行用IMDb影评数据集把训练样本准备到位2.1 文本数据预处理管线从原始HTML到干净Token无论用哪个数据集影评数据在下载下来之后几乎都不可能是干净的。IMDb原始数据集里的评论文本包含HTML标签、特殊符号、多余空白还有一些诸如br /这样的换行残留。第一步永远是清洗这一步直接决定后面所有环节的质量。常见的预处理步骤固定为五步去HTML标签、转小写、去非字母字符、分词、去停用词。这里有一个容易被忽略的细节不要把所有非字母字符都删掉。数字在影评里可能有特殊含义比如“10/10”这种评分表达但对于以情感特征提取为目标的任务数字对情感判断的贡献很小删掉对结果影响不大还能显著缩小词表规模。import re import html from nltk.corpus import stopwords STOPWORDS set(stopwords.words(english)) def clean_text(raw: str) - str: # 1. 把HTML实体还原成字符amp; - text html.unescape(raw) # 2. 去掉所有HTML标签 text re.sub(r[^], , text) # 3. 转小写并只保留字母含空格 text text.lower() text re.sub(r[^a-z\s], , text) # 4. 合并连续空格 text re.sub(r\s, , text).strip() return text def tokenize(text: str) - list: tokens text.split() # 5. 去掉停用词可选保留也行 tokens [t for t in tokens if t not in STOPWORDS] return tokens这段代码看起来简单但有两点值得说明。第一清洗是有顺序的必须先做HTML实体还原再做标签删除否则lt;这样的实体在被还原成之后会被正则误判为新标签。第二停用词表到底删不删不同任务结论不同。对于情感分类任务停用词里包含着否定词和转折词比如“not”“but”直接删掉会影响情感判断。我在实践里的做法是只删高频无意义词the、a、an保留否定词和转折词的停用词表版本。你可以做一个对比实验看看删与不删对最终推荐准确率的影响这个对比本身就是论文里能写的实验内容。2.2 构建词表和词汇表映射固定max_len的确定方法预处理完成之后每条影评变成了长度不等的token序列。CNN要求输入定长所以需要做两件事构建词表vocab把token映射成整数索引确定最大序列长度max_len对长文本截断、短文本填充。词表的构建用Counter统计所有token频次按频次排序并分配索引。这里需要设定一个min_freq参数来控制词表大小——出现次数过低的词通常只出现一次属于拼写错误或专有名词把它们纳入词表只会增加参数量没有任何特征价值。from collections import Counter def build_vocab(token_lists: list, min_freq: int 2) - dict: counter Counter() for tokens in token_lists: counter.update(tokens) # 过滤低频词 vocab {pad: 0, unk: 1} for word, freq in counter.most_common(): if freq min_freq: break vocab[word] len(vocab) return vocab def encode(tokens: list, vocab: dict, max_len: int 200) - list: ids [vocab.get(t, vocab[unk]) for t in tokens[:max_len]] # 长度不够则左填充到max_lenpad在最后 if len(ids) max_len: ids [vocab[pad]] * (max_len - len(ids)) return idsmax_len的确定是这里最有玄学的一个参数。不要拍脑袋选建议先统计一下训练集所有影评的token长度分布取95分位数。比如训练集中95%的影评在清理后不超过180个token那就定max_len200。定太长会让大量样本被padding撑起浪费算力还稀释有效特征定太短会让长影评被迫截断丢失后半段的转折信息。用分位数确定而不是均值确定是为了防止少数超长影评把均值拉高。2.3 数据集类与DataLoader的PyTorch实现数据准备好之后需要继承torch.utils.data.Dataset写一个自定义数据集类。这里有一个常见的“毕设式错误”把整个影评文本在__getitem__里做清洗和分词。这意味着每个epoch都要重复做一遍清洗和编码训练速度会被拖慢好几倍。清理和编码应该是对预处理好的token列表执行__getitem__只负责切片、转Tensor、取标签。import torch from torch.utils.data import Dataset, DataLoader class ReviewDataset(Dataset): def __init__(self, filepath, vocab, max_len200): self.max_len max_len self.vocab vocab self.samples [] # (encoded_ids, rating_label) with open(filepath, r, encodingutf-8) as f: for line in f: parts line.strip().split(\t) if len(parts) ! 2: continue tokens, rating parts[0].split(), float(parts[1]) ids encode(tokens, vocab, max_len) label 1 if rating 7 else (0 if rating 4 else -1) if label ! -1: # 5-6分的模糊区间可以丢弃或做三分类 self.samples.append((torch.tensor(ids, dtypetorch.long), torch.tensor(label, dtypetorch.float))) def __len__(self): return len(self.samples) def __getitem__(self, idx): return self.samples[idx]__getitem__里返回的label用了0/1二分类而不是原始评分这是为后文的特征提取器设定一个明确的学习目标学会区分正面和负面影评。如果你想把评分回归也做进去label改成float类型损失函数换MSELoss即可结构不用大改。丢弃5-6分的模糊区间也是常见做法这类影评情感倾向不明确强行让模型去学反而会引入噪声。DataLoader初始化时设置batch_size64shuffleTrue另外可以设num_workers2让数据加载并行化。train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers2, pin_memoryTrue if torch.cuda.is_available() else False)3. 构建CNN文本特征提取器卷积核怎么“看懂”影评3.1 架构选型为什么词嵌入一维卷积比循环神经网络更适合这个场景文本CNN的标准结构是词嵌入层 → 多尺寸一维卷积 → 全局最大池化 → 全连接输出。这个结构有充分的选型理由。词嵌入层把离散的索引映射成稠密向量让语义相近的词在向量空间中距离更近一维卷积在序列方向上滑动每次只观察窗口内的连续词序列等价于提取n-gram特征全局最大池化把每个卷积核产生的多个局部特征中“响应最强”的那个保留下来丢弃位置信息。这样做的好处是无论影评多长最终都能得到一个固定维度的向量——这个向量就是我们要的“影评特征”。不用循环神经网络的原因也很现实LSTM/GRU是按时间步逐个处理词的训练速度慢梯度传播路径长而且对于影评这种以局部短语为单位的文本CNN的窗口机制更直接。双向LSTM的最后一个隐藏状态只能代表整句的浓缩信息而CNN的多卷积核能从不同粒度2-gram、3-gram、4-gram分别抓特征信息更丰富。从2000字左右就能跑出结果的训练成本来看CNN在这个任务上的性价比远高于循环神经网络。3.2 模型前向传播的PyTorch实现多尺寸卷积核的代表性代码模型定义是整个项目最核心的部分。嵌入层之后并行的多个卷积层分别使用尺寸为3、4、5的卷积核对应抽取3-gram、4-gram、5-gram的连续短语特征。每路的输出通道数保持相同最后把三路池化结果拼接起来得到最终的文本特征向量。这个向量有两个去向一是接一个全连接层做情感分类训练二是直接导出来作为样本的特征表示供后续推荐模块复用。import torch.nn as nn import torch.nn.functional as F class TextCNNFeatureExtractor(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters100, filter_sizes(3, 4, 5), num_classes1, dropout0.5, pad_idx0): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idxpad_idx) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizefs, paddingfs // 2) for fs in filter_sizes ]) self.fc nn.Linear(len(filter_sizes) * num_filters, num_classes) self.dropout nn.Dropout(dropout) def forward(self, x): # x: [batch_size, seq_len] embedded self.embedding(x) # [batch, seq_len, embed_dim] embedded embedded.transpose(1, 2) # [batch, embed_dim, seq_len] conv_outputs [] for conv in self.convs: c conv(embedded) # [batch, num_filters, seq_len] c F.relu(c) pooled F.max_pool1d(c, c.size(2)) # 全局最大池化 conv_outputs.append(pooled.squeeze(2)) feature torch.cat(conv_outputs, dim1) # [batch, num_filters * len(filter_sizes)] feature self.dropout(feature) logits self.fc(feature).squeeze(1) return logits, feature几个参数需要重点说明。paddingfs // 2让卷积输出的长度和输入保持一致这样三种卷积核的输出长度相同池化后拼接才是等权的。pad_idx传入nn.Embedding之后padding位置在训练时梯度自动归零不会参与更新。max_pool1d的kernel_size直接取c.size(2)意思是把每个通道整个压成一个最大值这是文本CNN的经典设计——只取最强烈的特征响应。num_filters100的规模在CPU上训练时大约需要几分钟到十几分钟取决于数据量如果时间紧张可以降到50。3.3 训练配置与损失函数二分类交叉熵的最优设置训练这个提取器时优化器用Adam是常规选择但有两个参数值得调lr设成1e-3起步如果训练后期损失震荡较大降为1e-4继续训练weight_decay设置1e-4做L2正则对抑制过拟合有实际效果。损失函数二分类场景用BCEWithLogitsLoss注意这个函数内部已经包含了sigmoid前向输出的logits直接传进去就行不要在损失之前手动加F.sigmoid。import torch.optim as optim model TextCNNFeatureExtractor(len(vocab), pad_idxvocab[pad]) optimizer optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) criterion nn.BCEWithLogitsLoss() def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0.0 correct 0 total 0 for ids, labels in loader: ids, labels ids.to(device), labels.to(device) optimizer.zero_grad() logits, _ model(ids) loss criterion(logits, labels) loss.backward() # 梯度裁剪防止长序列训练中梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), max_norm3.0) optimizer.step() total_loss loss.item() preds (torch.sigmoid(logits) 0.5).long() correct (preds labels.long()).sum().item() total labels.size(0) return total_loss / len(loader), correct / total代码里加了一行梯度裁剪clip_grad_norm_max_norm设3.0。这个参数在影评分类任务里经常能避免训练早期损失突然跳成NaN的情况尤其是在嵌入层随机初始化、某些batch里出现大量稀有词时。训练5-10个epoch后验证集准确率一般能到85%-90%视数据集划分而定这时候特征提取器就训练完毕了。4. 从特征到推荐三种推荐策略的落地实现4.1 策略一基于影评特征的物品相似度推荐这是最直接、也最容易理解的做法把每个电影的影评文本输入模型用model.eval()模式取前向返回的feature向量当作这部电影的内容画像。然后对任意目标电影计算它和所有其他电影特征向量的余弦相似度取Top-K返回。这个策略的本质是内容推荐——它不依赖任何用户交互数据只依赖电影自身的文本描述。import torch.nn.functional as F def extract_features(model, review_loader, device): model.eval() movie_ids, feature_vectors [], [] with torch.no_grad(): for movie_id, ids in review_loader: ids ids.to(device) _, feature model(ids) feature_vectors.append(feature.cpu()) movie_ids.extend(movie_id) # 把所有特征拼接成矩阵 [num_movies, feature_dim] feature_mat torch.cat(feature_vectors, dim0) return movie_ids, feature_mat def recommend_by_similarity(target_idx, feature_mat, top_k10): # 余弦相似度 归一化后的向量内积 norm F.normalize(feature_mat, p2, dim1) sims torch.matmul(norm, norm[target_idx]) top_indices sims.argsort(descendingTrue)[1:top_k 1] return top_indices.tolist()这里的相似度计算有一个容易被忽视的点必须先对特征矩阵做L2归一化再算内积否则向量模长差异会干扰相似度排名。有的影评生成的feature向量模长偏大有的偏小直接算内积时模长大的向量会天然获得更高的相似度推荐结果会被少数样本主导。归一化之后的cosine相似度才是纯粹的方向相似度语义相近的影评才会被排在前面。4.2 策略二特征拼接的评分预测推荐内容相似度推荐的局限是它永远只能推荐和已有电影”长得像“的电影缺乏个性化。要体现个性化的推荐逻辑需要引入用户维度——用“用户看过的所有电影的影评特征的平均值”作为用户画像再与候选电影的影评特征做交互预测用户对候选电影的评分。这里有一个精简有效的实现把用户特征和电影特征拼接后送入一个多层感知机输出预测评分。class RatingPredictor(nn.Module): def __init__(self, feature_dim, hidden_dim128): super().__init__() self.mlp nn.Sequential( nn.Linear(feature_dim * 2, hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, 1) ) def forward(self, user_feat, movie_feat): # 拼接用户和电影特征 combined torch.cat([user_feat, movie_feat], dim1) return self.mlp(combined).squeeze(1)用户特征怎么构造是整个策略的一个开放选择。最简单可靠的是均值池化把用户历史上有明确高分反馈的电影影评特征取均值得到用户向量。训练时随机负采样一部分用户没有看过的电影作为负样本标签为0用户看过的为1或使用原始评分。整个模型训练的目标是让用户向量和喜欢的电影特征在拼接后输出高分。这个方法比纯相似度推荐更能体现论文工作量因为你实际训练了一个端到端的预测模型可以计算NDCG或AUC指标。4.3 特征向量离线预计算时的归一化问题无论采用哪种推荐策略特征向量的离线预计算都是必需步骤。把所有电影的影评过一次模型把feature向量保存到本地文件后续推荐服务直接加载向量做计算不用再走一遍模型推理。这个环节里最容易犯的错误是忽略特征向量的分布问题——训练模型时特征向量经过了Dropout的随机置零而推理时要先切换到model.eval()否则每次提取的特征都有随机性同一个电影在不同时间提取的向量不一致推荐结果不稳定。另外如果训练和推理都在CPU上进行前向过程中注意关掉梯度计算用torch.no_grad()包裹否则显存或内存占用会迅速膨胀。torch.save({movie_ids: movie_ids, features: feature_mat}, movie_features.pt) # 推理时加载 data torch.load(movie_features.pt) movie_ids data[movie_ids] feature_mat data[features]5. 训练避坑与推荐效果排查5.1 损失值不下降嵌入层学习率过大现象训练开始后loss一直维持在0.69左右对应随机猜测的熵几个epoch过去纹丝不动。原因最常见的情况是嵌入层的词向量在训练初期更新过猛把语义空间搅乱了。0.69是二分类交叉熵在50%概率时的理论值如果看到这个数值长时间不动说明模型根本没有在学。另一个可能是学习率设得太大损失在震荡中无法收敛。解决先降低学习率到1e-4重试如果仍然不下降检查数据编码——把__getitem__里返回的ids打印出来确认不是全0全部被填充或全1全部是未登录词。我遇到过数据集预处理顺序写错把所有token都变成了unk模型相当于在学纯噪声。用这段代码快速定位print(set(train_dataset[0][0].numpy()))如果集合里只有{0,1}说明编码环节出了问题。5.2 推荐结果全是热门电影特征空间分布不均衡现象无论对哪部电影做相似度推荐返回的Top-10结果几乎都是同一批电影而且这些电影在数据集中往往有大量影评。原因CNN提取的特征向量在高维空间中并不是均匀分布的。影评数量多的电影其特征向量会有更多样化的表达在相似度计算时更容易命中其他样本或者说它们的向量更接近特征空间的中心与其他向量的平均相似度天然偏高。这是全局相似度计算的系统性偏差。解决推荐结果在排序阶段对流行度做惩罚即在相似度得分上乘一个与电影影评数量负相关的权重。常见的做法是score sim * (1 / (1 log(1 review_count)))影评数越多的电影折扣越大。也可以在计算相似度之前对feature矩阵做标准化Z-score降低高频电影向量的模长影响。另一个可选方案是改用4.2节的预测模型因为评分预测天然会学到一个全局偏置项流行度因素会被吸收进偏置里。5.3 训练集和测试集泄露同一部电影多条影评被分到不同集合现象训练准确率95%验证准确率也是94%但推荐出来的结果在人工检查时毫无逻辑——相似电影之间的风格完全对不上。原因很可能是在划分数据时按“影评条目”划分而不是按“电影”划分。IMDb数据集中一部电影有几十条影评如果这些影评被随机分到了训练集和测试集模型在训练时已经见过测试集中同一部电影的其他影评特征提取器的评估虚高但推荐时面对的是整部电影的”新影评“效果好是假象。解决划分数据集时以movie_id为粒度np.unique(movie_ids)后随机打乱按比例切分再把对应的所有影评归入各自集合。这一点在论文的实验设计里一定要写明审阅老师看一眼你的划分代码就能发现是否踩了这个坑。5.4 GPU显存不足batch_size和max_len同时过大现象RuntimeError: CUDA out of memory即使把batch_size降到16仍然报错。原因文本CNN的显存占用主要来自嵌入层和卷积中间激活。max_len200、batch_size64并不算大但如果词表太大比如几万嵌入层本身占用的显存很可观卷积层的中间变量embedded尺寸为[64, 100, 200]三条卷积路径各保留一份梯度累计起来确实容易爆显存。解决先把max_len从200降到128验证显存占用是否显著下降。多数影评的语义集中在开头和结尾可以优先保留文本首部和尾部、丢弃中间段落。其次训练完特征提取器后生成特征向量时用.cpu()把中间变量移到内存不要让GPU同时保存全量特征矩阵。真正在GPU上跑的应该只有训练循环特征提取和相似度计算都可以在CPU上完成。6. 让推荐结果可解释一个针对性实验设计与特征可视化推荐系统的论文或答辩里最常被问到的问题是“你的CNN特征到底学到了什么凭什么说它比直接统计词频更好”提前准备一个可解释性验证装置比临场解释更有说服力。我的做法是对特征降维可视化。从模型提取出的feature向量维度是300三路卷积各100维高维空间无法直接观察用PCA把维度压到二维把正样本高分影评、负样本低分影评分别用不同颜色画出来。如果特征有区分度两组点应该在二维平面上形成大致可分的两个簇而不是混成一团。这个图放在论文里比任何文字都直观。from sklearn.decomposition import PCA import matplotlib.pyplot as plt def visualize_features(feature_mat, labels): pca PCA(n_components2) coords pca.fit_transform(feature_mat) plt.figure(figsize(8, 6)) plt.scatter(coords[labels 1, 0], coords[labels 1, 1], csteelblue, s8, alpha0.6, labelpositive) plt.scatter(coords[labels 0, 0], coords[labels 0, 1], ccoral, s8, alpha0.6, labelnegative) plt.legend() plt.savefig(feature_pca.png, dpi150)另一个更深入的验证是按卷积核做可解释性分析。取出某个训练好的卷积核找到它在影评中被激活最强的文本片段——即与该卷积核权重内积最大的一小段词序列打印出来。你会看到不同的卷积核分别对应“太棒了”“强烈推荐”“浪费时间”等不同语义模式的局部触发片段。这个分析做出来答辩时你能直接展示第17号卷积核学到的是对“情节拖沓”这类负面描述的响应而第32号卷积核主要是被“演技在线”这类正面描述激活。用torch.nn.functional.conv1d手动遍历一遍即可实现。到这里整个项目的主干已经完整了数据清洗、词表构建、CNN特征提取、推荐逻辑、实验验证。回顾我当初做这个题目的经验最后想给你一个习惯上的建议每次改动任何一个环节比如调整卷积核数量、改变max_len、换停用词表都记录下来当时的验证指标哪怕只是一个简单的准确率数字。答辩前你会发现一份“参数怎么调、效果怎么变”的记录表比任何漂亮的架构图都更能证明你真正理解了这套系统。希望帮到你。本文还有配套的精品资源点击获取