Python实战IMDB情感分析：从TF-IDF到LSTM完整指南

简介面向Python初、中级开发者及需要完成毕业设计或期末大作业的在校生这套IMDB电影评论情感分析源码包完整覆盖了从数据清洗、分词、Word2Vec词向量训练到句子切分、平均特征构建再到随机森林分类评估的全流程。项目已通过导师指导认可并经过严格调试确认可运行能作为情感分析任务的可直接运行参考工程。压缩包内共9个文件包含8个Python脚本和1个Markdown项目说明整体大小仅9KB。各脚本在功能上清晰拆分为分词清洗、句子切分、词向量训练、平均向量构造、聚类词袋处理与测试数据分类等步骤方便按模块对照学习。目前已有496人学习/下载适合快速理解IMDB影评情感分类的经典实现思路附带说明文档梳理了各脚本用途和运行顺序能够帮助读者复现实验、学习文本特征工程方法也可作为课设与小项目改造的基础。1. IMDB情感分析为什么值得用Python亲手做一遍很多刚开始学NLP的人第一个上手的实战项目就是IMDB电影评论情感分析。原因很简单数据是干净的英文文本标注只有正面和负面两类评价标准一眼能看懂。但这里有一个反直觉的结论——你不需要一上来就上BERT这种预训练大模型用TF-IDF加上一个逻辑回归在5万条IMDB评论上就能把准确率推到0.88以上。这意味着这个项目特别适合用来把文本清洗、特征提取、模型训练、评估保存整条链路走通而不是把时间耗在装环境上。适合谁做Python基础刚打牢、想做课程设计的在校生准备NLP面试的转行者以及想验证自己工程习惯的熟手。这篇笔记就按我平时做这个项目的顺序来先把数据读进来再谈建模路线选择最后把模型接到真实评论上。2. 数据从哪来、怎么读IMDB评论集的目录结构与预处理流水线2.1 认识IMDB数据集文件目录结构、评论格式与标签约定IMDB电影评论数据集是NLP领域最经典的benchmark之一。原始压缩包解压后会看到一个aclImdb主目录里面分成train和test两个子目录再往下就是带标签的评论文本。我在读数据之前一定先看一眼目录结构因为很多同学代码写完了才发现标签读反了或者把train/unsup里的无监督数据当成了训练集。路径内容大致数量aclImdb/train/pos正面评论标签为112500条aclImdb/train/neg负面评论标签为012500条aclImdb/train/unsup无标注评论可用于半监督50000条aclImdb/test/pos测试集正面评论12500条aclImdb/test/neg测试集负面评论12500条每条评论是一个独立的.txt文件文件名格式大概是10000_8.txt这样的组合。前面的数字是评论ID后面的数字是用户打分1到10分。注意数据集的官方标注为正负两类但文件名里的评分是1-10分有的教程会把这条信息拿来当额外特征不过把8分以上的当正面、4分以下的当负面是常见做法我们这里只按目录标签走不额外解析文件名。另外一个必须知道的点这些评论是从网页上抓取的所以文本里会残留br /这类HTML换行标签。如果不清洗直接拿去训练模型会把br当成一个词等于引入了噪音。清洗这一步躲不开。2.2 用Python把原始文本读成结构化DataFrame两种加载写法读取数据的方式有两种。一种是从本地目录手工遍历文件这也是压缩包里通常提供的做法代码写在下面。另一种是用datasets库一行加载但需要联网离线环境下还是第一种靠谱。import os import pandas as pd def load_imdb(data_dir): rows [] for label_name, label in [(pos, 1), (neg, 0)]: label_dir os.path.join(data_dir, label_name) for file_name in os.listdir(label_dir): if not file_name.endswith(.txt): continue file_path os.path.join(label_dir, file_name) with open(file_path, r, encodingutf-8) as f: rows.append((f.read().strip(), label)) return pd.DataFrame(rows, columns[text, label]) train_df load_imdb(aclImdb/train) test_df load_imdb(aclImdb/test) print(train_df.shape, test_df.shape) print(train_df[label].value_counts())这段代码的逻辑很直接对pos目录里的每个txt打标为1对neg目录打标为0读完合并成DataFrame。这里有两个细节值得注意。第一if not file_name.endswith(.txt)这个过滤不能省因为Mac OS的Finder有时会生成.DS_Store文件Windows资源管理器也可能产生隐藏文件不过滤会直接报编码错误。第二标签顺序别写反我用[(pos, 1), (neg, 0)]这个顺序固定下来避免后面看代码时混淆。读完之后打印value_counts()是一个好习惯。如果两个类别的数量不一致说明数据目录有问题或者读漏了一部分文件。IMDB的train和test都是正负各12500条看到这个数字就可以放心往下走了。2.3 清洗与分词哪些环节必须做、哪些属于过度清洗文本清洗是情感分析里最容易被低估的一步。清洗太轻模型学到一堆标签符号清洗太重把表意有用的符号和大小写信息全抹掉了。我一般会把清洗分成两级基础清洗是必须的停用词过滤则要看后续选什么模型再决定。import re def clean_text(text): # 去 HTML 换行标签IMDB 评论里最常见的就是 br / text re.sub(rbr\s*/?, , text) # 只保留英文字母和空白统一转小写 text re.sub(r[^a-zA-Z\s], , text.lower()) # 多个空格压缩成一个方便后续 split text re.sub(r\s, , text).strip() return text sample train_df.loc[0, text] print(before:, sample[:300]) print(after :, clean_text(sample)[:300])这段正则做的事分别是把br /替换成空格、把所有非字母字符丢掉并转小写、把连续空白压成一个空格。为什么不是直接split()就完事因为IMDB评论里有很多br /br /连在一起的换行不先替换成空格两个单词会被硬拼在一起比如greatbr /movie变成greatmovie这种噪音对词频统计影响很大。关于停用词过滤我在这里特意不做。原因后面讲建模时会细说如果用LSTM停用词里的否定词和功能词对句子语义有作用如果用TF-IDF加逻辑回归min_df参数能达到类似的过滤效果且不会误删not、but这类情感转折词。清洗完先存回一个列后续两个模型共用省得来回切。提示strip()去掉首尾空格的步骤别省。我之前就因为没strip词表里出现了一个空格开头的词训练时怎么调都收敛不了。3. 建模路线怎么选TF-IDF逻辑回归做基线LSTM做进阶3.1 为什么先跑TF-IDF逻辑回归而不是直接上LSTMIMDB情感分析有个很实际的经验先用传统机器学习方法把基线跑出来再决定要不要上深度学习。原因有两个。一是逻辑回归在这个任务上表现相当好词袋加TF-IDF特征就能接近0.89的准确率这个结果足够当课程设计的核心成果二是深度学习模型训练慢、调参维度多如果连基线都没有你很难判断LSTM到底是在认真学还是在过拟合。我一般会在训练集上再切出10%当验证集模拟一下真实评估流程测试集留到最后一次性用。代码和参数如下from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.pipeline import Pipeline train_df[clean] train_df[text].apply(clean_text) X_tr, X_val, y_tr, y_val train_test_split( train_df[clean], train_df[label], test_size0.1, random_state42, stratifytrain_df[label] ) lr_pipeline Pipeline([ (tfidf, TfidfVectorizer(max_features50000, ngram_range(1, 2), min_df2)), (lr, LogisticRegression(C1.0, max_iter1000)), ]) lr_pipeline.fit(X_tr, y_tr) print(val acc: %.4f % lr_pipeline.score(X_val, y_val))TfidfVectorizer的三个参数是这套基线的灵魂。max_features50000限制词表大小防止出现太稀疏的长尾词ngram_range(1, 2)同时保留单个词和相邻词对让not good这类转折能被捕捉到min_df2过滤掉只在一条评论里出现过的词效果接近去停用词但更稳。C1.0是逻辑回归的正则强度C越大越容易过拟合IMDB上1.0到2.0之间差别不大。切出验证集时用了stratifytrain_df[label]保证正负样本在验证集里的比例和训练集一致。IMDB本身就是均衡二分类这个参数不是必须的但我在所有分类任务里都会写上去养成习惯后面遇到不平衡数据就不会忘。3.2 LSTM最小实现embedding的pad技巧、pack_padded_sequence与分类头如果你不想止步于传统方法想体验一下神经网络是怎么读句子的LSTM是这个任务里性价比最高的选择。它不需要GPU就能训练数据量5万条也让CPU在十分钟内能跑完一个epoch。import torch import torch.nn as nn class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_layers2, dropout0.5, num_classes1): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layersnum_layers, batch_firstTrue, dropoutdropout) self.dropout nn.Dropout(dropout) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x, lengths): x self.embedding(x) # (batch, seq_len, embed_dim) packed nn.utils.rnn.pack_padded_sequence( x, lengths.cpu(), batch_firstTrue, enforce_sortedFalse ) _, (h_n, _) self.lstm(packed) # h_n shape: (num_layers, batch, hidden_dim)取最后一层 out self.dropout(h_n[-1]) return self.fc(out).squeeze(1)代码里最关键的是pack_padded_sequence。因为一个batch里的评论长短不一直接喂给LSTM会把短句子用pad token补齐模型会在pad的位置做大量无效计算。打包之后LSTM只处理真实长度的序列训练速度快一截效果也更稳定。enforce_sortedFalse表示不要求序列按长度降序排列省去手动排序的步骤。lengths.cpu()是PyTorch的一个硬性要求lengths必须放在CPU上GPU上会直接报错。分类头用h_n[-1]而不是LSTM的输出序列。h_n的形状是(num_layers, batch, hidden_dim)取最后一层的隐藏状态当作整个句子的语义表示。这个选择是合理的最终我们只需要一个句子级别的向量去做二分类不需要每个时间步的输出。3.3 把文本变成batch词表构建、collate_fn与长度截断有了模型结构还必须写一个把原始文本转成数字张量的过程。这一步是新手最容易卡住的地方也是源码说明压缩包里代码差异最大的部分。from collections import Counter from torch.nn.utils.rnn import pad_sequence import torch def build_vocab(texts, max_size50000, min_freq2): counter Counter() for text in texts: counter.update(text.split()) vocab {pad: 0, unk: 1} for word, freq in counter.most_common(max_size): if freq min_freq: vocab[word] len(vocab) return vocab vocab build_vocab(train_df[clean]) def collate_fn(batch): texts, labels zip(*batch) max_len 256 ids_list [] lengths [] for text in texts: tokens text.split()[:max_len] ids [vocab.get(w, vocab[unk]) for w in tokens] ids_list.append(torch.tensor(ids, dtypetorch.long)) lengths.append(len(ids)) padded pad_sequence(ids_list, batch_firstTrue, padding_value0) return padded, torch.tensor(lengths), torch.tensor(labels, dtypetorch.float)词表构建时有几个约定。ID为0的词固定给pad这样embedding层的padding_idx0会把pad token的向量全部置为零不会对LSTM的隐藏状态产生任何影响ID为1固定给unk没见过的新词全都映射到它。max_size50000和min_freq2限制了词表规模这两个值直接决定embedding层的内存占用IMDB上4万到6万之间效果都稳定。collate_fn里的max_len256是长度截断。IMDB评论平均长度约230个词截到256能保留绝大多数有效信息又不会让batch里的最长序列拖垮训练速度。长度超过256的评论后面被截掉的部分对情感判断影响很小这在工程上是值得的取舍。4. 训练与评估损失、准确率、F1与模型保存那点事4.1 训练循环核心参数与梯度裁剪学习率、优化器、batch_size的配合训练LSTM的代码骨架和训练其他PyTorch模型没有本质区别但有几个参数值得专门说一下。我会把训练循环封装成一个函数方便后面换模型或调参时复用。import torch.optim as optim device torch.device(cuda if torch.cuda.is_available() else cpu) model LSTMClassifier(vocab_sizelen(vocab)).to(device) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.BCEWithLogitsLoss() from torch.utils.data import DataLoader, TensorDataset def ids_tensor(texts): ids_list, lengths [], [] for text in texts: tokens text.split()[:256] ids_list.append(torch.tensor([vocab.get(w, vocab[unk]) for w in tokens])) lengths.append(len(tokens)) return pad_sequence(ids_list, batch_firstTrue, padding_value0), \ torch.tensor(lengths) X_tr_ids, X_tr_len ids_tensor(X_tr) train_dataset TensorDataset(X_tr_ids, X_tr_len, torch.tensor(y_tr.values, dtypetorch.float)) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) def train_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, total_correct, total 0.0, 0, 0 for texts, lengths, labels in loader: texts, lengths, labels texts.to(device), lengths.to(device), labels.to(device) optimizer.zero_grad() logits model(texts, lengths) loss criterion(logits, labels) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() total_loss loss.item() preds (torch.sigmoid(logits) 0.5).float() total_correct (preds labels).sum().item() total labels.size(0) return total_loss / len(loader), total_correct / total train_loss, train_acc train_epoch(model, train_loader, optimizer, criterion, device) print(ftrain loss: {train_loss:.4f}, train acc: {train_acc:.4f})训练超参数的参考范围我直接写在表里方便对照着调参数建议值说明batch_size64太大收敛慢太小loss震荡明显learning_rate1e-3Adam配1e-3是默认起手式loss不降再降到1e-4embedding_dim128100到300之间效果差距不大hidden_dim128单层不够用就叠到2层代价是训练时间翻倍dropout0.5训练时随机丢弃一半神经元防过拟合max_norm1.0梯度裁剪阈值LSTM必须加梯度裁剪clip_grad_norm_是LSTM训练的必备操作。RNN在长句子上很容易梯度爆炸损失突然变成NaN。裁剪到1.0的意思是如果整个参数的梯度范数超过1.0就等比例缩回来防止一步更新迈得太大。4.2 用验证集选模型F1评估函数与checkpoint保存训练完每个epoch后要在验证集上算准确率和F1值根据验证集表现决定是否保存模型。这里有个容易犯的错有人把测试集当验证集用每次调参都去看测试集效果调到最好再交差这在学术上叫测试集泄露真实泛化能力是被高估的。from sklearn.metrics import f1_score torch.no_grad() def evaluate(model, loader, device): model.eval() preds, labels_all [], [] for texts, lengths, labels in loader: texts, lengths texts.to(device), lengths.to(device) logits model(texts, lengths) probs torch.sigmoid(logits) preds.extend((probs 0.5).cpu().tolist()) labels_all.extend(labels.cpu().tolist()) acc sum(p l for p, l in zip(preds, labels_all)) / len(labels_all) return acc, f1_score(labels_all, preds) best_f1 0.0 for epoch in range(5): train_loss, train_acc train_epoch(model, train_loader, optimizer, criterion, device) val_acc, val_f1 evaluate(model, val_loader, device) print(fepoch {epoch}, loss {train_loss:.4f}, train_acc {train_acc:.4f}, fval_acc {val_acc:.4f}, val_f1 {val_f1:.4f}) if val_f1 best_f1: best_f1 val_f1 torch.save({ model_state: model.state_dict(), vocab: vocab, embed_dim: 128, hidden_dim: 128, num_layers: 2, }, imdb_lstm_best.pt)保存模型时一定要把vocab一起存进去。原因是加载模型时embedding层需要知道词表大小才能重建没有vocab你拿到的模型就只能对着空壳发呆。顺便把超参数也存一份省得下次看代码时想不起来当时的hidden_dim填的是多少。检查val_f1并只在超过历史最优时才保存这样最终拿到的一定是验证集上最好的那一版而不是最后一次epoch的模型。4.3 复现结果时的三个检查点随机种子、验证集一致性、词表隔离复现是课程设计容易被追问的地方。老师问一句为什么你这次跑的和报告上的不一样如果答不上来项目整体可信度就大打折扣。我的习惯是开三个固定点。第一固定随机种子。在训练代码开头把torch.manual_seed(42)、random.seed(42)、numpy.random.seed(42)都写上。多卡或GPU场景还要额外设torch.cuda.manual_seed_all(42)不过这个项目CPU就能跑单卡也够用。第二验证集切分的一致性。用random_state42固定了train_test_split之后每次跑代码拿到的验证集都是一样的。如果随机状态不固定你无法判断模型效果的提升是来自调参还是来自运气。第三词表只能在训练集上构建。有人在清洗完全部数据之后才建词表这时候验证集和测试集里的词已经混进来了词表里包含了下游数据的信息属于一种隐蔽的数据泄露。先切分再对X_tr构建词表验证集和测试集一律用训练集学到的vocab做映射。5. 避坑IMDB情感分析高频翻车现场与排查清单5.1 训练loss在降准确率却纹丝不动现象loss从0.69慢慢降到0.5但训练集准确率一直是50%上下像是随机猜。原因最常见的是类别不平衡下的“假收敛”但IMDB本身是均衡的所以更可能是标签和预测方向对不上。检查一下你构建DataLoader时用的标签是0/1还是1/0如果标签全反了模型学得越快准确率越接近0。还有一种可能是sigmoid(logits)之后用 0.5做阈值但logits没经过sigmoid就拿来和标签比较。解决先打印一个batch的预测值看看预测分布是什么。preds.mean()如果接近0.5说明模型没在学如果接近0或1但准确率低十有八九是标签反了。把正负标签互换一下重新跑一个epoch验证。5.2 验证集效果好测试集一下掉好几个点现象验证集准确率0.89测试集只有0.84差距明显到让人怀疑数据集有问题。原因你大概率在调参过程中反复看了测试集效果或者直接把测试集当验证集用了。另一个隐蔽原因是词表在全部数据上构建验证集和测试集的信息混进了词表。还有一种典型操作是用测试集结果倒推应该选哪个epoch的模型这等于把测试集的答案抄进了模型选择过程。解决训练阶段彻底不碰测试集只在全部调参结束、模型定稿后跑一次。词表严格在训练集上构建。如果已经看过了测试集最诚实也最简单的办法是重新下载一份数据再测。5.3 LSTM训练慢到无法接受CPU跑一个epoch要半小时现象同样的数据别人的LSTM十分钟跑完一个epoch你自己本地跑得让人想放弃。原因没有用pack_padded_sequence每个batch都按最长序列计算短句子也被pad到几百的长度或者collate_fn没有做长度截断遇到一条超长评论就把整个batch拖慢。还有一个容易被忽略的因素DataLoader的num_workers没设置数据加载和模型训练串行执行。解决确认代码里用了pack_padded_sequence且collate_fn里做了max_len256截断。设置num_workers2到4Windows注意放在if __name__ __main__里。最后用torch.utils.tensorboard看一眼每个batch的耗时定位瓶颈是在数据加载还是模型计算。5.4 清洗之后文本变成空字符串词表里全是现象训练前打印清洗后的样本发现大量评论变成空白词表构建完只剩pad和unk。原因正则表达式把字母也删了比如用了re.sub(r[^a-z\s], , text)但没小写化结果只保留大写字母或者停用词过滤太激进把短评论里的词全删光了剩下一个空字符串。IMDB里有很多类似OKmeh的短评甚至有人只写一个!,清洗稍不注意就全没了。解决清洗时明确保留a到z的字母和空格并先lower()再过滤。不要用nltk.corpus.stopwords硬删停用词改用min_df2这种频率过滤。构建词表后加一行断言if len(vocab) 100: raise ValueError(词表太小)从源头拦住脏数据。5.5 复现不了项目说明文件里的准确率差0.02就觉得是自己菜现象压缩包说明里写准确率0.90自己跑出来只有0.88反复调参也追不上。原因说明文件里的数字可能是多次实验挑出来的最好一次也可能是模型集成的结果。单模型的LSTM在IMDB上通常落在0.86到0.89TF-IDF加逻辑回归落在0.88到0.90这个区间内浮动都是正常的。如果对方没说明用了什么随机种子、哪次epoch的结果这个数字不具备严格可比性。解决不要盯着别人的绝对数字把你自己的验证集F1当作唯一调参信号。在报告里注明本实验在固定seed42下验证集F1为0.871这句话比一个无法复现的0.90更有说服力。如果你真的想逼近0.92以上下一步是加预训练词向量或者微调BERT而不是在LSTM超参上死磕。6. 把模型接到真实评论上预测函数、特征解释与收尾建议6.1 编写predict函数对任意英文评论输出情感概率训练完成的模型不应该只活在训练脚本里写一个独立的predict函数让模型能对新输入的评论做预测这是从跑通代码到交付功能的关键一步。加载模型时按checkpoint里存的结构重建再用load_state_dict恢复参数。def predict_sentiment(text, model, vocab, devicecpu, max_len256): model.eval() clean clean_text(text) tokens clean.split()[:max_len] ids [vocab.get(w, vocab[unk]) for w in tokens] ids_tensor torch.tensor([ids], dtypetorch.long).to(device) len_tensor torch.tensor([len(ids)], dtypetorch.long).to(device) with torch.no_grad(): logit model(ids_tensor, len_tensor) prob torch.sigmoid(logit).item() return 正面 if prob 0.5 else 负面, prob checkpoint torch.load(imdb_lstm_best.pt, map_locationcpu) model LSTMClassifier( vocab_sizelen(checkpoint[vocab]), embed_dimcheckpoint[embed_dim], hidden_dimcheckpoint[hidden_dim], num_layerscheckpoint[num_layers], ).to(cpu) model.load_state_dict(checkpoint[model_state]) print(predict_sentiment(This movie was a masterpiece, the acting is superb!, model, checkpoint[vocab])) print(predict_sentiment(A complete waste of time, boring and predictable., model, checkpoint[vocab]))map_locationcpu保证在没有GPU的机器上也能加载模型。预测时同样要做清洗如果用户输入的是中文评论这个模型的vocab里不会有对应词会全部映射到unk概率会接近0.5但毫无参考意义这点在说明文档里要写清楚模型只支持英文。6.2 用逻辑回归的系数反推模型学到了什么如果是用TF-IDF加逻辑回归那条路线模型的可解释性远强于LSTM。逻辑回归每个特征词都有对应的权重系数正权重越大越表示正面负权重越小越表示负面。用这个特性可以验证模型学到的词汇是否合理。import numpy as np tfidf lr_pipeline.named_steps[tfidf] lr lr_pipeline.named_steps[lr] feature_names tfidf.get_feature_names_out() coef lr.coef_[0] top_positive feature_names[np.argsort(coef)[-10:]] top_negative feature_names[np.argsort(coef)[:10]] print(top positive words:, top_positive) print(top negative words:, top_negative)如果词表里的excellent、amazing出现在正面区间worst、boring出现在负面区间说明模型确实学到了情感信息而不是在瞎猜。这一步在答辩或写报告时特别有用它能直观地向非技术背景的听众展示模型内部不是黑匣子。我见过有人把这两组词画成词云放进课程设计报告里效果比贴损失曲线好得多。6.3 从课设到项目的下一步单模型之外值得拓展的方向如果你做完这个项目还有余力建议在现有代码基础上往三个方向延伸它们的性价比依次递减但都值得动手。第一个方向是尝试使用预训练词向量替换随机初始化的embedding层第二个是把LSTM替换成TextCNN对比两种结构在同一份数据上的差异第三个才是在这个任务上尝试微调BERT类预训练模型。对课程设计而言我的建议是做到前两步就足够了。至于多模态情感分析文本只是其中一个模态等把单模态的流程吃透再跨过去不迟。我现在做NLP项目拿到一个新任务的第一件事永远是先把带验证集的最小可跑版本做出来这个习惯就是被IMDB这个项目教出来的。它逼着你把数据、建模、评估这条完整链路走一遍而不是只盯着模型结构纠结。希望帮到你。本文还有配套的精品资源点击获取