PyTorch全连接网络实现垃圾邮件分类：从文本清洗到模型训练

简介面向毕业设计及机器学习初学者提供一套基于Pytorch的MLP全连接神经网络垃圾邮件分类完整工程内含可直接运行的Python源码、spambase邮件数据集及配套图表。工程完成有监督学习下的二分类任务利用PytorchViz将神经网络结构可视化借助Canvas库把损失函数值与识别精度的变化过程绘制为曲线有助于直观理解模型训练中的梯度更新和优化器作用。压缩包一共包含20个文件主要文件类型包括py脚本、csv数据、gv图结构、png可视化图、docx实验报告及说明文档整体大小仅7.18MB目录组织清晰便于按模块查阅。已有1016人学习下载适合需要快速复现垃圾邮件分类流程、完成课程设计或毕业设计的读者。工程内另附环境配置说明和流程图可辅助梳理数据预处理、模型构建、训练评估等关键步骤是一份可直接运行并可扩展改造的参考项目。1. 一条命令都不改就能跑为什么毕业设计爱用Pytorch全连接网络做垃圾邮件分类垃圾邮件分类在毕业设计里出现频率极高因为它是一个标准的二分类任务给定一封邮件正文判断它是正常邮件还是垃圾邮件。用Pytorch搭全连接神经网络来做这件事门槛比CNN、LSTM低一截却能完整覆盖“数据处理、模型训练、效果评估、结果展示”整个流程并且训练速度快CPU也能扛得住。很多同学拿到手的“完整代码数据”项目包本质上就是这套组合Pytorch环境搭建好了之后跑通train.py再跑predict.py整个毕业设计的主体工作就完成了。这类项目的核心卖点是“可直接运行”但真正动手时你会发现数据编码、文本向量化、模型输入维度这三个环节稍微对不上就会让“直接运行”变成一句空话。这篇笔记会帮你把这几个环节全部打通从原始邮件文本到最终分类结果每一步怎么做、参数怎么设、哪里最容易翻车都会讲清楚。适合两类人一类是准备交毕业设计、需要快速跑通一个能演示的深度学习项目的同学另一类是刚入门深度学习、想拿一个真实业务场景练手的从业者。2. 从原始邮件到能喂进网络的张量数据清洗与文本向量化2.1 数据集先看清楚标签、正文、编码这三个东西决定了后面所有步骤拿到任何一份垃圾邮件分类数据先别急着写模型。用pandas读进来看三件事有没有标签列、正文列是否完整、数据集是中文还是英文。大多数公开的英文垃圾邮件数据集比如Enron-Spam这类常见语料都已经是“label, text”的CSV结构label用0和1表示正常和垃圾text就是邮件正文。中文数据集往往需要自己从原始语料整理常见格式也差不多只是正文里混着大量HTML标签、发件人信息、签名档这些都要在清洗阶段处理掉。读取CSV这一步最容易被忽略的是编码问题。英文数据用utf-8基本没坑中文数据一旦涉及Excel编辑过的文件大概率是GBK或GB2312编码。读取时直接用pandas的read_csv指定encoding参数读不出来的话把报错信息里的编码名换掉重试。import pandas as pd # 常见的中文数据集编码是gbk读取失败时依次尝试 utf-8、gb2312、latin1 try: df pd.read_csv(spam_data.csv, encodingutf-8) except UnicodeDecodeError: df pd.read_csv(spam_data.csv, encodinggbk) print(df.head()) print(df[label].value_counts()) # 先看类别分布垃圾邮件往往比正常邮件少这段代码做了两件事一是用try-except处理编码不确定性避免手动反复试二是打印label分布让你立刻知道数据集是不是不平衡。后面的训练指标怎么选取决于这一步看到的结果。如果垃圾邮件只占10%那模型全预测正常邮件都有90%准确率只看准确率会掩盖模型实际不会干活的事实这一点到第3章讲评估指标时还会再提。2.2 清洗和分词垃圾邮件分类里最值钱的一步不是模型是文本预处理文本数据直接拿去训练是不行的。原始邮件正文里有大量干扰信息HTML标签、URL、邮箱地址、数字、空白符。对全连接网络来说这些噪声会增加词汇表的规模让特征维度膨胀但又不携带分类信息。常见做法是写一个清洗函数用正则表达式把这些内容替换成空格或统一占位符。中文数据在清洗之后还要分词这跟英文天然按空格切词不一样。目前最常用的分词工具是jieba安装简单处理垃圾分类这种短文本效果足够。分词之后要把停用词去掉停用词表可以从网上常见的哈工大停用词表、百度停用词表里选一份也可以在本地根据数据集情况自己补充。垃圾邮件里高频出现的“点击”“领取”“优惠”“免费”这类词不能进停用词它们是强分类信号。import re import jieba def clean_text(text): if not isinstance(text, str): return # 去掉HTML标签和URL这两类内容对分类帮助不大 text re.sub(r[^], , text) text re.sub(rhttp[s]?://\S, , text) # 去掉邮箱、数字、多余空白 text re.sub(r\S\S, , text) text re.sub(r\d, , text) text re.sub(r\s, , text).strip() return text def tokenize(text): text clean_text(text) words jieba.lcut(text) stopwords set() # 实际使用时从这里加载停用词表文件每行一个词 with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) return .join([w for w in words if w not in stopwords and len(w) 1]) df[clean_text] df[text].apply(tokenize)清洗函数里的正则表达式按顺序做了四类替换HTML标签、URL、邮箱、数字。顺序有讲究先去掉标签再做其他替换可以避免标签里的内容干扰后续匹配。分词之后用“长度大于1”过滤掉单字对中文垃圾短信来说能砍掉大量“的”“了”“啊”这类高频无意义字。分词结果用空格连接成字符串是为了下一步直接喂给TF-IDF向量化器——它默认按空格切分token。2.3 把文本变成向量TF-IDF为什么比词嵌入更适合这个任务文本不能直接进全连接网络需要变成固定长度的数值向量。从业界做法来看这个任务最稳妥的不是自己训练词向量也不是上BERT而是用TF-IDF。原因很直接垃圾邮件分类数据集一般只有几千到几万条拿这么小的语料训练词嵌入效果不稳定用BERT做推理又需要GPU毕业设计的演示环境不一定是GPU机器。TF-IDF不依赖预训练模型几千条数据就能算得又快又好而且特征维度可控。sklearn的TfidfVectorizer封装了完整流程。需要调的核心参数有四个max_features控制最大特征数也就是词汇表大小ngram_range决定是否保留词组min_df过滤出现次数过少的词stop_words可以传内置停用词表。对于垃圾邮件分类建议max_features设为5000到10000ngram_range设为(1, 2)保留二元词组因为“免费领取”“点击链接”这类组合比单个词更具判别力。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features8000, ngram_range(1, 2), min_df2, max_df0.8 ) # 先划分训练集和测试集再分别做向量化避免信息泄露 from sklearn.model_selection import train_test_split X_train_raw, X_test_raw, y_train, y_test train_test_split( df[clean_text], df[label], test_size0.2, random_state42, stratifydf[label] ) X_train vectorizer.fit_transform(X_train_raw) X_test vectorizer.transform(X_test_raw) print(训练集特征矩阵形状, X_train.shape)这里有一个新手常犯的错误直接对整个数据集fit_transform然后再划分训练测试集。这会导致测试集的信息混入词表构建过程让评估结果虚高。正确顺序是先切分再向量化训练集调用fit_transform学习词表和IDF权重测试集只用transform沿用训练集的参数。max_df0.8的作用是过滤掉在80%以上文档中都出现的词这类词通常是不携带判别信息的通用词。X_train和X_test都是稀疏矩阵后续转成PyTorch张量时需要先转为稠密数组。3. 用Pytorch搭一个可复用的三层全连接网络模型图纸与训练循环3.1 网络结构为什么要用三层输入层、隐藏层、输出层的维度设计全连接神经网络也叫多层感知机MLP解决分类问题的思路是输入层接收特征向量中间经过一到多个隐藏层做非线性变换最后输出层给出每个类别的得分。垃圾邮件分类是二分类所以输出层只需要2个神经元对应正常和垃圾两个类别。隐藏层层数不用多三层结构在这个任务上是性价比最高的一层太少拟合能力不足五层以上对小数据集容易过拟合训练时间也变长。输入维度由上一章向量化后的特征数决定如果max_features设了8000输入维度就是8000ngram为(1,2)时实际维度会略高一点。隐藏层的宽度建议从128或64开始。宽了训练慢窄了学不到东西。Dropout加在隐藏层后面比例设0.5这是全连接网络防止过拟合最实用的手段。激活函数选ReLU输出层不进激活函数交给损失函数处理。import torch import torch.nn as nn class SpamMLP(nn.Module): def __init__(self, input_dim, hidden_dim128, num_classes2): super(SpamMLP, self).__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Dropout(0.5), nn.Linear(hidden_dim, hidden_dim // 2), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim // 2, num_classes) ) def forward(self, x): return self.net(x)这里用了三组Linear-ReLU-Dropout堆叠实际就是三层全连接。hidden_dim//2让第二层宽度逐级缩小起到信息压缩的作用。Dropout只在训练时生效PyTorch的nn.Dropout会自动在eval模式下关闭所以预测时不需要手动处理。输入形状是(batch_size, input_dim)输出形状是(batch_size, 2)每个样本的两个值分别是“正常”和“垃圾”的未归一化得分后续用softmax或者直接取argmax得到类别。3.2 训练循环从DataLoader到反向传播的一行行拆解模型定义完之后训练循环是毕业设计里最需要“能讲给评委听”的部分。整体流程是把特征矩阵和标签封装成TensorDataset用DataLoader按batch切分每个batch做一次前向传播、计算损失、反向传播、更新参数。整个过程跑多个epoch也就是把整个训练集重复喂给模型多遍。损失函数的选择上有两种常见做法。第一种是nn.CrossEntropyLoss配合输出层2个神经元直接使用它内部会把输出转成概率并计算交叉熵第二种是nn.BCEWithLogitsLoss需要把输出层改成1个神经元标签变成0和1的float。两个都能用但CrossEntropyLoss更直观标签不用做类型转换我一般优先用它。优化器选Adam学习率设1e-3这是PyTorch教程里的默认配方在大多数情况下都能稳定收敛。from torch.utils.data import TensorDataset, DataLoader import torch.optim as optim def to_tensor(X, y): # 稀疏矩阵需要先转稠密再转成float32张量 X_dense X.toarray().astype(float32) y_array y.values.astype(int64) return torch.from_numpy(X_dense), torch.from_numpy(y_array) X_train_t, y_train_t to_tensor(X_train, y_train) X_test_t, y_test_t to_tensor(X_test, y_test) train_dataset TensorDataset(X_train_t, y_train_t) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) model SpamMLP(input_dimX_train_t.shape[1]) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) epochs 20 for epoch in range(epochs): model.train() total_loss 0.0 for batch_X, batch_y in train_loader: optimizer.zero_grad() outputs model(batch_X) loss criterion(outputs, batch_y) loss.backward() optimizer.step() total_loss loss.item() * batch_X.size(0) avg_loss total_loss / len(train_dataset) print(fEpoch {epoch1}/{epochs}, Loss: {avg_loss:.4f})这段代码里最需要注意的是张量类型。CrossEntropyLoss要求标签是int64类型特征必须是float32类型不对会在loss.backward()时弹出难懂的报错。optimizer.zero_grad()一定要写在每个batch的前向传播之前否则梯度会跨batch累积导致更新方向错误。shuffleTrue保证每个epoch样本顺序不同避免模型学到数据排放顺序带来的假规律。batch_size64在几千条数据上是合理选择数据量大可以调到128数据量小用32更稳。3.3 评估指标准确率、精确率、召回率在垃圾邮件场景下的真实含义训练完成后的评估环节不要只打印一个accuracy就结束。垃圾邮件数据天然不平衡正常邮件多、垃圾邮件少模型很容易“偷懒”把所有样本都预测成正常类这样准确率可能高达90%但一封垃圾邮件都拦不住。正确做法是看混淆矩阵再算精确率和召回率。对垃圾邮件分类来说核心矛盾在于漏拦和误拦哪个代价更高。漏拦一封垃圾邮件用户只是一次打扰误拦一封正常邮件用户可能错过重要通知。所以业务上通常更关注精确率也就是预测为垃圾邮件的样本里真正是垃圾邮件的比例。但作为毕业设计三个指标都要算最好用classification_report一次性输出。from sklearn.metrics import classification_report, confusion_matrix import numpy as np model.eval() with torch.no_grad(): test_outputs model(X_test_t) y_pred torch.argmax(test_outputs, dim1).numpy() print(classification_report(y_test, y_pred, target_names[正常邮件, 垃圾邮件])) print(混淆矩阵) print(confusion_matrix(y_test, y_pred))model.eval()切换到评估模式会关闭Dropout保证预测结果稳定。torch.no_grad()告诉PyTorch不需要计算梯度推理速度更快、内存占用更低。注意X_test_t如果数据量很大一次性传入可能内存吃紧这时候可以用DataLoader分batch预测再拼接结果。classification_report里的support列会告诉你每个类别的样本数这个信息配合混淆矩阵能直观看出模型是把垃圾邮件误判成正常邮件多还是反过来。4. 把训练和预测串成一个可直接运行的入口完整流程与交付细节4.1 完整入口脚本从原始CSV直接到模型权重很多毕业设计项目包里的代码是散的数据预处理一个脚本、训练一个脚本、测试一个脚本每个脚本独立运行中间靠文件传递数据。这样做不是不行但换一台电脑之后路径写错一个就全线崩溃。更稳妥的做法是写一个train.py按顺序执行“读数据-清洗分词-向量化-训练-保存模型和向量器”一次跑完中间每个阶段的产物都保存到磁盘。模型保存要分两部分PyTorch的state_dict保存模型参数sklearn的vectorizer要单独用pickle保存。很多人在这一步踩坑——只保存了模型权重预测新数据时又得重新训练向量器或者向量器特征数和模型输入维度对不上。正确做法是把两者打包保存这样predict脚本才能从原始文本直接得到预测结果。import joblib import torch def main(): # 1. 读数据 df pd.read_csv(spam_data.csv, encodingutf-8) df[clean_text] df[text].apply(tokenize) # 2. 划分并向量化 X_train_raw, X_test_raw, y_train, y_test train_test_split( df[clean_text], df[label], test_size0.2, random_state42, stratifydf[label] ) vectorizer TfidfVectorizer(max_features8000, ngram_range(1, 2), min_df2) X_train vectorizer.fit_transform(X_train_raw) X_test vectorizer.transform(X_test_raw) # 3. 训练模型 X_train_t, y_train_t to_tensor(X_train, y_train) X_test_t, y_test_t to_tensor(X_test, y_test) model SpamMLP(input_dimX_train_t.shape[1]) train_model(model, X_train_t, y_train_t, epochs20, batch_size64) # 4. 评估并保存产物 eval_model(model, X_test_t, y_test) torch.save(model.state_dict(), spam_model.pth) joblib.dump(vectorizer, vectorizer.pkl) print(训练完成模型已保存spam_model.pth) print(向量器已保存vectorizer.pkl) if __name__ __main__: main()输出格式里用了单列式流程train_model和eval_model两个函数直接复用前面章节的循环代码。random_state42固定下来保证每次运行划分结果一致这是“可直接运行”的关键——不固定随机种子的话两次训练结果不一致评委现场运行时会看到不可复现的结果。保存的文件就两个spam_model.pth和vectorizer.pkl之后预测脚本只需要加载这两个文件即可。4.2 预测接口一条新邮件文本怎么走完整个流程预测的核心约束是新文本必须走和训练时完全相同的预处理流程。训练时文本经过了清洗、jieba分词、去停用词、TF-IDF变换预测时少任何一步特征空间就对不上。所以predict脚本不能只加载模型还要加载vectorizer并且复用同一个tokenize函数。def predict(text): model SpamMLP(input_dim8000) model.load_state_dict(torch.load(spam_model.pth, map_locationcpu)) model.eval() vectorizer joblib.load(vectorizer.pkl) cleaned tokenize(text) vec vectorizer.transform([cleaned]).toarray().astype(float32) with torch.no_grad(): output model(torch.from_numpy(vec)) prob torch.softmax(output, dim1).numpy()[0] label int(torch.argmax(output, dim1).numpy()[0]) return label, prob # 示例调用 text 恭喜您获得万元大奖点击链接立即领取 label, prob predict(text) print(预测类别, 垃圾邮件 if label 1 else 正常邮件) print(概率分布, prob)这里有个细节model SpamMLP(input_dim8000)这一行必须在加载state_dict之前执行state_dict只是参数值不包含网络结构信息网络结构必须由代码定义。map_locationcpu保证模型在只有CPU的机器上也能顺利加载这在毕业设计答辩现场很常见。softmax把输出得分转成概率print概率分布比只打印类别更有说服力评委能直观看到模型“有多大把握”判断这封邮件是垃圾。4.3 如果要交毕业设计目录组织与运行说明怎么写“可直接运行”四个字对毕业设计来说不只是代码能跑还包含环境依赖可复现。最稳妥的交付结构是一个项目根目录下面放train.py、predict.py、requirements.txt、README.md、data文件夹、models文件夹。requirements.txt必须写明依赖包和版本torch、scikit-learn、pandas、jieba四个是核心。运行说明文档里要覆盖三个场景环境怎么装、训练怎么跑、预测怎么演示。环境部分给出conda创建虚拟环境的命令训练部分写python train.py预测部分写python predict.py。同时要注明没有GPU也能运行因为全连接网络在CPU上训练几千条数据只要几十秒这反而是这个方案比CNN、BERT更适合毕业设计的优势。把README当成写给三个月后的自己看路径问题、版本问题、数据格式问题都写清楚答辩时也能直接当作项目文档展示。5. 全连接网络不是黑匣子训练中5个高频踩坑与排查清单5.1 训练loss居高不下epoch跑完还是0.69左右现象训练过程中loss基本不动稳定在0.69附近准确率只有50%跟抛硬币差不多。原因0.69约等于ln2是二分类交叉熵的随机值说明模型完全没有学到模式。最常见的原因是学习率设置过大或数据没有shuffle。学习率1e-2以上在这个任务里太激进参数在最优解附近来回震荡收敛不了shuffleFalse时如果原始数据按标签排序排列每个batch都是单一类别梯度方向来回拉扯。解决学习率降到1e-3DataLoader里shuffleTrue同时检查X_train_t里的特征是否全是0——如果清洗正则把内容删光了向量化后全是空行输入模型就学不到东西。5.2 准确率95%垃圾邮件却一封都没拦下来现象总体准确率很高看一下classification_report垃圾邮件的recall是0模型把所有邮件都判成了正常。原因数据集不平衡垃圾邮件占比低模型发现全部预测成多数类就能拿到高准确率梯度也让模型朝这个方向收敛。解决训练时给少数类更高的权重CrossEntropyLoss直接传weight参数权重值设为“多数类样本数除以少数类样本数”。垃圾邮件占比20%时weight大约设为4比1。另一个更简单的方案是评估指标改用F1-score并在答辩时说明自己考虑了不平衡问题这本身就是加分项。5.3 TfidfVectorizer在训练时报内存错误现象执行fit_transform时MemoryError或者进程直接被系统杀掉。原因max_features设置过大、ngram_range包含三元甚至四元词组、原始语料巨大。三者的共同点是特征矩阵维度爆炸。例如ngram_range设为(1,3)时特征数量级可能从几千涨到几十万稀疏矩阵也会撑爆内存。解决把max_features限制在10000以内ngram_range保持(1,2)。如果真的需要三元词组特征优先用哈希向量化器HashingVectorizer它不维护词表内存占用恒定代价是特征密度更高、可解释性差一些。5.4 换一台电脑运行报错No module named torch现象本地跑得好好的代码拷到另一台机器上第一步import就报错。原因新机器没有安装PyTorch或者装的是CPU版本但代码里写了.cuda()。解决所有涉及设备的地方统一用device torch.device(cuda if torch.cuda.is_available() else cpu)模型和数据都.to(device)。不要直接硬编码cuda因为大部分演示机器没有NVIDIA GPU。环境安装按requirements.txt执行torch的安装命令在官网选择对应操作系统和CUDA版本CPU机器直接装CPU版代码逻辑不用改。5.5 中文乱码训练出来模型效果很差打印出来全是问号现象CSV用Excel打开过保存时自动变GBK编码pandas读取后print出来是乱码。原因read_csv默认用utf-8解码GBK文件解码失败或产生错误字符。解决读取时用encodinggbk或者在Excel里重新另存为CSV-UTF8格式。如果数据集文件本身是别人给的不确定编码可以按第2章的try-except结构依次尝试。更稳妥的做法是读取后用df.to_csv(clean.csv, encodingutf-8-sig)转存一份utf-8-sig编码的文件之后所有脚本统一读这个转存版本不再被编码问题反复折磨。6. 让垃圾邮件分类更“能打”的四个进阶方向先说一个验证方法模型训练完之后不要把测试集扔了就不管。手动收集20条真实的垃圾短信和20条正常邮件分别走predict.py看一下实际效果。这个操作在毕业设计答辩中非常加分因为评委最常问的问题是“模型在真实数据上表现如何”。如果手头没有真实数据就在测试集里随机抽几条打印出原始文本和预测概率你会发现自己的模型对哪些文本犹豫不决这比只看指标更能说明问题。进阶方向一把TF-IDF换成预训练词向量。用Gensim加载一个中文词向量把每个文本的多个词向量平均成一个固定维度向量。效果不一定比TF-IDF好但模型结构不变只需要改数据输入部分属于低成本尝试。进阶方向二给模型加一个“规则兜底”。垃圾邮件里包含“点击链接”“加微信”“特惠”等强信号词把这些词做成规则过滤器模型预测和规则结果取并集能显著提升召回率。进阶方向三做五折交叉验证替换单次划分每一折都记录准确率和F1最终报告平均值±标准差这是检验模型稳定性的标准做法。进阶方向四如果数据量足够大把隐藏层从128改成256并加一层BatchNormL2正则强度调到1e-4看验证集指标是否改善所有实验记录在一个Excel里方便横向对比。我自己做这类项目时有个习惯每次修改参数后在code注释里记录当时的结果和思考而不是只改不记。这样到答辩前整理项目文档时每一处设计决策都有据可查。这个方案本身天花板不低后续接入LSTM或者BERT也是水到渠成的事基础打扎实了换模型只是替换中间层。希望帮到你。本文还有配套的精品资源点击获取