校园一卡通消费行为分析：Python数据清洗、特征工程与K-Means聚类实战

简介这是一份基于Python的校园消费行为分析毕业设计项目主要面向计算机相关专业学生、毕业设计选题者以及希望学习数据分析实战的开发者。项目利用校园智能卡产生的刷卡记录对学生的消费习惯进行分析并进一步评估其经济状况整体流程涉及数据加载、数据清洗、特征构造、模型训练、结果可视化等多个模块具有清晰的工程结构。压缩包内共包含十七个文件其中有六个源码脚本、两个CSV数据表、一份设计报告、一份说明文档、一个README项目说明文件以及一张示例图片压缩包整体大小约为十三兆字节目录分层明确便于快速定位代码与文档。该资源目前已被一百零四位用户学习下载具有一定的参考价值。除了可运行的交互界面外还附有详细的设计报告深入阐述了分析方法和模型原理方便读者理解思路并在此基础上扩展特别适合用于毕业设计、课程项目以及数据分析入门阶段的练习。1. 一个毕业设计选题凭什么能把数据分析的底子全串起来如果你正在为毕业设计选题发愁或者已经拿到了这份“学生校园消费行为分析”的题目但不知道从哪下手我建议你先停下来想想这道题真正在练什么。它不是一个简单的“用Python画几个图表”的题目而是一条完整的数据分析链路——从一卡通流水里取数清洗掉重复项和异常值构造出能描述“消费习惯”的特征再用聚类模型把学生分成不同类型最后用可视化把结论讲明白。这个过程几乎把Python数据分析的核心库用了个遍pandas做清洗聚合scikit-learn做聚类matplotlib和pyecharts做展示。更关键的是它的数据不需要你去爬虫也不涉及敏感的商业数据校园卡流水天然适合练手。我见过太多人拿到这个题第一反应是去找现成的代码跑通就以为万事大吉结果答辩时一问“为什么选K值等于4”就卡住。也见过有人把全部精力花在美化图表上结果数据预处理做得一塌糊涂聚类结果完全没有业务含义。这道题真正的价值在于它强迫你把“从数据里发现规律”这件事完整走一遍而不是停留在调用API的层面。本文就按照“数据理解→特征构造→模型训练→可视化→避坑”的顺序把我做这个方案时验证过的做法讲清楚包括参数怎么设、边界在哪里、哪些环节容易翻车。你不需要先看完理论再动手完全可以对着步骤边做边理解遇到报错再回来看对应的避坑段落。2. 从一卡通流水到分析数据集先搞懂这张表里有什么2.1 流水数据的典型结构不要只看金额那一列校园消费行为分析的第一步不是写代码而是把原始表的字段搞清楚。典型的校园一卡通流水表包含以下几个字段学号或卡号、交易发生时间精确到秒、消费金额负数表示充值或退款、消费类型食堂、超市、洗浴、开水房、教学楼门禁等、商户编号或设备编号。有些学校还会提供学生的性别、院系、年级等基本信息表用于后续的分群对比。这里最容易犯的错是直接用Excel打开看几行就认为数据结构已经掌握。我一般会先写出几行pandas代码把字段的类型、缺失率、唯一值数量一次性打印出来这一步能帮你避开不少后续大坑。特别是时间字段很多导出文件会把它存成字符串格式比如“2024-03-15 12:03:45”如果不做格式转换后面的按天、按小时聚合全部会翻车。import pandas as pd df pd.read_csv(consumption.csv, encodinggbk) print(df.info()) print(df.describe(includeall).T) # 关键日期字段一定要转成datetime类型 df[trans_time] pd.to_datetime(df[trans_time]) print(df[trans_time].dtype)这段代码里df.info()会给出每一列的非空值数量和数据类型describe(includeall)则能让你看到分类字段的唯一值个数。如果发现学号这一列的唯一值数量远超实际在校生人数说明数据里混入了外部人员或其他卡种需要提前过滤。转时间类型的pd.to_datetime是必做操作不做的话后面的df.set_index(trans_time)和按resample聚合都无法正常执行。2.2 数据清洗的三个关键动作去重、过滤、补缺失校园数据的清洗没有想象中那么复杂但有几个动作必须做。去重不是简单地对整行做drop_duplicates()而是要按“学号 交易时间 金额 商户”四列一起去重因为同一学生在同一秒在同一窗口消费两次的概率极低重复记录大概率是系统重传导致。过滤则是把金额为负的充值记录、金额为0的测试交易、食堂早餐时间出现的超大额消费比如单笔超过200元都剔除或单独标记。补缺失更多是把夜宵时段没有记录的窗口填成0而不是用均值填补交易金额这一点和普通机器学习项目的处理思路不同。df_clean df.drop_duplicates(subset[student_id, trans_time, amount, merchant]) # 过滤保留正常消费记录充值记录单独存一份 df_consume df_clean[df_clean[amount] 0].copy() df_recharge df_clean[df_clean[amount] 0].copy() df_consume[amount] -df_consume[amount]这里我把充值和消费拆成了两个DataFrame因为后续构造特征时充值行为会干扰“消费水平”的判断。一个学生可能一学期只充三次值但每天都去食堂如果把充值金额算进消费总额聚类时他很容易被误判为高消费群体。负值取绝对值后amount字段才真正代表“花出去多少钱”后续统计均值、分位数时口径才统一。2.3 聚合粒度怎么选日、周、还是时段校园消费数据的聚合粒度直接决定特征的信息量。按天聚合是底线能算出每日平均消费、消费天数、总消费金额。按周聚合可以观察周中周末差异这对聚类没多大意义但对后续的可视化故事线很有帮助。按小时聚合则是做时段分布图的基础——早餐、午餐、晚餐的就餐高峰一目了然。我常用的做法是先建一张“日消费明细表”以学生ID和时间维度为主键聚合出每一天的消费次数和总额再以此为底层表进一步构造整个学期的汇总特征。不建议直接对原始流水做特征工程因为原始表里每个学生对应上百行记录直接计算会非常慢而且代码写起来很绕。# 按学生和日期聚合 daily df_consume.groupby([student_id, df_consume[trans_time].dt.date]).agg( daily_count(amount, count), daily_amount(amount, sum) ).reset_index() daily.columns [student_id, date, daily_count, daily_amount] print(daily.head())这段代码的产物是一张每个学生每天消费行为和总金额的明细表数据量从原来的几十万行缩到了几千行后续计算学期均值、最大连续未消费天数等特征都是在这张表上做二次聚合。参数选择上agg里的count和sum是最常用的统计量如果你还想算每天消费金额的标准差可以在agg里加一个(amount, std)这能反映消费波动性但计算量会稍微大一点数据量大时建议先抽样测试。3. 特征工程怎么做从消费流水里提炼“行为习惯”3.1 基础统计特征均值、峰谷、稳定度特征工程是这个项目里最出效果也最容易被忽视的环节。对于校园消费行为我把它分成三组一是水平特征比如学期总消费、日均消费、月均消费次数这些反映“花了多少”二是稳定性特征比如每日消费金额的标准差系数、每周消费天数的波动情况这些反映“规律性强不强”三是时段偏好特征比如早餐时段消费占比、深夜消费次数、周末消费占比这些反映“生活习惯”。第一组特征好理解直接对日消费表做groupby就行。第二组是判断学生消费是否规律的很好指标——有的学生每天三顿固定食堂日消费标准差很小有的学生周中穷吃食堂、周末下馆子消费起伏就很大。第三组需要回到小时级别的聚合先把每小时消费金额算出来再按6点到10点、10点到15点、15点到21点拆成三个时段。stu_features daily.groupby(student_id).agg( total_amount(daily_amount, sum), avg_daily_amount(daily_amount, mean), consume_days(daily_count, count), std_daily_amount(daily_amount, std) ).reset_index() # 变异系数标准差除以均值消除不同消费水平的影响 stu_features[cv_amount] stu_features[std_daily_amount] / stu_features[avg_daily_amount] # 日均消费次数 stu_features[avg_daily_count] stu_features[consume_days] / 150 # 按实际学期天数变异系数这个特征我希望重点说下校园里消费水平差很大的学生群体直接用标准差比较不稳定比如月消费1500元的学生每天波动30元和月消费300元的学生每天波动20元标准差接近但实际规律性完全不同。加上变异系数之后高消费低波动和低消费低波动才能区分开。这里consume_days是对有消费记录的天数做计数分母150是学期总天数你手头数据的实际学期天数不一样就按真实值改。3.2 RFM变体校园消费场景下的模型改造RFM模型在电商里很常用R代表最近一次消费时间F代表消费频率M代表消费金额。校园场景不能照搬因为学生学期内的消费节奏和电商买家完全不同。我把它改成了R、F、M的定义R是“最近一次消费距离学期结束还有多少天”或反过来的“最后消费日到学期末间隔”F是学期总消费天数M是学期总消费金额。这三个维度做完标准化后直接作为聚类的输入特征。为什么要把“最近一次消费日”定义成学期内的行为而不是当前日期因为校园数据的时间范围是固定的学期结束后的消费数据基本不存在用当前日期去算R值所有学生的R都差不多没有区分度。我做这个方案时对比过用“距离学期末的间隔天数”作为R值聚类出来的结果明显更合理——这部分学生在学期后半段几乎不再消费他们的R值会显得特别大后面可以结合奖学金或离校数据做进一步分析。3.3 特征标准化和降噪聚类对尺度太敏感了聚类算法里的距离计算对特征的数值范围非常敏感。总消费金额动辄几千消费天数只有几十如果不做标准化金额会完全主导距离计算消费天数形同虚设。这里用到StandardScaler把每个特征变成均值0、方差1的分布。另一件要做的事是先做离群值剔除比如总消费金额超过学期均值三倍标准差的、充值但几乎不消费的记录这些样本会让标准化后的分布严重偏向一侧影响所有样本的聚类结果。from sklearn.preprocessing import StandardScaler feature_cols [r_value, f_days, m_amount] scaler StandardScaler() scaled scaler.fit_transform(stu_features[feature_cols]) import numpy as np # 简单离群值过滤任一分量超过3.5倍标准差的剔除 mask np.all(np.abs(scaled) 3.5, axis1) stu_features_clean stu_features[mask]StandardScaler的用法很简单但要注意一个常见的坑fit_transform和transform不能混用。如果你是在全部数据上fit_transform那这个均值和标准差已经包含了离群值后面再过滤离群值就晚了。建议顺序是先做粗糙的离群值过滤再做标准化。3.5这个阈值不是固定的如果剔除后样本量损失超过5%就放宽到4.0这个可以开一个循环多试几次。4. 聚类与画像怎么选出有业务含义的分群结果4.1 K-Means的K值选择肘部法则结合业务解释K-Means是校园消费行为分析最常用的聚类方法原因很简单数据量通常在一万人左右特征维度很少K-Means计算快、结果易解释。但K值怎么选这是答辩时老师最爱问的点。肘部法则是最常用的参考做法是跑K从2到8的K-Means记录每个K对应的簇内误差平方和SSE画出折线后找“肘部”位置。这个方法有个缺点“肘部”在很多数据上并不明显这时需要结合业务解释判断。我做这个方案时的做法是先看K3、4、5三组结果分别统计每个簇的RFM均值然后问自己一个问题——“每个簇能不能用一句人话描述出来”。如果你能说清楚“这个组日均消费30元、只在工作日在食堂消费、周末几乎不消费”这个K就是可解释的。如果某个K值下两个簇的RFM均值几乎一样只是名字不同那就是过拟合降一个K重新试。from sklearn.cluster import KMeans sse [] for k in range(2, 9): model KMeans(n_clustersk, n_init10, random_state42) model.fit(scaled_clean) sse.append(model.inertia_) # 画肘部图看下降趋势变缓的位置 import matplotlib.pyplot as plt plt.plot(range(2, 9), sse, markero) plt.xlabel(K) plt.ylabel(SSE) plt.show()n_init10这个参数容易被忽略。K-Means的结果受初始中心点影响不同随机种子可能给出完全不同的簇。n_init是让算法用不同初始中心跑多次保留SSE最小的一次虽然增加了计算时间但对最终结果稳定性很有帮助。random_state固定后每次跑结果一致这对你调试代码和回答老师“你的结果能不能复现”这类问题非常重要。4.2 簇的特征解读均值对比表才是核心产出聚类跑完不是结束真正的分析工作从统计每个簇的特征开始。我会把每个簇在原始特征未标准化之前的上的均值、中位数、人数占比都算出来并和全体学生的均值做对比形成一张对照表。这张表就是你的“分群画像”原始素材也是论文里最重要的一张表。从实际效果看校园消费数据用K4或者K5往往能得到比较自然的分群第一类学生消费高频低额、每日规律出现在食堂这是“基础保障型”第二类消费低频高额、周末占比高类似“社交活跃型”第三类消费总额特别高而且每日波动大属于“高消费型”第四类几乎是所有指标都低于均值消费天数也少得可怜这类要么是走读生要么是对校园依赖性极低的学生。如果你的数据里出现了第五类分析一下它的特征定义看能不能讲出一段合理的业务故事来。cluster_stats stu_features_clean[feature_cols].copy() cluster_stats[cluster] model.labels_ summary cluster_stats.groupby(cluster).agg( count(cluster, size), r_mean(r_value, mean), f_mean(f_days, mean), m_mean(m_amount, mean) ).reset_index() print(summary)注意这里统计的结果是在标准化之前的数据上算的做的事是把模型输出的标签对回原始特征。model.labels_是每个样本对应的簇编号直接用就行。仔细看summary里各簇的m_mean如果两个簇均值只差10%但人数分布极不均匀大概率K值选大了回到上一步调节。4.3 可视化从散点图到雷达图别只画一个二维图消费行为分析的可视化要分两层。第一层是聚类结果的整体展示用PCA把多维特征降到二维或三维画出簇的分布散点图让答辩老师直观看到几个簇在空间上是分开的。第二层是每个簇的行为细节用雷达图展示不同簇在“高频低额”“低频高额”“周末活跃”“夜间活跃”等维度上的差异这个比散点图更能讲出业务含义。from sklearn.decomposition import PCA pca PCA(n_components2) coords pca.fit_transform(scaled_clean) plt.scatter(coords[:, 0], coords[:, 1], cmodel.labels_, cmapviridis, s5, alpha0.6) plt.xlabel(PC1) plt.ylabel(PC2) plt.title(KMeans Clustering Result (PCA)) plt.colorbar() plt.show()PCA在这里的职责是降维可视化不是特征提取。你不需要纠结每个主成分的载荷系数代表什么但可以打印一下pca.explained_variance_ratio_看看前两个主成分合计解释了多大比例的信息量。如果连50%都不到说明原始特征之间的信息分散二维图里簇的重叠会比较明显这在答辩时容易被质疑。这时可以考虑换用3D散点图或者聚焦于RFM三维做交互式可视化。5. 校园消费行为分析的避坑清单从数据污染到可视化乱码5.1 读文件报错编码格式和路径是最常见的两个黑匣子现象pd.read_csv(消费记录.csv)直接报错有时是UnicodeDecodeError有时是FileNotFoundError但文件明明就在当前目录。原因校园导出的数据文件经常用GBK或GB2312编码pandas默认用UTF-8读当然会失败。路径问题则是Windows下中文字符路径或中文文件名引起的编码错乱这在Python里一直是古老难题。解决读取时显式指定encodinggbk或encodinggb18030后者兼容更多中文字符。如果两种编码都不行用encodingutf-8配合errorsignore先看看数据丢了什么。路径问题最简单的解法是在代码开头加一行import os; os.chdir(os.path.dirname(os.path.abspath(__file__)))把工作目录切到脚本所在文件夹避免相对路径的歧义。5.2 时间聚合出现偏移时区或字符串格式导致“少了一天”现象按日期聚合后发现每天的消费笔数和预期差很多某一天的记录特别少而且这个“少”的日子总是周一的午餐时段。原因交易时间字符串里的年份可能只有两位比如“24-03-15”被pd.to_datetime解析成了2024年但部分行的解析结果变成1974年或者2024年错误月份。另一种情况是时间字段带时区后缀转换后被pandas自动调整了UTC时间导致本地日期偏移。解决在pd.to_datetime里显式指定format%y-%m-%d %H:%M:%S不要依赖pandas自动推断。带时区的字段先做字符串替换把“ 08:00”这种后缀删掉再转。转换后立刻检查df[trans_time].dt.date.min()和max()确认日期范围符合预期再往下走。5.3 聚类结果“每类都一样”特征没做标准化或K值太大现象跑完K-Means后打印每个簇的均值发现几乎一模一样或者只有一两个点被单独分成一个簇。原因第一种情况是特征尺度悬殊M金额主导距离R和F完全没有起作用第二种是K值取得太大算法把边缘离群点单独挖成一个簇。两种情况在校园数据里都特别常见因为消费金额天然就是大数值如果你把RFM的原始值直接扔进KMeans等于没做标准化就让钱说了算。解决回到特征标准化那一步做StandardScaler再做离群值过滤重新跑肘部图。如果某个簇的样本量少于总体的3%说明这个簇大概率是离群点群不是有意义的用户分群要么降低K要么把离群值剔除后重跑。5.4 中文标签在图表里显示为方块matplotlib的中文字体问题现象图表标题、坐标轴标签和聚类图例里的中文全部变成小方块英文和数字正常。原因matplotlib默认字体集不包含中文字体它在绘图时找不到能渲染中文的字体就退化成方框。这在Windows上最常见Linux服务器上跑代码也一样会遇到。解决在导入matplotlib后先执行一次字体设置指定为“SimHei”或“Microsoft YaHei”并在代码开头加一行plt.rcParams[axes.unicode_minus] False否则负号也会显示成方框。注意这个设置要在任何绘图命令之前执行放在脚本顶部最安全。import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False这段代码解决的是显示层面如果你要保存成图片发给别人savefig时建议设置dpi150文字才够清晰。5.5 特征表里出现了NaN某些学生可能一学期都没消费现象构造特征后std_daily_amount或r_value列有少量的NaN导致StandardScaler.fit_transform直接报错。原因有的学生确实完全不在食堂消费consume_days为0日均消费金额为NaN标准差为NaN。这类学生虽然数量不多但如果不处理整个标准化流程会崩溃。解决先检查isna().sum()如果这类样本占比很小直接剔掉并在论文里注明“剔除无有效消费记录的学生N人”。如果占比不小那要考虑是不是导出的数据本身就缺了某个片区的流水不要硬填0否则聚类时会额外产生一个全部特征为0的簇。6. 再进一步给消费分群加上时间维度的验证拿到的结论才有说服力如果能走到这一步基础的分析链路你已经能跑通了但毕业设计拿高分还需要一个进阶动作样本外验证。我自己的习惯是把学期数据按时间切成两段前80%做特征构造和聚类后20%只用来验证——看每个学生被分到的簇是否稳定。做法很简单用前80%的数据重新算一遍特征和聚类然后用后20%的流水构造同样的特征用训练好的KMeans模型直接predict再对比标签的迁移情况。如果大量学生的簇归属发生明显跳变说明你选的K值或者特征还不够稳定分群结果没有业务意义这就是论文里说的“鲁棒性验证”。这个验证过程还会引导你思考一个更实际的问题校园消费分析不能只停留在“分群”这个层面还要往前走一步——预测。比如用前几周的数据预测这个学生本学期末会不会变成“沉寂用户”这类应用对学校的学生工作更有价值也能成为你论文的亮点。做法是把聚类标签或目标变量换成“学期后半段消费是否下降超过30%”用逻辑回归或随机森林做预测特征用前八周的数据构造。讲讲你的模型是怎么筛选特征的、准确率多少、误报人群长什么样这个深度足够在答辩时撑住场面了。最后说一个血泪经验所有的代码和结果一定要保证改过参数后还能完整重跑一遍尤其是K-Means的random_state和特征预处理的顺序这两处是最容易在答辩演示时翻车的地方。把标准化的均值方差、K-Means的聚类中心都pickle存下来演示时直接加载别现场重新训练。能稳定复现的结果比花哨的图表更有说服力希望帮到你。本文还有配套的精品资源点击获取