Python电商数据分析系统高分实战：从数据清洗到可视化看板全流程

简介一套基于Python研发的电商平台数据分析系统实现源码适用于Python期末大作业、课程设计及毕业设计等场景重点覆盖用户行为分析、销售趋势、复购率、渠道来源和RFM客户价值分层等典型电商数据分析任务。压缩包内共30个文件其中7个Python源文件对应各个分析模块19张PNG图片直观展示可视化结果3个pyc为预编译模块以提升加载效率1个Markdown文档详细说明项目结构、数据处理方式与运行方法整个资源包仅1.68MB轻量易部署。目前已有197人学习或下载实用性强、认可度较好。借助这份完整源码与配套说明读者能够掌握电商数据清洗、特征提取、模型构建和可视化呈现的全流程同时项目经助教老师审定评审分达到98分难度适中且可直接运行是完成大作业或课程设计报告时可对照参考的高分范本助力高效完成期末任务。1. 电商平台数据分析系统Python大作业到底该做什么才算高分我看到太多人做电商数据分析大作业时从网上抄一份爬虫代码抓几千条商品数据画几张柱状图就交了。结果是界面简陋、逻辑混乱、文档只有两页答辩被老师一问就卡壳。真正能拿高分的Python电商平台数据分析系统不需要堆砌复杂算法而是把数据获取→清洗→分析→可视化→结论整条链路打通每步都有据可查。本文我会按实际交付标准讲清楚系统怎么设计、核心代码怎么写、文档怎么组织以及哪些坑会让你的项目从高分直接掉到及格线。适合正在选题、已经开写或准备答辩的Python大作业读者尤其适合选“电商数据分析”方向但不知道做到什么深度才算完整的同学。2. 先把系统拆成五层选型定下来代码才不会写成一坨2.1 电商数据分析系统的能力边界不是功能多而是链路完整电商平台数据分析系统的核心职责不是把数据展示出来那么简单。它要回答运营最关心的几个问题整体卖得怎么样销售趋势、什么商品贡献了主要利润商品结构、哪些客户最值得维护用户价值、什么原因导致退货质量与体验。对应到软件系统里就是五个模块数据层原始订单/用户/商品数据、处理层清洗与特征工程、分析层指标计算、可视化层图表与看板、展示层Web页面或报告。我见过很多翻车案例问题都在于“只做了两层”。有人只写爬虫和Echarts图表分析靠肉眼编有人只写了pandas统计没有任何交互页面答辩时老师想看一个动态图表都做不到。高分项目的分水岭在于分析层——有没有把“数据”变成“结论”比如计算复购率、RFM用户分层、品类贡献度、价格带分布这比单纯画图高一个维度。2.2 技术选型参考评分卡思路下的默认组合结合历年高分作业的共同特征默认组合如下按重要程度排序模块推荐方案选型理由替换方案数据存储CSV / SQLite作业规模数据量在千到十万级CSV够用且便于提交MySQL数据量过10万再用数据处理pandas numpy清洗、聚合、透视表的标配代码量最精简纯Python字典操作不推荐分析算法RFM模型 指标计算原理简单但能体现分析深度答辩好讲关联规则Apriori锦上添花可视化Pyecharts / Plotly生成的HTML可以直接嵌入页面交互强Matplotlib静态减分Web框架Flask轻量、模板语法简单适合课程设计Django过度设计这套选型的核心思路是“用最少的依赖覆盖最完整的链路”。Flask加上Pyecharts生成HTML模板不需要启动复杂前端构建工具纯Python就能输出一个可交互的数据看板这对课程设计场景非常友好。提示如果选题要求必须用数据库不要只给一个SQLite文件了事要把建表语句写进文档并把pandas的DataFrame导入SQLite的过程写成独立脚本这会直接拉高完整性评分。2.3 项目结构怎么组织按交付物倒推目录高分项目的代码目录不能是一个main.py从头写到尾。我建议按下面这个结构组织这也是答辩老师一眼就能看出“用心”的目录风格ecommerce_analysis/ ├── requirements.txt # 依赖清单 ├── README.md # 项目说明与运行方式 ├── data/ │ ├── raw/ # 原始数据CSV/JSON │ └── processed/ # 清洗后的数据 ├── scripts/ │ ├── 01_data_prepare.py # 数据获取与生成 │ ├── 02_clean.py # 数据清洗 │ ├── 03_analysis.py # 指标计算与RFM分层 │ └── 04_visualize.py # 图表生成 ├── web/ │ ├── app.py # Flask入口 │ ├── templates/ # HTML模板 │ └── static/ # 图表/样式 ├── docs/ │ └── 说明文档.md └── output/ └── charts/ # 生成的图表文件数据流是单向的raw里的数据经过清洗落到processed分析脚本从processed读取最终产出图表和页面。这样命名脚本还有一层意图文档里的“系统架构图”可以直接用文件结构代替画图每个脚本对应一个处理阶段答辩时照着顺序讲就是一条完整的逻辑线。3. 数据从哪来自己造数据与爬虫的边界选择3.1 为什么“造数据”比“爬数据”更适合电商分析大作业很多同学一上来就想爬淘宝、爬京东这个思路可以理解但存在三个现实问题一是目标站点有反爬容易封IP二是数据结构不稳定今天能爬的字段明天就变三是爬下来的数据有噪声清洗工作会膨胀到不可控而课程设计大作业的核心评分点是“分析思路”不是爬虫强度。正确的做法是“有真实数据用真实数据没有就用Faker库系统化地生成仿真业务数据”。用Faker的好处是可控性强你可以规定订单量、用户量、时间跨度、价格区间生成之后数据天然具备业务逻辑可以省下大把清洗时间。3.2 生成一份带业务逻辑的电商订单数据代码可直接改下面这段脚本生成三张表用户表、商品表、订单表。订单金额和成本带相关性而不是纯随机这样后面做利润分析才有的聊。# scripts/01_data_prepare.py import pandas as pd import numpy as np from faker import Faker import random fake Faker(zh_CN) Faker.seed(2024) # 固定随机种子保证可复现 random.seed(42) np.random.seed(42) USER_NUM 500 # 用户数 ORDER_NUM 3000 # 订单数 # 1. 生成用户表 users pd.DataFrame({ user_id: range(1, USER_NUM 1), gender: [random.choice([男, 女]) for _ in range(USER_NUM)], age: np.random.randint(18, 60, USER_NUM), city: [fake.city_name() for _ in range(USER_NUM)], register_date: [fake.date_between(start_date-730d, end_datetoday) for _ in range(USER_NUM)] }) # 2. 生成商品表成本与价格挂钩毛利率约30% products_num 200 costs np.round(np.random.uniform(20, 500, products_num), 2) prices np.round(costs * np.random.uniform(1.3, 1.8, products_num), 2) products pd.DataFrame({ product_id: range(1, products_num 1), category: [random.choice([数码, 服饰, 家居, 食品, 美妆]) for _ in range(products_num)], product_name: [fake.word() str(i) for i, _ in enumerate(range(products_num))], cost: costs, price: prices }) # 3. 生成订单表下单时间集中在近一年 order_dates pd.to_datetime( [fake.date_time_between(start_date-365d, end_datenow) for _ in range(ORDER_NUM)] ) order_rows [] for i in range(1, ORDER_NUM 1): uid random.randint(1, USER_NUM) pid random.randint(1, products_num) qty np.random.randint(1, 3) # 从商品表取价格 unit_price prices.iloc[pid - 1] order_rows.append({ order_id: fORD{i:06d}, user_id: uid, product_id: pid, quantity: qty, amount: round(float(unit_price) * qty, 2), order_date: order_dates[i - 1], status: random.choices([已完成, 已取消, 退款中], weights[0.82, 0.12, 0.06])[0] }) orders pd.DataFrame(order_rows) orders orders.sort_values(order_date).reset_index(dropTrue) # 保存到 data/raw users.to_csv(data/raw/users.csv, indexFalse) products.to_csv(data/raw/products.csv, indexFalse) orders.to_csv(data/raw/orders.csv, indexFalse) print(f用户 {len(users)} 条商品 {len(products)} 条订单 {len(orders)} 条)这段代码的关键设计有两个。第一个是把商品价格和成本用倍数关系生成毛利率落在30%到80%之间这样后面做“品类利润贡献分析”时不会出现负毛利满天飞的情况结论反而更好讲哪些品类毛利高、哪些走量但毛利低。第二个是订单时间用date_time_between限定在一年内避免生成十年前的数据拖垮时间趋势分析。3.3 如果必须用真实数据优先选公开数据集而非爬虫如果课程要求必须使用真实业务数据优先级排序是公开数据集比如阿里天池的电商数据集、Kaggle的Online Retail 自己手工收集的商品信息 爬虫抓取。公开数据集的好处是自带字段说明和数据字典写文档时可以直接引用。真实数据的第一坑是字段缺失比如订单表没有用户年龄、商品表没有成本字段。补救办法是对缺失字段用合理方式补全城市可以映射到区域成本可以按价格×经验比例估算。但必须在文档的“数据说明”部分明确标注哪些是真实字段、哪些是推算字段这是学术诚信的要求也是区分高分项目和普通项目的一个细节。4. 清洗与指标计算让数据能回答运营问题4.1 数据清洗的三个标准动作去重、补空、过滤异常# scripts/02_clean.py import pandas as pd users pd.read_csv(data/raw/users.csv) products pd.read_csv(data/raw/products.csv) orders pd.read_csv(data/raw/orders.csv) # 1) 去重订单ID唯一用户ID唯一 print(清洗前订单数, len(orders)) orders.drop_duplicates(subsetorder_id, keepfirst, inplaceTrue) users.drop_duplicates(subsetuser_id, keepfirst, inplaceTrue) products.drop_duplicates(subsetproduct_id, keepfirst, inplaceTrue) # 2) 订单金额异常金额0或数量0的数据属于无效订单 orders orders[orders[amount] 0] orders orders[orders[quantity] 0] # 3) 时间字段统一格式方便后面按月份/周聚合 orders[order_date] pd.to_datetime(orders[order_date]) orders[order_month] orders[order_date].dt.to_period(M).astype(str) # 如 2024-06 orders[order_weekday] orders[order_date].dt.weekday # 周一到周日对应0-6 # 4) 用户年龄清洗18-60之外视为异常录入归入缺失 users.loc[(users[age] 18) | (users[age] 65), age] np.nan # 5) 合并订单与商品表算出每单毛利 merged orders.merge(products[[product_id, category, cost, price]], onproduct_id, howleft) merged[profit] (merged[price] - merged[cost]) * merged[quantity] merged.to_csv(data/processed/orders_clean.csv, indexFalse) users.to_csv(data/processed/users_clean.csv, indexFalse) products.to_csv(data/processed/products_clean.csv, indexFalse) print(清洗后订单数, len(merged))清洗逻辑里最容易被忽略的是**pd.to_datetime之后派生order_month列**。后边做月度趋势图和星期规律分析时直接按这列groupby就行不用每次重复转换。年龄归入缺失而不是删除保证了用户总数的稳定如果你直接把年龄不合法的人删掉后面做用户分层时会发现样本少了一截答辩被问到会很尴尬。注意不要把清洗后的数据覆盖raw目录里的原始文件。保留原始CSV是一个非常好的习惯它能让你倒推每一步改动也给答辩时展示“清洗前后对比”留了证据。4.2 核心指标体系别只算汇总值只输出总销售额、总订单数这类汇总值等于没有分析。运营视角的指标至少要有趋势类、结构类、用户类三层指标类型具体指标计算逻辑趋势类月度销售额、月度订单量按order_month分组求和/计数结构类品类销售额占比、品类毛利率按category分组汇总用户类人均购买频次、复购率、客单价用户维度聚合后统计下面代码一次算完这些指标并输出到一个汇总表方便Web页面直接读取# scripts/03_analysis.py import pandas as pd import numpy as np orders pd.read_csv(data/processed/orders_clean.csv) # 1) 月度趋势表销售额、订单数、客单价 trend orders.groupby(order_month).agg( sales(amount, sum), order_cnt(order_id, count) ).reset_index() trend[avg_order] trend[sales] / trend[order_cnt] # 2) 品类结构表每个品类的销售额、订单量、利润 category_stat orders.groupby(category).agg( sales(amount, sum), profit(profit, sum), order_cnt(order_id, count) ).reset_index() category_stat[profit_rate] category_stat[profit] / category_stat[sales] # 3) 用户价值指标每个用户下过几次单、总金额 user_stat orders.groupby(user_id).agg( order_cnt(order_id, count), total_amount(amount, sum), avg_amount(amount, mean) ).reset_index() # 复购率下单次数2的用户数占比 repeat_users (user_stat[order_cnt] 2).mean() print(f复购率{repeat_users:.2%}) print(f客单价{orders[amount].mean():.2f}) # 把衍生指标存到processed供可视化脚本调用 trend.to_csv(data/processed/trend_monthly.csv, indexFalse) category_stat.to_csv(data/processed/category_stat.csv, indexFalse) user_stat.to_csv(data/processed/user_stat.csv, indexFalse)客单价和复购率这两个指标是分析报告里最容易写进“结论建议”部分的数据佐证。如果复购率低后面RFM分层时“重要保持客户”占比就不会低这就是一条自然的分析线索。4.3 RFM用户分层比单纯算均值高一个段位的分析方法RFM模型把用户按最近一次消费时间Recency、消费频率Frequency、消费金额Monetary三个维度切分最后按三分位数给每个用户打标签。这是电商数据分析课程作业里“性价比最高”的算法原理20分钟能讲明白实现50行以内但答辩时能展开讲10分钟。# scripts/03_analysis.py 续RFM分层 # 计算每个用户的R值距今天的天数 latest_date orders[order_date].max() recency user_stat.copy() recency[R] (latest_date - orders.groupby(user_id)[order_date].max().dt.date).dt.days # 合并F/MF用订单数M用总金额 rfm recency.merge(user_stat[[user_id, order_cnt, total_amount]], onuser_id) rfm.columns [user_id, R, F, M] # 用三分位切分数值越大代表越积极 def rank_series(s, reverseFalse): if reverse: return pd.qcut(s, 3, labels[3, 2, 1], duplicatesdrop) return pd.qcut(s, 3, labels[1, 2, 3], duplicatesdrop) rfm[R_score] rank_series(rfm[R], reverseTrue) # R越小越好 rfm[F_score] rank_series(rfm[F]) # F越大越好 rfm[M_score] rank_series(rfm[M]) # M越大越好 # 标签映射 def map_label(row): if row[R_score] 2 and row[F_score] 2 and row[M_score] 2: return 重要价值客户 elif row[R_score] 2 and row[F_score] 2: return 重要保持客户 elif row[R_score] 2 and row[F_score] 2: return 重要发展客户 else: return 一般客户 rfm[label] rfm.apply(map_label, axis1) label_stat rfm[label].value_counts() print(label_stat) rfm.to_csv(data/processed/rfm_result.csv, indexFalse)参数说明里最值得留意的是pd.qcut的用法。第一labels[1,2,3]是倒序的R值越小说明客户越活跃所以要传reverseTrue来反转标签第二duplicatesdrop是防止分位数值重复时报错这在真实数据里经常遇到不加这一句大概率会翻车。分层完成后建议把label_stat画成饼图或柱状图这是可视化章节的素材。5. 可视化和Web看板把分析结果装进一个页面5.1 用Pyecharts批量生成图表避免Hexo那一套繁琐流程Pyecharts生成的图表是HTML文件可以直接被Flask模板iframe引用或者把渲染后的HTML字符串直接嵌入页面。下面代码生成四张核心图表月度销售趋势折线图、品类销售占比饼图、RFM分层柱状图、Top10商品条形图。# scripts/04_visualize.py import pandas as pd from pyecharts.charts import Line, Bar, Pie from pyecharts import options as opts trend pd.read_csv(data/processed/trend_monthly.csv) category_stat pd.read_csv(data/processed/category_stat.csv) rfm pd.read_csv(data/processed/rfm_result.csv) # 图1月度销售额趋势折线图 line ( Line() .add_xaxis(trend[order_month].tolist()) .add_yaxis(销售额, trend[sales].round(0).tolist(), is_smoothTrue) .set_global_opts( title_optsopts.TitleOpts(title月度销售额趋势), yaxis_optsopts.AxisOpts(name销售额(元)) ) ) line.render(output/charts/trend_line.html) # 图2品类销售额占比饼图 data_pair list(zip(category_stat[category], category_stat[sales])) pie ( Pie() .add(, data_pair, radius[35%, 70%]) .set_global_opts(title_optsopts.TitleOpts(title品类销售占比)) ) pie.render(output/charts/category_pie.html) # 图3RFM分层人数柱状图 label_counts rfm[label].value_counts() bar ( Bar() .add_xaxis(label_counts.index.tolist()) .add_yaxis(人数, label_counts.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(titleRFM客户分层), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate15)) ) ) bar.render(output/charts/rfm_bar.html)三个图渲染出来后会生成独立的HTML文件。图表是交互式的鼠标悬停能看到数值。如果你愿意可以在Pyecharts图表的set_global_opts里加一个toolbox_optsopts.ToolboxOpts()这个工具箱允许看图的人一键保存图片或切换数据视图答辩演示时给老师留个好印象。5.2 Flask集成把动态图表装进一个页面Flask的思路很简单app.py里定义路由渲染模板时把图表生成的HTML片段作为变量传进页面。用pyecharts的render_embed()方法可以直接把图表内容嵌入模板不用额外保存文件。# web/app.py from flask import Flask, render_template import pandas as pd from pyecharts import options as opts from pyecharts.charts import Line, Bar, Pie from pyecharts.globals import CurrentConfig, ThemeType app Flask(__name__) CurrentConfig.ONLINE_HOST ./static/js # 如果离线环境本地化JS库 def get_trend_chart(): trend pd.read_csv(../data/processed/trend_monthly.csv) line ( Line(init_optsopts.InitOpts(themeThemeType.LIGHT)) .add_xaxis(trend[order_month].tolist()) .add_yaxis(销售额, trend[sales].round(0).tolist(), is_smoothTrue) .set_global_opts(title_optsopts.TitleOpts(title月度销售趋势)) ) return line.render_embed() # 返回嵌入用的HTML片段 app.route(/) def index(): return render_template(index.html, trend_chartget_trend_chart()) if __name__ __main__: app.run(host127.0.0.1, port5000, debugFalse)这里有个坑要提醒Pyecharts的图表依赖ECharts的JS文件。如果答辩现场的电脑没联网图表会显示空白。解决方法是把需要的JS文件下载到web/static/js目录并把CurrentConfig.ONLINE_HOST指向本地。你在本地开发时如果用render_embed()Flask模板里记得加script src{{ url_for(static, filenamejs/echarts.min.js) }}/script否则图表照样白屏。5.3 页面布局用简化的Bootstrap样式统一架构不需要写复杂的前端代码直接用CDN引入Bootstrap把图表分成两列排布。模板文件templates/index.html结构如下!DOCTYPE html html langzh head meta charsetUTF-8 title电商数据分析看板/title link relstylesheet hrefhttps://cdn.jsdelivr.net/npm/bootstrap5.3.0/dist/css/bootstrap.min.css style body { background:#f5f6fa; } .card { margin-bottom:20px; } .card-header { font-weight:bold; } /style /head body div classcontainer mt-4 h2 classtext-center mb-4电商平台销售数据分析看板/h2 div classrow div classcol-md-8 div classcard div classcard-header销售额月度趋势/div div classcard-body{{ trend_chart|safe }}/div /div /div div classcol-md-4 div classcard div classcard-header品类占比/div div classcard-body{{ pie_chart|safe }}/div /div /div /div div classrow div classcol-md-6 div classcard div classcard-headerRFM分层/div div classcard-body{{ rfm_chart|safe }}/div /div /div div classcol-md-6 div classcard div classcard-headerTop10商品/div div classcard-body{{ top10_chart|safe }}/div /div /div /div /div /body /html模板里的|safe过滤器是必须的它告诉Jinja2不转义HTML片段。如果你漏掉这个过滤器看到的将是一堆转义后的字符而不是图表。6. 答辩与打包避坑、演示、文档的最后一公里6.1 数据清洗的坑时间字段翻车与索引污染第一个高频坑是时间字段解析失败。Faker生成的日期是字符串格式pd.to_datetime解析有时会因为时区后缀报错或解析成NaT。现象是运行清洗脚本时突然出现ParserError或大批量为NaT。原因是不同测试环境下Faker的本地化格式不一致。解决方法是统一用formatmixed参数或在生成数据时就用fake.date_time_between(...).strftime(%Y-%m-%d %H:%M:%S)来规范格式。第二个是drop_duplicates后忘了reset_index。清洗完的DataFrame索引还是原来的乱序状态后续按顺序拼接或绘图时经常出现图表线乱连。解决方法是清洗操作结束后养成习惯统一执行df.reset_index(dropTrue, inplaceTrue)。我见过太多人栽在这个地方图表线乱窜还找不到原因其实是索引没重置。第三个是字符编码问题。Windows下Faker生成的数据写CSV时如果用默认编码会遇到UnicodeEncodeError。解决方法是写入时统一to_csv(..., encodingutf-8-sig)这样在Excel打开也不会乱码。读取时用pd.read_csv(..., encodingutf-8-sig)。这两个参数保持一致能省掉大部分乱码问题。6.2 图表白屏与浏览器兼容的坑Pyecharts生成的HTML在本地直接双击能打开但嵌入Flask后就白屏。最常见原因是Flask模板没有正确加载ECharts的JS文件。解决方法是检查模板中是否引入了echarts.min.js脚本并确认Flask的static目录结构正确。具体检查步骤是启动Flask后打开浏览器开发者工具Network面板里看JS文件请求是否返回404如果404调整url_for(static, filenamejs/echarts.min.js)的相对路径。还有一个更隐蔽的坑是Pyecharts版本不一致。如果你在scripts/04_visualize.py里用的Pyecharts版本是1.x在Flask里引用的是2.x的JS文件图表渲染时会出现报错Cannot read properties of undefined。解决办法是固定版本在requirements.txt里锁住pyecharts2.0.x同时把对应版本的JS库统一放到static里。这属于“本地好好的一换环境就翻车”的经典案例。6.3 文档怎么写代码注释之外的加分内容文档是高分项目和及格项目拉开差距的最大变量。说明文档至少要有六个部分项目背景与目标、系统架构说明、数据来源与预处理说明、核心算法/模型说明RFM为主、运行环境与部署步骤、分析结论与改进建议。其中“运行环境与部署步骤”最容易被人忽略很多文档默认读者会跑Python事实上答辩老师可能只会在自己电脑上双击试运行。写清楚requirements.txt安装命令和python web/app.py启动命令非常重要。分析结论部分不要写套话。如果你是先有结论再找数据支持要反过来让数据说话比如“六月份销量环比增长20%主要受618大促影响但服饰类毛利率下降推测是折扣活动导致建议控制活动力度”。“数据→解释→建议”这个三步结构是老师最认可的套路。6.4 答辩现场最容易翻车的三个场景第一个是脱离网络环境上面说的JS库白屏问题。第二个是端口被占用Flask默认5000端口如果已经占了会报错Address already in use。提前改端口或加一行app.run(port5001)就可以。第三个是数据文件路径不对有些同学把项目拷到U盘后在别的电脑上运行data路径用了绝对路径C:\Users\...\data导致起不来。我给的习惯做法是所有路径都通过脚本自身__file__定位或者运行时从项目根目录启动同时在README.md里用相对路径说明操作命令。这样换机器、换系统都能跑。6.5 验证这五个指标确保你的系统经得起追问答辩前用下面这五个指标自查一遍自查项目通过标准数据链路从raw到processed、从图表到页面每一步都有独立脚本核心指标能快速答出复购率、客单价、品类毛利率三个数值RFM解释能说清每个标签的业务含义以及当前分层结构的合理性图表交互至少一张图鼠标悬停能看数值文档闭环文档里的结论能从图表中找到对应支撑平时做完项目可以用一个晚上专门“折磨”自己的系统把电脑断网跑一遍、换一台电脑跑一遍、把数据文件删了重新生成一遍。这三个测试通过答辩基本就稳了。我的血泪经验是——很多翻车都发生在答辩前夜换电脑测试时不是因为代码复杂而是因为路径和依赖环境。把这些坑提前踩完你答辩时的底气完全不同。希望这份方案能帮到你让你把大作业做成真正拿得出手的作品。本文还有配套的精品资源点击获取