工业用电量预测实战：从数据清洗到梯度提升树的完整链路

简介这份资源面向制造业能源管理与数据分析方向的学习者聚焦工业用电量的机器学习预测问题适合具备一定Python基础、希望了解多模型对比建模流程的读者。压缩包共15个文件以11个py脚本为主辅以3张png结果图和1个checkpoint模型保存点整体约175KB体积轻量便于本地复现。内容围绕用电数据的读取与预处理、模型训练与评估展开涵盖AdaBoost、XGBoost、随机森林、LGBM、逻辑回归、SVM、KNN等多种算法的对比实验并配有Transformer时间序列预测结果与AdaBoost预测效果图另含GUI界面脚本方便直观查看分析结果。已有234人学习下载读者可借此理解从数据清洗、特征处理到多模型横向比较的完整思路掌握不同算法在能耗预测任务上的表现差异为工业能效优化与绿色制造场景提供可参考的建模范例。1. 工业用电量预测一份能跑通的机器学习实战资源上个月某制造园区的朋友甩来一张电费单说月度需量申报又报高了白交了一笔基本电费。这种场景在制造业太常见了——用电量预测不准要么被需量罚款要么被电网考核。这份「机器学习预测工业用电量」的资源包就是冲着这个问题去的它把数据清洗、特征工程、模型训练、评估对比整条链路拆成了可复现的脚本覆盖从线性回归到梯度提升树的几种常见方案。适合两类人一是想拿真实工业时序数据练手的算法同学二是工厂里负责能源管理的工程师想搭个能落地的预测基线。下面按「资源是什么、怎么跑、坑在哪」的顺序拆开讲。2. 数据管道与特征工程把电表读数变成模型能吃的矩阵工业用电数据和互联网数据集完全两码事。电表采集的是 15 分钟或 1 小时粒度的有功功率带缺失、带毛刺、带换表导致的量程跳变直接丢进模型基本是灾难。这一章先把数据管道搭起来再谈特征怎么造。2.1 原始数据的三种典型脏法拿到手的通常是 CSV 或数据库导出的宽表字段大致是「时间戳、表号、有功电量、无功电量、功率因数」。我拆过的几份工业数据里脏法集中在三处缺失段通信中断导致连续几个小时甚至几天没数不是随机丢点是整段空。毛刺点单点跳变到正常值的几十倍多半是采集器复位或电磁干扰。量程切换换表或 CT 变比调整后数值整体缩放前后不可比。处理顺序很关键先按表号分组再处理量程最后补缺失。顺序反了量程切换会被当成异常值抹掉。常见做法是用滚动中位数做量程检测比值偏离 1 超过阈值就判定为切换点整段乘以缩放系数对齐。import pandas as pd import numpy as np def fix_scale(df, meter_colmeter_id, val_colkwh, window24, ratio_thr3.0): # 按表号分组滚动中位数检测量程跳变 df df.sort_values([meter_id, ts]).copy() df[roll_med] (df.groupby(meter_col)[val_col] .transform(lambda s: s.rolling(window, min_periodswindow//2).median())) df[ratio] df[val_col] / df[roll_med] # 比值持续偏离说明发生了量程切换用中位数比值做缩放 scale df.groupby(meter_col)[ratio].transform(lambda s: s.median()) df[val_col] df[val_col] / scale.clip(lower0.01) return df.drop(columns[roll_med, ratio])这段的逻辑是滚动中位数对单点毛刺不敏感能反映当前量程下的「正常水平」比值的中位数就是该表相对基准的缩放系数。window24对应一天 24 个整点采样粒度不同要改ratio_thr这里没直接用实际排查时可以拿它筛出疑似切换点人工复核。注意clip(lower0.01)是防除零的后悔药工业数据里出现过中位数为 0 的停机段。2.2 缺失填补别用均值用同期相似日整段缺失用全局均值填等于给模型喂假平稳信号。工业负荷有强周期性——工作日、周末、节假日三套曲线还有季节性温度耦合。我一般按「同表号 同星期类型 邻近周」取中位数填补缺失超过 7 天的段直接标记为无效样本剔除不硬填。def fill_gap(df, val_colkwh, max_gap_days7): df df.copy() df[dow] df[ts].dt.dayofweek df[is_weekend] df[dow] 5 # 同期相似日中位数填补 df[val_col] df.groupby([meter_id, is_weekend, df[ts].dt.hour])[val_col] \ .transform(lambda s: s.fillna(s.median())) # 仍缺失的按表号前向填充但限制连续缺失长度 df[val_col] df.groupby(meter_id)[val_col].transform(lambda s: s.ffill(limitmax_gap_days*24)) return df.dropna(subset[val_col])分组键里带上小时是因为一天内负荷曲线形状差异大早班和夜班不能混。ffill(limit...)限制连续填充长度超过就留 NaN 让下游剔除避免把长停机段填成正常生产。这一步做完数据才算能进特征工程。2.3 特征矩阵时间特征、滞后特征、外生变量特征分三块。时间特征包括小时、星期、是否节假日、月份滞后特征包括前 1 天同时刻、前 7 天同时刻的负荷外生变量如果有把日平均气温、生产排班计划加进来。滞后特征是最有效的但要注意构造时不能用未来信息——shift的方向和分组边界必须对齐否则离线评估漂亮、上线就翻车。特征类别具体字段构造方式注意事项时间hour, dow, is_holiday时间戳直接提取节假日表要覆盖预测区间滞后lag_24h, lag_168h按表号 groupby 后 shiftshift 前必须排序滚动roll_mean_7d7 天滚动均值closedleft窗口不能含当前点外生temp_avg, shift_plan外部表按日期 merge缺失要单独标记滚动统计用closedleft排除当前时刻这是时序特征最容易翻车的地方血泪经验有一次忘了设验证集 R² 冲到 0.98上线直接掉到 0.6。3. 模型选型与训练从线性基线到梯度提升树数据管道通了接下来是模型。这份资源里给了几套方案我的建议是先跑线性回归当基线再上树模型最后看要不要上时序专用结构。别一上来就堆复杂模型工业数据样本量往往不大过拟合比欠拟合更常见。3.1 为什么先跑线性基线线性回归在用电量预测里不是凑数的。负荷和温度、生产班次的关系在局部近似线性线性模型的系数还能直接解释——「温度每升 1 度负荷涨多少」这种结论对能源管理岗是有用的。更重要的是它给了你一个下限如果树模型比线性还差八成是特征或数据管道出了问题而不是模型不够强。from sklearn.linear_model import Ridge from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline def build_baseline(feature_cols): return Pipeline([ (scaler, StandardScaler()), # 线性模型对量纲敏感必须标准化 (ridge, Ridge(alpha1.0)) # L2 正则抑制共线性滞后特征之间相关性高 ])alpha1.0是起点滞后特征共线性强时往上调用验证集选。标准化必须放在 Pipeline 里避免训练集和验证集分别 fit 造成信息泄漏。3.2 梯度提升树的参数怎么定树模型是这类任务的主力。资源里用的是梯度提升框架关键参数就四个树的数量、学习率、单树深度、叶子最小样本数。工业数据噪声大深度别给太深max_depth控制在 4 到 6min_samples_leaf给到 20 以上防止模型去拟合毛刺。from sklearn.ensemble import HistGradientBoostingRegressor model HistGradientBoostingRegressor( max_iter500, # 树的数量配合早停用 learning_rate0.05, # 小学习率 多树泛化更稳 max_depth5, # 深度控制复杂度工业数据 4~6 够用 min_samples_leaf30, # 叶子最小样本抑制噪声拟合 l2_regularization1.0, # L2 正则 early_stoppingTrue, # 用内部验证集早停 validation_fraction0.1 )early_stoppingTrue会从训练集切 10% 做内部验证max_iter给大一点让它自己停。注意时序数据不能随机切验证集严格做法是按时间切这里用validation_fraction是简化版正式评估必须换成时间序列切分否则又是信息泄漏。3.3 时间序列交叉验证别用随机 KFold这是整份资源里我最看重的部分。用电量预测用随机 KFold等于拿未来数据训练、过去数据验证指标虚高得离谱。正确做法是滚动窗口验证训练集取前 N 段验证集取紧邻的下一段窗口逐步后移。from sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5, test_size24*30) # 每次验证 30 天 for train_idx, val_idx in tscv.split(X): X_tr, X_val X.iloc[train_idx], X.iloc[val_idx] y_tr, y_val y.iloc[train_idx], y.iloc[val_idx] model.fit(X_tr, y_tr) pred model.predict(X_val) # 记录 MAE / MAPE按段汇总test_size按预测粒度换算日粒度预测就给 30小时粒度给 720。评估指标建议同时看 MAE 和 MAPE工业场景里 MAPE 对低负荷时段特别敏感停机段会把 MAPE 拉爆所以低负荷样本要单独统计或加权。4. 避坑与排查五个让指标虚高的隐形陷阱模型跑通不等于能用。下面五条是我在类似项目里反复踩到的按「现象 → 原因 → 解决」列出来照着排查能省不少返工。4.1 验证集 R² 高得离谱上线就崩现象离线 R² 0.95 以上实际预测偏差 30% 起。原因滞后特征构造时用了当前时刻信息或者随机切分让未来样本进了训练集。解决检查所有shift和rolling是否排除了当前点交叉验证换成TimeSeriesSplit并核对特征时间戳严格早于预测目标时间戳。4.2 节假日预测全线偏移现象工作日预测正常节假日误差翻倍。原因训练集里节假日样本少模型没学到节假日特有的负荷模式或者节假日表没覆盖预测区间。解决节假日单独建模或加样本权重节假日表要覆盖到预测期末尾样本太少时用相似日迁移别硬训。4.3 换表后预测突然失准现象某块表某天起预测值系统性偏低或偏高。原因量程切换没对齐特征分布漂移。解决回查该表历史比值序列确认切换点整段缩放对齐上线后加分布监控特征均值偏移超过阈值就告警。4.4 MAPE 被停机段拉爆现象整体 MAE 尚可MAPE 高得没法看。原因停机段真实值接近 0MAPE 分母极小单点误差被放大。解决低负荷样本单独评估或用 sMAPE、WAPE 替代训练时对停机段降权或剔除。4.5 特征重要性全压在滞后项上现象模型几乎只靠 lag_24h 预测外生变量重要性接近 0。原因滞后特征太强树模型偷懒或者外生变量本身缺失多、质量差。解决做消融实验去掉滞后特征看外生变量单独的解释力外生变量缺失率高的先补质量别指望模型自己挖出信号。5. 上线前的验证清单与一个实用技巧模型训完别急着交付走一遍验证清单能挡掉大部分线上事故。我习惯按下面这张表逐项过检查项通过标准不通过的处理时间切分验证集时间严格晚于训练集重切禁用随机 KFold特征时点所有特征时间戳 预测目标时间戳逐个特征核对 shift 方向缺失处理长缺失段已剔除或标记回数据管道补规则量程对齐换表前后分布可比回查比值序列重新缩放指标分层工作日/周末/节假日分别报分层误差大的单独建模分布监控上线后特征均值漂移有告警加监控阈值再说一个实用技巧残差诊断比看总指标有用得多。把验证集残差按小时、按星期、按负荷区间画出来系统性偏正或偏负的切片就是模型没吃透的地方。我一般会看残差自相关——如果残差还有明显的 24 小时周期说明滞后特征没造够或者周期项没建模进去这时候加一个「前 3 天同时刻均值」往往比调参管用。还有一点预测值要过一道物理约束负荷不可能为负也不可能超过变压器容量。上线前加个clip(lower0, uppercapacity)比让模型自己学边界靠谱。从那以后我每次交付预测模型都强制走一遍「时间切分 残差分层 物理约束」这三步少一步都不敢签字。希望这份拆解帮到你资源包里的脚本按章节顺序跑先通管道再调模型别跳步。本文还有配套的精品资源点击获取