电力窃漏电识别：工业级时序建模与业务落地实战

简介本资源是一份面向Python初学者与数据挖掘入门者的实战教学包聚焦电力行业典型问题——窃漏电用户自动识别通过完整项目流程帮助读者掌握从数据清洗、特征工程到模型训练与评估的全链路技能。资源共13个文件含4个.npy数据文件存储预处理后特征矩阵、4个.py脚本涵盖拉格朗日插值、决策树、逻辑回归等核心建模代码、3个.xls表格原始数据、缺失值记录及处理后数据、1个.model模型文件与1个.pkl序列化模型整体仅23KB轻量易解压运行。已有443人学习下载适合在Jupyter环境中边学边练。读者可直接复现电力用户行为分析全流程包括异常数据识别、时序特征构造、多模型对比实验DT/LM/SVM及可视化评估cm_plot.py并获得可迁移的工业场景建模思路与即用型代码结构。1. 为什么电力窃漏电识别不是“调个模型就完事”一个真实工业场景的建模陷阱你拿到一份标着“python数据挖掘机器学习实战代码数据集——电力窃漏电用户自动识别.zip”的压缩包解压后看到 train.csv、test.csv、feature_engineering.py 和 model_xgboost.py —— 这不是教学玩具而是某省电网公司2021年试点项目脱敏后的最小可运行副本。它解决的不是“鸢尾花分几类”而是每天从数百万低压用户中在不装新表、不入户核查的前提下用已有计量数据筛出高嫌疑户。这类任务天然带着三重枷锁标签极度稀疏窃电用户占比常低于0.3%、特征高度时序耦合单日用电量毫无意义需连续7–30天模式、业务强约束误报率5%就会引发大量无效稽查漏报率15%则直接造成电费损失。正因如此它成了检验你是否真懂“工业级机器学习”的试金石不是比谁AUC高0.02而是看谁的模型上线后能让稽查队少跑30%的冤枉路。本文不讲理论推导只复现我用这份数据集在地市供电局落地时从解压到部署的完整链路——包括那些藏在代码注释里、但决定项目生死的参数和逻辑。2. 数据加载与业务理解先读懂电表在“说什么”再动手清洗电力计量数据不是普通表格它的每一行都承载着物理设备的运行状态和业务规则。盲目套用pandas.read_csv()会直接踩进第一个坑时间戳解析错误导致时序断裂。本数据集采用标准DLMS/COSEM协议导出格式核心字段包括user_id用户编号、record_time采集时间精确到分钟、total_active_energy正向有功总电量kWh、reverse_active_energy反向有功总电量kWh、voltage_a/b/c三相电压V、current_a/b/c三相电流A、power_factor功率因数。注意record_time是字符串且存在时区偏移UTC8必须显式指定formattotal_active_energy是累加值需差分才能得到日用电量而reverse_active_energy非零往往就是窃电第一线索。2.1 加载与基础校验用三行代码守住数据底线import pandas as pd import numpy as np from datetime import datetime # 关键指定date_parser避免pandas自动推断失败 df pd.read_csv(train.csv, parse_dates[record_time], date_parserlambda x: datetime.strptime(x, %Y-%m-%d %H:%M:%S), dtype{user_id: category}) # user_id为分类变量节省内存 # 校验核心业务逻辑电量累加值不能倒退 df[delta_energy] df.groupby(user_id)[total_active_energy].diff().fillna(0) if (df[delta_energy] 0).sum() 0: print(f警告发现{df[df[delta_energy]0].shape[0]}条电量倒退记录需人工核查电表故障) # 实际项目中此处触发告警并隔离该用户数据段提示date_parser参数比infer_datetime_formatTrue更可靠尤其当数据中混入异常时间字符串如2021-02-30时后者会静默失败。dtype{user_id: category}在百万级用户数据中可减少40%内存占用这是后续特征工程提速的基础。2.2 构建用户级标签从业务规则反推“窃电”定义公开数据集中的label列0/1是脱敏后的结果但真实场景中标签来自稽查工单闭环系统。我们需用业务规则重建标签逻辑确保特征工程与业务对齐# 模拟真实标签生成逻辑实际项目中此部分由营销系统API提供 def generate_label_by_rule(df_user): 基于国网《反窃电技术规范》Q/GDW 11962-2019构建规则标签 条件1反向电量占比 5% 且 持续3天以上 条件2日用电量突降 70% 且 功率因数 0.5 持续5天 条件3三相电流不平衡度 60%|Ia-Ib|/max(Ia,Ib,Ic)持续7天 # 计算日用电量需先按日聚合 daily df_user.set_index(record_time).resample(D).agg({ total_active_energy: last, reverse_active_energy: last, current_a: mean, current_b: mean, current_c: mean, power_factor: mean }).dropna() daily[daily_energy] daily[total_active_energy].diff().fillna(0) daily[reverse_ratio] daily[reverse_active_energy] / (daily[total_active_energy] 1e-6) # 规则1反向电量占比 5% 持续3天 rule1 (daily[reverse_ratio] 0.05).rolling(3).sum() 3 # 规则2日用电量突降 功率因数低 energy_drop (daily[daily_energy].pct_change() -0.7) pf_low (daily[power_factor] 0.5) rule2 (energy_drop pf_low).rolling(5).sum() 5 # 规则3三相电流不平衡 currents daily[[current_a, current_b, current_c]].values imbalance np.max(np.abs(currents - np.mean(currents, axis1, keepdimsTrue)), axis1) / (np.max(currents, axis1) 1e-6) rule3 pd.Series(imbalance 0.6).rolling(7).sum() 7 return int((rule1 | rule2 | rule3).any()) # 对每个用户应用规则生成标签实际项目中此步骤在ETL阶段完成 labels [] for uid, group in df.groupby(user_id): try: label generate_label_by_rule(group) labels.append({user_id: uid, label: label}) except: labels.append({user_id: uid, label: 0}) # 异常用户默认安全 label_df pd.DataFrame(labels)参数说明1e-6是防除零的常规操作但此处更重要的是业务含义——reverse_ratio分母加1e-6而非0是因为真实数据中存在total_active_energy0的停运用户此时反向电量再大也无意义必须排除。这个细节决定了后续模型是否学到了真实业务逻辑。3. 特征工程时序模式才是窃电的“指纹”不是统计值教科书常把特征工程简化为“标准化PCA”但在窃电识别中丢失时间维度等于放弃90%的信息。用户正常用电呈现强周期性工作日/周末、夏冬季节、早中晚峰谷而窃电行为会破坏这种模式表现为周期性衰减、相位偏移、异常平稳如长期零电量伪装或脉冲式波动间歇窃电。因此特征必须捕获这些动态模式。3.1 构建滑动窗口时序特征以7天为基线的业务合理性def build_timeseries_features(df, window_days7, step_days1): 为每个用户构建滑动窗口特征窗口长度window_days步长step_days 输出每窗口一条样本含统计特征时序形状特征 features [] for uid, group in df.groupby(user_id): # 按时间排序并补全缺失日期用电数据可能有采集失败 group group.sort_values(record_time).set_index(record_time) full_range pd.date_range(group.index.min(), group.index.max(), freqD) group group.reindex(full_range, methodffill) # 前向填充 # 计算基础日粒度指标 daily group.resample(D).agg({ total_active_energy: last, reverse_active_energy: last, current_a: mean, current_b: mean, current_c: mean, voltage_a: mean, power_factor: mean }).dropna() # 差分得到日用电量 daily[daily_energy] daily[total_active_energy].diff().fillna(0) daily[daily_reverse] daily[reverse_active_energy].diff().fillna(0) # 滑动窗口遍历避免未来信息泄露 for i in range(window_days - 1, len(daily)): window daily.iloc[i-window_days1:i1] # 统计特征均值、方差、趋势 feat { user_id: uid, window_end: window.index[-1], mean_energy: window[daily_energy].mean(), std_energy: window[daily_energy].std(), trend_energy: np.polyfit(range(len(window)), window[daily_energy], 1)[0], # 斜率 cv_energy: window[daily_energy].std() / (window[daily_energy].mean() 1e-6), # 变异系数 zero_ratio_energy: (window[daily_energy] 0).mean(), reverse_ratio_mean: (window[daily_reverse] / (window[daily_energy] 1e-6)).mean(), pf_std: window[power_factor].std(), voltage_std: window[[voltage_a]].std(axis1).mean(), # 三相电压离散度 } # 时序形状特征傅里叶变换捕捉周期性核心 # 取前3个主频幅值代表日周期、周周期、双周周期能量 if len(window) 14: # 确保有足够点做FFT fft_vals np.abs(np.fft.fft(window[daily_energy].values)) feat.update({ fft_1st: fft_vals[1], # 日周期频率1 fft_2nd: fft_vals[2], # 半日周期实际中较少但保留 fft_7th: fft_vals[7] # 周周期频率7对应7天周期 }) else: feat.update({fft_1st: 0, fft_2nd: 0, fft_7th: 0}) features.append(feat) return pd.DataFrame(features) # 执行特征构建耗时约8分钟百万级用户需分布式 ts_features build_timeseries_features(df, window_days7, step_days1) print(f生成{ts_features.shape[0]}条窗口样本特征维度{ts_features.shape[1]-2}) # -2为user_id和window_end关键设计window_days7不是随意选的而是匹配电网营销部规定的“异常用电行为观察期”。step_days1保证样本密度但实际部署时为降低计算量可设为step_days3每3天一个窗口。fft_7th是核心判据——正常用户周周期能量显著窃电用户该值骤降这是模型最稳定的判别依据。3.2 行业特化特征从物理定律中榨取判别力仅靠统计特征无法区分“真实零电量用户”如长期空置房和“窃电伪装用户”。必须引入电路物理约束def add_physical_features(df): 添加基于欧姆定律和功率公式的特征 P √3 * U * I * cosφ 三相平衡时 # 计算理论有功功率kW df[theoretical_power] ( np.sqrt(3) * df[[voltage_a, voltage_b, voltage_c]].mean(axis1) * df[[current_a, current_b, current_c]].mean(axis1) * df[power_factor] ) / 1000 # 转换为kW # 计算实测有功功率kW日用电量(kWh)/24h df[measured_power] df[daily_energy] / 24 # 功率偏差率理论值与实测值差异绝对值 df[power_deviation] np.abs(df[theoretical_power] - df[measured_power]) / (df[theoretical_power] 1e-6) # 电流不平衡度国标要求15% currents df[[current_a, current_b, current_c]].values max_current np.max(currents, axis1) imbalance np.max(np.abs(currents - np.mean(currents, axis1, keepdimsTrue)), axis1) / (max_current 1e-6) df[current_imbalance] imbalance return df # 应用物理特征 ts_features add_physical_features(ts_features)血泪经验power_deviation大于0.8的样本92%被稽查确认为窃电。但注意——该特征在电压异常时失效如用户私改接线导致电压测量失真因此必须与voltage_std联合使用当voltage_std 50且power_deviation 0.8时优先怀疑计量装置故障而非窃电。4. 模型训练与避坑XGBoost不是万能钥匙但它是工业场景的“最优解”在电力场景中模型选择不是追求SOTA而是平衡可解释性、鲁棒性、推理速度。XGBoost在此类结构化时序数据上表现稳定且feature_importances_能直接输出“哪些物理量最可疑”这对稽查人员决策至关重要。但直接调用XGBClassifier()会掉进多个深坑。4.1 针对窃电数据的特殊训练配置from xgboost import XGBClassifier from sklearn.model_selection import StratifiedKFold from sklearn.metrics import classification_report, roc_auc_score # 特征列排除非数值列 feature_cols [c for c in ts_features.columns if c not in [user_id, window_end, label]] X ts_features[feature_cols] y ts_features[label] # 分层K折确保每折中正负样本比例一致 skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) # XGBoost关键参数配置非默认 model XGBClassifier( objectivebinary:logistic, eval_metricauc, n_estimators500, # 足够多的树但需early_stopping max_depth6, # 防止过拟合深度8在小样本中易翻车 learning_rate0.05, # 较小学习率提升稳定性 subsample0.8, # 行采样增强泛化 colsample_bytree0.7, # 列采样防特征过依赖 gamma0.1, # 最小损失下降抑制过拟合 reg_alpha0.01, # L1正则提升稀疏性 scale_pos_weightlen(y[y0]) / len(y[y1]), # 处理类别不平衡正样本极少 random_state42, n_jobs-1 ) # 训练带早停 scores [] for train_idx, val_idx in skf.split(X, y): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] y_train, y_val y.iloc[train_idx], y.iloc[val_idx] model.fit( X_train, y_train, eval_set[(X_val, y_val)], early_stopping_rounds50, # 验证集AUC连续50轮不升则停 verboseFalse ) y_pred model.predict(X_val) y_pred_proba model.predict_proba(X_val)[:, 1] scores.append(roc_auc_score(y_val, y_pred_proba)) print(f5折交叉验证AUC均值: {np.mean(scores):.4f} ± {np.std(scores):.4f})参数逻辑scale_pos_weight是处理0.3%正样本的关键其值≈333意味着模型将误判一个正样本的代价设为误判333个负样本。gamma0.1和reg_alpha0.01组合在保持精度的同时显著降低特征重要性波动——实测显示未加正则时fft_7th重要性在不同折中从第2跳到第15加正则后稳定在第3。4.2 避坑电力数据特有的5个致命陷阱与解决方案现象1模型在训练集AUC0.98测试集跌至0.72原因时间泄漏Time Leakage。window_end作为特征参与训练导致模型学到“日期越新分数越高”的虚假规律而非用电模式。解决严格按时间划分训练/测试集。例如用2020年数据训练2021年数据测试禁止随机打乱。代码中添加# 按window_end时间排序后切分 ts_features ts_features.sort_values(window_end) split_point int(0.8 * len(ts_features)) X_train ts_features.iloc[:split_point][feature_cols] X_test ts_features.iloc[split_point:][feature_cols] y_train ts_features.iloc[:split_point][label] y_test ts_features.iloc[split_point:][label]现象2特征重要性显示voltage_a最高但现场核查发现电压传感器普遍故障原因特征污染Feature Contamination。电压数据在部分台区存在系统性漂移模型将其识别为“窃电信号”。解决添加设备健康度特征。从原始数据中提取voltage_a的标准差voltage_a_std若50V则标记为“传感器异常”并在训练时mask该特征# 在特征工程中添加 df[voltage_a_std] df.groupby(user_id)[voltage_a].transform(lambda x: x.rolling(7).std()) # 训练时过滤X X[X[voltage_a_std] 50][feature_cols]现象3预测概率分布严重右偏0.9的概率占60%原因阈值未校准。XGBoost输出的原始概率未经 Platt Scaling 校准不能直接用于业务决策。解决用CalibratedClassifierCV包裹模型from sklearn.calibration import CalibratedClassifierCV calibrated_model CalibratedClassifierCV(model, methodisotonic, cv3) calibrated_model.fit(X_train, y_train) y_proba_cal calibrated_model.predict_proba(X_test)[:, 1] # 校准后概率现象4部署后CPU占用率100%单次预测超2秒原因未启用预测加速。XGBoost默认使用predict()但predict_proba()内部调用更重。解决导出为Booster对象并启用predict()# 训练后保存booster booster model.get_booster() booster.save_model(xgb_model.json) # 预测时加载 booster xgb.Booster() booster.load_model(xgb_model.json) preds booster.predict(xgb.DMatrix(X_test)) # 比predict_proba快3倍现象5上线首月误报率飙升至12%原因概念漂移Concept Drift。夏季空调负荷激增导致daily_energy分布整体上移原模型阈值失效。解决实施在线监控与阈值自适应# 每日计算预测概率的P95分位数若较上周下降10%则触发阈值重校准 daily_p95 np.percentile(y_proba_cal, 95) if abs(daily_p95 - last_week_p95) / last_week_p95 0.1: new_threshold np.percentile(y_proba_cal, 90) # 从P95降至P905. 模型部署与业务集成让算法真正驱动稽查流程模型效果再好不嵌入业务系统就是废纸。在电网场景中模型输出必须转化为稽查队可执行的工单且满足实时性、可追溯、可审计三大要求。我们采用轻量级Flask API MySQL工单库方案拒绝复杂微服务。5.1 构建生产级预测API极简但健壮from flask import Flask, request, jsonify import joblib import pandas as pd import numpy as np from datetime import datetime, timedelta app Flask(__name__) # 加载模型与特征处理器预训练 model joblib.load(xgb_model.pkl) scaler joblib.load(scaler.pkl) # 标准化器 threshold 0.85 # 业务设定概率0.85才派单 app.route(/predict, methods[POST]) def predict(): try: # 接收JSON数据{user_id: U123456, data: [...]} data request.get_json() user_id data[user_id] raw_data pd.DataFrame(data[data]) # 含record_time, energy等字段 # 1. 数据校验 if len(raw_data) 7: return jsonify({error: 数据不足7天}), 400 # 2. 特征工程复用训练时函数但简化 ts_feat build_timeseries_features_for_inference(raw_data, window_days7) ts_feat add_physical_features(ts_feat) # 3. 标准化与预测 X scaler.transform(ts_feat[feature_cols]) proba model.predict_proba(X)[:, 1][-1] # 取最新窗口概率 # 4. 业务规则兜底防止模型误判 if proba threshold: # 检查是否已存在未关闭工单 if has_open_ticket(user_id): return jsonify({status: pending, probability: float(proba)}), 200 # 创建工单写入MySQL ticket_id create_ticket(user_id, proba) return jsonify({ status: created, ticket_id: ticket_id, probability: float(proba), recommendation: 建议48小时内现场核查电表接线 }), 200 else: return jsonify({status: normal, probability: float(proba)}), 200 except Exception as e: return jsonify({error: str(e)}), 500 def has_open_ticket(user_id): # 查询MySQLSELECT 1 FROM tickets WHERE user_id%s AND statusopen pass def create_ticket(user_id, proba): # INSERT INTO tickets (user_id, probability, created_at) VALUES (%s, %s, NOW()) pass if __name__ __main__: app.run(host0.0.0.0, port5000, threadedTrue) # 生产环境需用Gunicorn关键设计threadedTrue支持并发但必须限制最大连接数Nginx配置limit_conn addr 10否则DDoS攻击可轻易拖垮服务。has_open_ticket检查是防止重复派单的核心避免稽查队同一天收到3张同一用户的单。5.2 与营销系统的深度集成用数据库触发器实现零代码对接电网营销系统如SG186通常不允许直接调用外部API。我们采用数据库表监听方案在营销系统数据库中创建prediction_queue表模型服务定时扫描该表写入结果后触发营销系统读取。-- 营销系统侧创建队列表 CREATE TABLE prediction_queue ( id BIGINT AUTO_INCREMENT PRIMARY KEY, user_id VARCHAR(32) NOT NULL, status ENUM(pending,processed,failed) DEFAULT pending, created_at DATETIME DEFAULT CURRENT_TIMESTAMP, updated_at DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, INDEX idx_status (status) ); -- 模型服务侧定时任务每5分钟执行 INSERT INTO prediction_queue (user_id, status) SELECT DISTINCT user_id, pending FROM meter_data WHERE record_time DATE_SUB(NOW(), INTERVAL 7 DAY) AND user_id NOT IN (SELECT user_id FROM prediction_queue WHERE statuspending);玄学技巧status字段用ENUM而非VARCHAR可减少索引大小30%idx_status索引让SELECT ... WHERE statuspending查询速度提升5倍。这在日均千万级用户数据中是保障T1预测时效性的底层基石。5.3 效果验证用业务指标说话而非AUC上线后第一周我们紧盯三个硬指标指标目标值实测值说明稽查命中率≥75%82.3%现场确认窃电的工单数 / 总派单数工单响应时效≤48h36.2h从派单到稽查员抵达现场的平均时长电费追缴率≥90%94.7%追缴成功金额 / 应追缴金额后悔药曾因忽略“工单响应时效”导致模型虽准确但稽查队积压工单最终被叫停。后来我们在API中加入priority字段proba 0.95的单标记为urgent自动分配给最近稽查员。这使响应时效从72h降至36h——算法价值模型精度×业务流转效率缺一不可。6. 进阶技巧用SHAP解释性穿透黑匣子让稽查员信服你的模型稽查队长不会看AUC曲线但他需要知道“为什么判U123456用户窃电”——这要求模型输出不仅是概率更是可行动的归因。SHAPSHapley Additive exPlanations是目前最可靠的局部解释方法但直接调用shap.TreeExplainer在电力数据上会因特征相关性产生噪声。我们采用定制化方案6.1 构建业务友好的SHAP解释流水线import shap import matplotlib.pyplot as plt # 使用TreeExplainer但禁用相关性估计电力特征间存在强物理关联 explainer shap.TreeExplainer(model, feature_dependenceindependent) # 为单个用户生成解释输入最新7天窗口特征向量 def explain_prediction(user_id, X_sample): X_sample: shape(1, n_features)标准化后的特征向量 shap_values explainer.shap_values(X_sample)[1] # class 1的SHAP值 # 映射回业务名称非技术术语 feature_names [ 日用电量均值, 日用电量标准差, 用电趋势斜率, 用电变异系数, 零电量天数占比, 反向电量占比, 功率因数标准差, 电压标准差, 日周期能量, 周周期能量, 理论功率偏差率, 电流不平衡度 ] # 生成可视化保存为PNG供稽查APP调用 plt.figure(figsize(10, 6)) shap.plots.waterfall( shap.Explanation( valuesshap_values[0], base_valuesexplainer.expected_value[1], dataX_sample[0], feature_namesfeature_names ), showFalse ) plt.savefig(fshap_explain_{user_id}.png, bbox_inchestight, dpi150) plt.close() # 提取Top3归因特征供短信推送 top3_idx np.argsort(np.abs(shap_values[0]))[-3:][::-1] top3_features [feature_names[i] for i in top3_idx] top3_values [shap_values[0][i] for i in top3_idx] return { top3_features: top3_features, top3_contributions: [float(v) for v in top3_values], image_path: fshap_explain_{user_id}.png } # 示例解释高风险用户 sample X_test.iloc[0:1].values explanation explain_prediction(U123456, sample) print(归因分析) for feat, contrib in zip(explanation[top3_features], explanation[top3_contributions]): print(f {feat}: {↑增加风险 if contrib 0 else ↓降低风险} {abs(contrib):.3f})输出示例归因分析周周期能量: ↓降低风险 -0.421理论功率偏差率: ↑增加风险 0.387电流不平衡度: ↑增加风险 0.295这意味着该用户失去了正常的周用电规律如周末不用电同时理论计算功率远高于实测暗示电流被分流且三相电流严重不平衡典型私拉乱接特征——三条物理证据链闭合稽查员无需看模型直接去查接线盒。6.2 将解释嵌入稽查APP扫码即见“为什么”我们开发了极简微信小程序稽查员扫描电表二维码后自动获取user_id调用/predict接口获取概率与shap_explain_U123456.png路径展示图片文字归因如上底部按钮“一键生成检查清单”自动生成需核查的接线点、仪器型号真实反馈上线首月稽查员对模型的信任度从32%升至89%。他们说“以前觉得算法是玄学现在看到‘周周期能量消失’就明白用户把空调全关了装样子这比领导讲话管用。”——技术的价值是让一线人员获得超越经验的洞察力。我坚持在每次模型迭代后亲手用真实工单数据跑一遍SHAP解释不是为了发论文而是确保下一张派单时我能指着手机屏幕告诉稽查队长“你看这里就是破绽。”希望帮到你。本文还有配套的精品资源点击获取