金融风控模型冷启动：小样本下的特征工程与逻辑回归实践

1. 项目背景与核心挑战在金融科技领域信贷产品的快速迭代带来了一个普遍难题新产品上线初期缺乏足够的历史数据导致传统风控模型难以有效运作。这种冷启动场景下我们通常面临三个核心挑战样本极度稀疏与不平衡训练集可能只有几百条样本其中违约样本占比往往低于5%数据分布偏移训练集与真实业务环境的数据分布存在显著差异强可解释性需求信贷决策需要透明可解释不能是黑箱模型以我们实际处理的案例为例训练集仅500条样本违约率2%约10个正样本而测试集规模达到2500条。这种极端的数据条件下常规的机器学习方法往往表现不佳。2. 特征工程从原始数据到有效特征2.1 变量分类与基础处理我们将原始22维特征分为三类分别采用不同的处理策略数值型连续变量如income、credit_limit1%-99%缩尾处理抑制极端值对数变换使分布接近正态标准化统一量纲数值型离散变量如overdue_times保留原始值新增零值标识特征如overdue_times_is_zero分类型变量如housing、purpose少量类别独热编码多类别10目标编码# 特征处理核心代码示例 class CustomPreprocessor(BaseEstimator, TransformerMixin): def __init__(self, cont_features, disc_features, cat_features): self.cont_features cont_features self.disc_features disc_features self.cat_features cat_features self.scaler StandardScaler() self.encoder OneHotEncoder() def fit(self, X, yNone): # 计算连续变量的缩尾边界 for col in self.cont_features: lower X[col].quantile(0.01) upper X[col].quantile(0.99) self.winsor_bounds[col] (lower, upper) # 拟合标准化器 self.scaler.fit(np.log1p(X[self.cont_features])) return self def transform(self, X): # 应用缩尾和对数变换 X_cont np.log1p(X[self.cont_features].clip( lowerself.winsor_bounds[col][0], upperself.winsor_bounds[col][1] )) # 标准化 X_cont self.scaler.transform(X_cont) # 离散变量处理 X_disc X[self.disc_features] # 分类变量编码 X_cat self.encoder.transform(X[self.cat_features]) return pd.concat([X_cont, X_disc, X_cat], axis1)2.2 WOE编码与IV筛选WOEWeight of Evidence编码是信用评分领域的经典技术它将类别变量的每个取值映射为WOE ln(好样本占比/坏样本占比)IVInformation Value则量化特征的预测能力IV Σ(好样本占比 - 坏样本占比) * WOE经验阈值IV 0.02无预测力0.02 ≤ IV 0.1弱预测力0.1 ≤ IV 0.3中等预测力IV ≥ 0.3强预测力# WOE和IV计算实现 def calc_woe_iv(df, feature, target): total_good df[target0].shape[0] total_bad df[target1].shape[0] woe_dict {} iv 0 for value in df[feature].unique(): good df[(df[feature]value) (df[target]0)].shape[0] bad df[(df[feature]value) (df[target]1)].shape[0] p_good (good 0.5) / (total_good 1) # 平滑处理 p_bad (bad 0.5) / (total_bad 1) woe np.log(p_good / p_bad) iv (p_good - p_bad) * woe woe_dict[value] woe return woe_dict, iv3. 样本不平衡处理策略3.1 代价敏感学习在逻辑回归中通过class_weight参数调整类别权重model LogisticRegression( class_weight{0:1, 1:10}, # 违约样本权重设为10倍 solverliblinear )3.2 采样方法对比我们对比了多种采样策略方法原理适用场景我们的测试结果SMOTE合成少数类样本中等不平衡验证集表现好测试集泛化差ADASYN自适应合成样本高度不平衡同上随机欠采样减少多数类样本数据量充足丢失重要信息代价敏感调整损失函数权重所有场景最稳定可靠实际经验在极稀疏样本下5%正样本代价敏感学习通常是最稳健的选择4. 模型选择与优化4.1 为什么选择逻辑回归在对比了多种模型后我们发现简单逻辑回归表现最好原因在于样本量极小10个正样本时复杂模型容易过拟合逻辑回归的线性特性与信用评分的业务逻辑高度契合L1/L2正则化提供了天然的防过拟合机制模型高度可解释符合金融监管要求4.2 参数调优我们使用网格搜索优化逻辑回归参数param_grid { penalty: [l1, l2], C: [0.01, 0.1, 1, 10], # 正则化强度倒数 class_weight: [None, balanced] } grid_search GridSearchCV( LogisticRegression(solverliblinear), param_grid, scoringroc_auc, cv5 ) grid_search.fit(X_train, y_train)最佳参数组合通常是penaltyl1稀疏特征选择C0.1中等正则化强度class_weightbalanced代价敏感5. 模型评估与业务解读5.1 评估指标选择在信贷风控中我们更关注召回率Recall尽可能捕捉真正的违约客户KS统计量模型区分好坏客户的能力AUC-ROC整体排序能力注意精确率Precision在极低违约率场景下参考价值有限5.2 阈值选择策略通过PR曲线寻找最佳阈值precisions, recalls, thresholds precision_recall_curve(y_true, y_pred_proba) f1_scores 2 * (precisions * recalls) / (precisions recalls) best_thresh thresholds[np.argmax(f1_scores)]在实际业务中我们通常会先基于业务成本确定可接受的误杀率再选择能达到该误杀率下的最高召回率6. 完整实现流程6.1 端到端代码结构# 1. 数据读取与探索 df pd.read_csv(credit_data.csv) eda EDAVisualizer() eda.plot_distributions(df) # 2. 特征工程 preprocessor FeatureEngineer( cont_features[income, credit_limit], disc_features[overdue_times], cat_features[purpose] ) X_train_processed preprocessor.fit_transform(X_train) # 3. WOE编码 woe_encoder WOEEncoder() X_train_woe woe_encoder.fit_transform(X_train_processed, y_train) # 4. 模型训练 model LogisticRegression( penaltyl1, C0.1, class_weightbalanced, solverliblinear ) model.fit(X_train_woe, y_train) # 5. 评估 evaluator ModelEvaluator() evaluator.plot_roc_curve(y_test, model.predict_proba(X_test_woe)[:,1])6.2 实际应用建议特征监控定期检查特征分布漂移模型迭代随着数据积累逐步引入更复杂模型规则引擎结合业务规则提升决策鲁棒性在线学习对于快速变化的市场环境7. 常见问题与解决方案7.1 问题排查表问题现象可能原因解决方案模型AUC低特征预测力不足检查IV值增加业务特征召回率过低样本极度不平衡调整class_weight或采样策略过拟合样本量太小加强正则化简化模型线上表现差分布偏移监控特征分布定期更新模型7.2 实用技巧对于数值变量先做缩尾处理再取对数效果通常优于直接标准化添加零值标识特征如is_zero往往能显著提升模型性能在计算WOE时加入平滑项如0.5避免除零错误使用分层交叉验证确保小样本场景下的可靠评估8. 项目总结与延伸思考这个项目展示了如何在极端数据约束下构建有效的信用风险模型。核心经验包括特征工程的质量决定模型上限简单模型精细处理 复杂模型粗糙处理业务理解比算法复杂度更重要未来扩展方向增量学习随着数据积累逐步更新模型联邦学习在保护隐私的前提下利用多方数据因果推断识别真正的风险驱动因素