QRFR分位数回归森林：用Python从点预测升级为区间预测

简介面向具备 Python 与机器学习基础的开发者和数据科学从业者也可供相关行业数据分析人员参考。资料围绕随机森林分位数回归QRFR展开解决传统回归只有点预测、难以刻画不确定性的问题说明如何基于 Python 实现多输入单输出区间预测。内容包含 QR 与 RF 的理论基础、模型提出动机、异方差数据下的优势、训练复杂度与超参数调节难点、数据预处理思路以及金融分析、气候预测、医疗健康等应用场景文末附模型描述和示例代码便于逐步实践。资源包共 1 个文件为 docx 格式大小约 33KB目录结构清晰适合作为学习笔记或项目参考。已有 1115 人学习对关注预测区间和集成回归建模的读者具有较高参考价值。1. QRFR 是什么一个模型给出区间而不是点预测用 Python 做回归预测的工程师都有过这种尴尬领导问“明天销量多少”你报了个 2150第二天实际 1800数值上差得不算离谱但领导默认你这句话意味着“误差不超过几十”。可现实是真实世界几乎不存在只给一个数就够用的回归问题生产排程需要下限兜底库存调拨需要上限封顶风险审批要的是“最坏情况会不会到红线”。QRFR 随机森林分位数回归解决的就是这个问题——用一套随机森林同时输出任意分位数的预测比如 0.1、0.5、0.9组成预测区间 [q10, q90]告诉你 80% 的概率真实值落在这个范围里。我最早接触 QRFR 是在设备剩余寿命预测上点预测做了半年领导始终不满意因为他真正想知道的是“最早什么时候可能坏”那是下分位数的事。后来改用分位数回归森林几十行代码把区间给出来事情立刻变得可讨论。这篇文章讲清楚三件事QRFR 的原理为什么成立、多输入单输出场景下怎么用 Python 一次性实现、以及真正搞区间预测时最容易翻车的地方。适合那些已经会用 sklearn 跑随机森林、但想把输出从单个值升级成置信区间的从业者不需要深度学习背景不需要额外的重型框架。2. 分位数回归森林的原理随机森林为什么能输出区间2.1 标准随机森林为什么只给均值被丢掉的叶分布信息先看标准随机森林的预测过程一棵决策树把测试样本一路分到某个叶节点该叶节点里存着若干训练样本预测值取这批样本目标值的平均随机森林再由全部树的结果再平均一次。这里面有个容易被忽略的事实——叶节点里其实存了一整组真实目标值而最终只用了它们的算术平均。也就是说随机森林天生持有每个预测点的局部样本分布只是在默认接口里把它压缩成一个数丢了。传统分位数回归走的是另一条路它显式定义损失函数比如用分位数损失替代均方误差直接训练出能输出 0.9 分位数的模型。这种做法在广义线性模型里很成熟但遇到特征非线性、高阶交互、以及数据含复杂噪声时线性假设很快就不够用。换梯度提升树可以做但需要调一堆参数。QRFR 的思路更干脆保留随机森林叶节点里的原始样本值预测时把测试样本在所有树上落入的叶节点内样本汇总成一个经验分布直接对这个分布取任意分位数。与决策树的区别也值得点破普通决策树和随机森林从训练到预测都在追求“均值最优”树分裂的目标mse 或 mae决定了叶节点的中心趋势而 QRFR 不改变分裂逻辑改变的是预测层——它把“叶节点样本的均值”换成“叶节点样本的分布分位数”。所以 QRFR 不是一种新的树模型而是随机森林的一种预测端改造。这也是它工程实现简单的原因分裂规则、特征采样、并行训练全部沿用随机森林只有最后收集结果时多算了一步分布。2.2 QRFR 的训练与预测叶索引存储和分位数聚合QRFR 的训练阶段比标准随机森林多做一件事记录每个训练样本最终落入每棵树的哪个叶节点。预测阶段给定新样本先让它在每棵树上走一遍拿到每棵树对应的叶节点编号然后取出该叶节点内所有训练样本的目标值。把所有树取出的目标值拼成一个集合按权重合并后对这个集合取分位数。写成数学记号会更清楚。训练集 (D{(x_i, y_i)})随机森林共 (T) 棵树第 (t) 棵树的叶节点记作 (l_t(x))。预测样本 (x) 的分位数为[ Q_\tau(x) \text{Quantile}\tau\left(\bigcup{t1}^T {y_i ;|; x_i \in l_t(x), t1..T}\right) ]每个叶节点的样本在最终分布里权重为 (1/T) 乘以该叶节点内部样本的相对权重。最常见的实现里每个落入叶节点的样本等权贡献即总共 (T \times k) 个值k 为每棵树叶节点样本数对这些值线性插值求分位数。也可以按叶节点样本数加权后者在叶节点大小悬殊时有明显优势。值得注意QRFR 的输出是经验分布而非参数化分布因此它能适应任意形态的误差分布——不管是正态噪声、厚尾还是双峰。这一点是它对比线性分位数回归和基于高斯假设的贝叶斯方法的核心优势。多输入单输出的场景对它来说毫无额外负担输入特征是几十维甚至上百维树模型天然处理特征交互不需要做归一化或独热之外的特征工程输出只有一个目标维度预测端做的仍然是那一次分位数聚合。对比维度标准随机森林线性分位数回归QRFR预测输出单个均值单个分位数任意多个分位数分布假设无但丢失分布分位数是特征线性组合无经验分布非线性特征支持需人工扩展支持训练复杂度低低低仅多存叶索引区间覆盖率无法给出依赖线性假设数据结构自适应3. 用 Python 实现多输入单输出区间预测核心代码与参数解读3.1 实现 QuantileRegressionForest 类fit 阶段存叶节点动手前先说清楚实现路线。sklearn 自带的 RandomForestRegressor 只能输出均值但它的 apply 方法能返回每个样本在每棵树上的叶节点编号——这正是 QRFR 需要的全部信息。常见做法有两种一是直接安装封装库比如 scikit-garden但那个库多年没有维护接口跟新版 sklearn 偶尔会闹别扭二是自己维护一个几十行的类把叶索引存储和预测聚合写明白。我一般用第二种因为逻辑很直接且完全没有黑匣子出了问题好排查。下面给出一个可运行的实现核心类。这里给出 fit 和 predict 两个方法。import numpy as np from sklearn.ensemble import RandomForestRegressor class QuantileRegressionForest: 基于 sklearn RandomForestRegressor 的分位数回归森林。 多输入单输出predict 时返回指定分位数的预测值。 def __init__(self, n_estimators100, max_depthNone, min_samples_leaf5, max_features1.0, random_state42, n_jobs-1): self.n_estimators n_estimators self.max_depth max_depth self.min_samples_leaf min_samples_leaf self.max_features max_features self.random_state random_state self.n_jobs n_jobs self.rf None # (tree_index, leaf_index) - 该叶节点下所有训练样本的 y 值 self.leaf_values {} def fit(self, X, y): # 训练阶段先训练一个标准随机森林再用 apply 记录叶子归属 self.rf RandomForestRegressor( n_estimatorsself.n_estimators, max_depthself.max_depth, min_samples_leafself.min_samples_leaf, max_featuresself.max_features, random_stateself.random_state, n_jobsself.n_jobs ) self.rf.fit(X, y) # leaf_indices.shape (n_samples, n_estimators) leaf_indices self.rf.apply(X) # 遍历每棵树、每个叶节点把落在同一叶节点的样本 y 收集起来 for tree_idx in range(self.n_estimators): unique_leaves np.unique(leaf_indices[:, tree_idx]) for leaf in unique_leaves: mask leaf_indices[:, tree_idx] leaf self.leaf_values[(tree_idx, leaf)] np.asarray(y[mask]) return self def predict(self, X, quantiles(0.1, 0.5, 0.9)): # 预测阶段对每个样本收集所有树叶节点上的 y 值求分布分位数 leaf_indices self.rf.apply(X) n_samples X.shape[0] result np.zeros((n_samples, len(quantiles))) for i in range(n_samples): collected [] for tree_idx in range(self.n_estimators): leaf leaf_indices[i, tree_idx] collected.append(self.leaf_values[(tree_idx, leaf)]) all_values np.concatenate(collected) result[i, :] np.quantile(all_values, list(quantiles)) return result代码逻辑拆开看三块。fit 的第一部分是标准的 RandomForestRegressor 训练参数直接透传给 sklearn第二部分是核心apply 方法让每个训练样本返回自己在每棵树的叶节点编号得到一个二维数组行是样本、列是树。随后两层循环把 (树编号, 叶编号) 当作字典键值是这组样本的原始 y 值数组到此模型描述里的“叶分布存储”就落地了。predict 部分对每个新样本做同样的 apply拿到它落进所有树的位置。注意 collected 收集的是每棵树对应叶节点里的全部 y 值而不是叶节点的均值。一个测试样本可能收集到几百甚至上千个训练样本的 y 值最后统一送入 numpy 的 quantile 函数做线性插值。quantiles 参数可以一次传多个分位数比如 (0.05, 0.5, 0.95)返回结果是二维数组。这样实现的时间复杂度为预测时 O(n_samples × n_estimators × avg_leaf_size)内存开销集中在 leaf_values 字典对十万级训练集一般无压力。3.2 多输入单输出的完整调用构造数据、训练、预测区间为了让效果直观我用一个合成数据演示。这个数据生成函数本身设计成异方差误差幅度随某个输入特征变化。为什么要异方差因为区间预测最大的价值就是捕捉“不同输入区域的预测不确定性不同”均匀噪声的场景下区间宽度恒定时分位数回归和简单经验 ±误差问题给出的答案没有区别。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split # 固定随机种子保证结果可复现 rng np.random.default_rng(42) n_samples 3000 # 多输入X1 影响均值X2 影响噪声幅度X3~X6 是凑数特征 X1 rng.uniform(-3, 3, n_samples) X2 rng.uniform(0, 2, n_samples) X3 rng.normal(0, 1, n_samples) X4 rng.normal(0, 1, n_samples) X5 rng.normal(0, 1, n_samples) X6 rng.normal(0, 1, n_samples) # 目标函数非线性均值 异方差噪声 # 当 X2 大时噪声大这个特征决定了区间宽度的变化 y (np.sin(1.2 * X1) 0.3 * X1 np.sign(X2) * X2 * 0.8 rng.normal(0, 0.3 0.8 * X2, n_samples)) X np.column_stack([X1, X2, X3, X4, X5, X6]) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state7 ) # 训练 QRFR qrf QuantileRegressionForest( n_estimators200, max_depth12, min_samples_leaf10, max_features0.7, random_state0, n_jobs-1 ) qrf.fit(X_train, y_train) # 对测试集做区间预测 quantiles (0.1, 0.5, 0.9) pred_all qrf.predict(X_test, quantilesquantiles) q10, q50, q90 pred_all[:, 0], pred_all[:, 1], pred_all[:, 2] # 覆盖率真实值落在 [q10, q90] 内的比例 coverage np.mean((y_test q10) (y_test q90)) print(f测试集样本数: {len(y_test)}) print(f80% 区间覆盖率: {coverage:.3f}) print(f平均区间宽度: {(q90 - q10).mean():.3f})运行这段代码输出类似这样测试集样本数: 600 80% 区间覆盖率: 0.812 平均区间宽度: 2.340覆盖率 0.812 意味着在这个合成数据上理论 80% 的区间实际盖住了 81.2% 的点模型行为符合预期。参数里比较关键的是 min_samples_leaf10它保证每个叶节点至少有 10 个训练样本也就是预测时每个叶子至少贡献 10 个 y 值分位数不会因为样本太少而抖动。max_depth12 让树有足够分裂空间去表达非线性关系而 max_features0.7 让每棵树只随机看 70% 的特征增加树间多样性。n_estimators200 在区间预测里比均值预测更需要加大——分位数是从几百或几千个 y 值里算出来的树越多分布越平滑极端分位数也越稳定。3.3 输出结果的解读区间宽度与覆盖率的直观含义拿到 q10、q50、q90 三列数据之后大部分第一次做区间预测的工程师都会犯同一个错误只盯着覆盖率看。覆盖率确实重要但 80% 覆盖率的区间既可能是“窄而准”的好区间也可能是“宽到没有信息量”的废物。比如平均区间宽度 20 而真实值标准差只有 1那这个区间虽然覆盖率 100%业务上等于没说。要同时看两个数覆盖率和平均区间宽度。更好的做法是按特征分段统计区间宽度验证区间宽度是否跟随 X2 变化——这种异方差响应正是分位数回归的核心价值。我建议把预测结果存成 DataFrame 输出方便后续分析。df_result pd.DataFrame({ y_true: y_test, q10: pred_all[:, 0], q50: pred_all[:, 1], q90: pred_all[:, 2], width: pred_all[:, 2] - pred_all[:, 0] }) # 按 X2 的分箱看区间宽度是否有变化 df_result[x2_bin] pd.cut(X_test[:, 1], bins4) print(df_result.groupby(x2_bin, observedTrue)[width].mean())如果输出的四个分箱平均宽度接近说明模型没有学到异方差如果宽度随 X2 增大而增大说明 QRFR 正确捕捉到了不同区域的不确定性。这一步做得越细致后面与业务沟通时越有说服力。4. 区间预测的 5 条血泪避坑记录覆盖率、内存与分位数倒挂4.1 现象上下界交叉倒挂区间预测里最吓人的错误是 q90 小于 q10上下界倒挂。我在把 QRFR 用于小样本数据时遇到过两次训练集只有 200 个样本min_samples_leaf 又设成了 2预测集里某些样本落进的叶节点极小极端分位数的插值结果被噪声支配出现 q90 q50 或 q50 q10 这类违反常识的输出。原因叶节点样本太少经验分布不稳定分位数估计方差过大另一层原因是数据分布本身呈强长尾极值点样本集中在个别叶节点里。解决把 min_samples_leaf 提到 10 以上小样本场景直接拉高到 20~30。另外预测后加一个防御逻辑q_upper np.maximum(q_upper, q_lower)把交叉部分裁掉。这不算掩耳盗铃因为分位数本身允许相等但绝不允许交叉。4.2 现象测试集覆盖率远低于预期模型在训练集上覆盖率 0.85测试集上掉到 0.65这是另一个高频问题。我见过最典型的使用场景是金融评分卡特征分布稳定但目标变量被极端值污染导致训练集和测试集分布偏移。原因随机森林叶节点里的 y 值全部来自训练集预测本质是“在训练数据里找相似样本的经验分布”天然存在对新区域的分布外推困难。此外如果噪声不是正态的正态假设类的区间评估会误导。解决先用五折交叉验证估算真实覆盖率不要只看训练集表现在报告中明确区分“样本内覆盖率”和“样本外覆盖率”。另一个有效手段是给叶节点里较远的样本降权比如只取距离测试样本最近的 K 个样本计算分位数这在 sklearn 里需要用 tree 的 feature 阈值自行实现代价不小但提升明显。4.3 现象0.5 分位数和随机森林均值预测对不上这是最容易让人怀疑代码写错的问题用 RandomForestRegressor 的 predict 输出均值 50.2QRFR 的 0.5 分位数输出 54.7差了一大截。我第一反应也是查 bug后来确认模型没写错。原因分位数和均值本就是两个不同统计量。当叶节点样本分布偏斜时——比如个别样本值极大——均值被极值拉高中位数不受影响当叶节点样本少的时候两个统计量差 10% 甚至 20% 都很正常。解决想对齐就和叶节点样本均值对齐而不是和整个随机森林的均值对齐。在 QuantileRegressionForest 里加一个 predict_mean 方法对每个样本取所有树叶节点样本的均值再做树间平均这等价于标准随机森林的预测逻辑。4.4 现象预测时内存消耗突然暴涨训练一切正常一到 predict 阶段内存翻了十几倍甚至卡死。多输入、大样本场景下这个问题尤其严重。原因3.1 节实现里用字典存储了每个叶节点的完整 y 数组预测时又对所有树叶节点样本做一次大数组拼接。如果训练集 100 万样本、500 棵树字典里可能存了 1 亿个数值引用拼接时再复制一遍内存直接失控。解决两个常用手段。一是把 leaf_values 的值从原始 y 数组换成排序后的 y 数组预测时用 searchsorted 直接取子区间既省内存又加快分位数查询二是限制存储只在 OOB 样本上进行或者对每个叶节点只保留分位点而非常量具体到本项目还可以给 predict 加批量大小参数每次处理 1000 个样本避免一次拼接全部结果。4.5 现象区间宽度恒定不随输入变化模型训练后 q90-q10 对每个样本都差不多宽这等于告诉你 QRFR 退化成了“全局误差条”没发挥分位数回归的价值。原因max_depth 太小或 min_samples_leaf 太大导致所有叶节点的内部样本分布相似分位数也相像。另一种情况是训练数据本身噪声同方差模型确实学不到区间变化。解决按 3.3 节的分组统计检查宽度变化。如果是模型容量问题适当减小 min_samples_leaf、增大 max_depth如果数据本身同方差这就是数据极限盲目加容量只会过拟合。此时可以换用更灵活的异方差建模方式比如在特征里加入时间滑动窗口方差等派生变量。5. 区间质量如何评估PICP、PINAW 与调参方向5.1 PICP 与 PINAW两个指标把区间拆开看覆盖率之外业界惯用的两个指标是 PICPPrediction Interval Coverage Probability和 PINAWPrediction Interval Normalized Average Width。PICP 就是真实值落在区间内的比例公式为[ PICP \frac{1}{N} \sum_{i1}^N \mathbb{1}\left(l(x_i) \le y_i \le u(x_i)\right) ]PINAW 是对区间宽度做归一化消除目标值量纲的影响[ PINAW \frac{1}{N \cdot R} \sum_{i1}^N \left(u(x_i) - l(x_i)\right) ]其中 (R y_{\max} - y_{\min}) 是测试集目标值范围。PICP 要尽量接近名义置信水平比如 0.9 区间对应 PICP≈0.9PINAW 则越小越好。两个指标是一对矛盾区间拉宽 PICP 上升但 PINAW 恶化区间收窄则反过来。实际评判标准通常是——在 PICP 不低于名义水平的约束下最小化 PINAW。如果出现 PICP 0.99、PINAW 也超大的情况说明模型输出了保守但无用的区间。def evaluate_interval(y_true, q_low, q_high, nominal0.8): 返回 PICP 和 PINAW 两个指标。 coverage np.mean((y_true q_low) (y_true q_high)) width_norm np.mean(q_high - q_low) / (y_true.max() - y_true.min()) return {PICP: coverage, PINAW: width_norm} # 用法示例 metrics evaluate_interval(y_test, q10, q90, nominal0.8) print(metrics)PICP 低于名义水平说明区间过窄高于名义水平说明偏保守。在业务里偏保守通常比过窄更容易被接受但代价是决策迟钝。你可以用这个函数在不同分位数组合下计算指标比如 (0.05, 0.95)、(0.1, 0.9)、(0.2, 0.8)再对比 PINAW 决定最终用哪一对。5.2 调参优先级min_samples_leaf、max_depth、分位数取值QRFR 的参数有两层RandomForestRegressor 自身的模型参数和预测端的分位数参数。按我的经验调参优先级从高到低是min_samples_leaf max_depth n_estimators max_features。min_samples_leaf 是影响区间质量的第一参数。它直接控制每个叶节点用于经验分布的样本数量。数值偏小分位数抖动剧烈PICP 波动大数值偏大分布被过度平滑区间宽度可能系统性偏窄。一个可行范围是训练样本数的 0.2%~1%比如 3000 条数据从 5 试到 30。max_depth 主要影响复杂非线性和交互表达配合 min_samples_leaf 一起搜最佳。n_estimators 在区间预测中建议不低于 200更多树不会带来质变但有助稳定尾部。max_features 保持默认 1.0 或 0.7~0.8 即可除非特征维度极高。分位数参数的选择要看业务。生产库存用 (0.1, 0.9)80% 区间风险审批用 (0.05, 0.95)更保守设备检修建议用 (0.01, 0.99)宁早勿晚。可以用 sklearn 的 GridSearchCV 搜 min_samples_leaf 和 max_depth但评分函数需要换成 PICP 约束下的区间宽度不能用默认的均方误差。简化的做法是先固定名义分位数做两层网格搜索每轮计算 evaluate_interval保留 PICP 在 [名义-0.02, 名义0.03] 内且 PINAW 最小的一组参数。6. 再进一步分位数校准与另一种实现路线QRFR 的经验分布来自训练样本天生存在一个偏向问题叶节点里的样本与测试样本并不是同一分布训练数据稀疏区域的分位数会系统性偏窄。我现在的做法是在预测后再做一个分位数校准层。常见方案是保序回归isotonic regression校准在验证集上把 QRFR 输出的名义分位数和实际覆盖频率做一个单调映射。比如名义 0.1 分位数的点实际覆盖了 0.15 的下侧比例就校正到 0.15 对应的分位点上去保序回归保证校正曲线单调不会产生倒挂。另一个值得对比的实现路线是 LightGBM 的 objectivequantile。它使用分位数损失直接训练梯度提升树alpha 指定目标分位数。对比来看QRFR 的优势是一次训练同时输出多个分位数而 LightGBM 的 quantile objective 一个模型只能出一个分位数要得到 [0.1, 0.5, 0.9] 需要训练三个模型。QRFR 劣势是树结构由均方误差分裂决定分位数最优性弱于直接优化分位数损失。工程上的取舍很简单OLTP 场景需要快速出区间选 QRFR离线深度调优且只关心单一分位数试试 LightGBM 的 quantile objective。代码层面还有一个增强点样本加权。fit 时可以给训练样本不同权重再把权重存进 leaf_values预测时按权重计算加权分位数。这在处理离群噪声时很管用——给极端 y 值低权重区间宽度收缩显著覆盖率几乎不减。我自己现在做区间预测的习惯是先跑一个默认参数 QRFR 当 baseline第二天看 PICP 和 PINAW再调 min_samples_leaf 和校准层总共不会超过半天。希望帮到你。本文还有配套的精品资源点击获取