mRMR特征选择算法：基于互信息的最大相关最小冗余原理与实战

简介面向机器学习与人工智能方向的学习者这份基于互信息最大相关最小冗余mRMR的特征选择算法资源提供完整源代码、配套文档说明、学习报告和标准数据集可帮助理解特征选择原理与实现细节也适用于课程设计、毕业设计、作业或项目初期演示。压缩包共24个文件大小仅968KB主要包含C源文件6个cpp与6个头文件、MATLAB脚本4个m文件、两个CSV数据集、PDF学习报告、txt说明文档及makefile构建配置结构清晰便于按需查阅。已有145人学习下载代码源自毕业设计且均经运行测试答辩平均分达96分涵盖经典mRMR与快速mRMR两种实现并配有数据读取、特征子集搜索、SVM分类验证等完整流程适合计算机相关专业学生、教师及企业开发者作为特征选择入门、算法对比或二次开发的参考基底。1. 训练好的机器学习模型效果始终上不去先别急着换算法特征选择在机器学习项目里的地位经常被低估。数据整理完、模型搭好后发现验证集分数一直上不去多数人第一反应是换模型或者调超参很少回头审视一件事你喂给模型的特征里有多少是有效信号多少是纯噪声基于互信息的最大相关最小冗余mRMR算法专门处理这个场景。它不假设特征和标签之间是线性关系也不单独看某个特征有多重要而是同时做两件事让选出来的特征和标签相关性尽量大让特征之间彼此的冗余度尽量小。标题里这个项目把算法原理、源代码、文档说明、学习报告和数据集打包在一起正好覆盖了从入门到交付的完整链路适合准备机器学习期末或刚入门的在校生也适合高维特征项目里被维数灾难折磨的一线工程师。这篇文章按我平时做特征筛选的习惯把原理、最小可用代码、数据集验证流程和坑位一次讲透。2. 互信息与最大相关最小冗余给非线性关系记账的原理2.1 皮尔逊相关系数在非线性特征面前失灵做特征筛选时很多人第一反应是看皮尔逊相关系数。它算的是线性相关强度数值落在 -1 到 1 之间计算快、解释直观。但真实项目的特征和标签之间经常不是直线关系比如周期性波动、分段响应、阈值效应这时候皮尔逊系数会给出一个误导性的结果。我见过一个翻车现场某个传感器特征和故障标签存在明显的正弦关系皮尔逊系数算出来接近 0直接把它排到了特征重要性末尾后来改用互信息才发现这个特征是故障诊断的关键信号。import numpy as np from scipy.stats import pearsonr rng np.random.default_rng(42) x rng.uniform(-2, 2, 2000) y np.sin(2 * x) rng.normal(0, 0.15, 2000) print(皮尔逊相关系数:, round(pearsonr(x, y)[0], 3))这段代码在本地跑出来皮尔逊相关系数大约只有 0.01 左右看起来 x 和 y 毫无关系。但从生成逻辑上看y 完全由 x 的三角函数决定只是叠加了一点噪声。皮尔逊线性假设捕捉不到这种依赖而互信息可以。这也是 mRMR 这类基于互信息的方法在实际项目中难以被替代的原因它度量的是“知道一个变量后另一个变量不确定性减少了多少”对线性、非线性、分段关系一视同仁只要你把概率密度估计得足够准。2.2 互信息的定义熵减量才是真正的相关信息互信息的定义来自信息论。先引入熵H(X) 表示随机变量 X 的不确定程度类别分布越均匀熵越大。联合熵 H(X, Y) 表示两个变量共同的不确定性。互信息定义为 I(X; Y) H(X) H(Y) - H(X, Y)也可以理解为 H(X) - H(X|Y)即知道 Y 之后 X 不确定性的减少量。如果 X 和 Y 完全独立互信息为 0如果 Y 能完全决定 X互信息等于 H(X)。用离散数据举例更直观。假设 X 只有 0 和 1 两种取值Y 也如此。统计四类样本数量后得到联合概率表代入公式I Σ p(x, y) * log( p(x, y) / (p(x) * p(y)) )。这里的底数通常取 2信息单位是比特取自然对数时单位是纳特代码里注意保持一致。互信息和相关系数最大的区别在于它度量的是“任意函数关系”带来的信息量而不是某一种函数形式。代价是计算互信息需要估计概率分布对连续特征必须先离散化或使用核密度估计这一步做不好后面全部白搭。2.3 从单个特征到特征子集mRMR 的筛选规则单特征互信息只能做过滤排序不能直接组合成特征子集。两个特征各自和标签的互信息都很高时它们之间的信息重叠也可能很高一起放进模型里属于重复建设。mRMR 的设计目标就是在相关性和冗余度之间做一个显式的均衡。最大相关性让选中的特征子集 S 与标签 y 的互信息总和尽量大简化写法是每个特征和 y 的互信息直接相加。最小冗余度让 S 内两两特征之间的互信息尽量小常见做法是取平均值。两部分合起来得到每个候选特征的得分score I(x_i, y) - (1 / |S|) * Σ I(x_i, x_j)其中 j 遍历已选特征。这个变体叫 MID互信息差值。还有另一种变体 MIQ把减法改成除法score I(x_i, y) / (平均冗余度 极小常数)对冗余度的惩罚方式更激进。搜索完整特征子集是 NP 难问题所以 mRMR 用前向贪心策略先选与标签互信息最大的特征之后每一轮从剩余候选里挑得分最高者加入直到达到预设的特征数量。贪心不保证全局最优但实际项目中性价比非常高尤其特征是几百上千维的时候这是它能在 filter 型特征选择方法里长期占据一席之地的原因。filter 方法不依赖具体模型计算一次可以反复用在不同分类器上和包装器、嵌入式的定位完全不同。3. 手写 mRMR离散化、互信息矩阵与前向贪心选择的实现3.1 离散化与互信息先有计数再有信息量标题里的源代码如果是教学向通常不会直接用复杂的核密度估计而是走“分箱直方图”路线把连续特征切成若干区间用离散整数编码代替原始值再统计联合频数。这种做法虽然损失一点精度但代码透明、结果可复现非常适合理解算法本身。import numpy as np def discretize(X, bins10): # 分位数离散化把连续值映射成 0 ~ bins-1 的整数编码 edges np.percentile(X, np.linspace(0, 100, bins 1)) edges np.unique(edges) # 去掉重复分位点避免 digitize 报错 return np.digitize(X, edges[1:-1]) def mutual_info(x, y, base2): # x, y 都是离散整数编码用联合直方图估计概率 hist np.histogram2d(x, y, bins(int(x.max()) 1, int(y.max()) 1))[0] pxy hist / hist.sum() mi 0.0 for i in range(pxy.shape[0]): for j in range(pxy.shape[1]): p pxy[i, j] if p 1e-12: px pxy[i, :].sum() py pxy[:, j].sum() mi p * np.log(p / (px * py)) / np.log(base) return midiscretize 函数里 np.percentile 生成 bins1 个分位点然后用 np.digitize 把原始值落到区间编号上。这里特意做了 np.unique因为数据里大量重复值会让分位点重样直接传给 digitize 会报错。mutual_info 用 np.histogram2d 得到二维联合频数归一化后就是联合概率 p(x, y)再按互信息公式累加。base 参数控制对数底数教学演示用 base2结果单位是比特报告里也容易解释。这个实现有个明显短板双重 for 循环在特征数量大时很慢。真实项目的特征维数一上来必须做向量化或改用现成实现。后面会讲性能边界。3.2 mRMR 主循环相关减冗余的贪心实现有了 mutual_infomRMR 的主循环就简单了。核心思路分三步先算每个特征与标签的互信息作为相关性分再预计算特征两两之间的互信息矩阵作为冗余度分最后从空集开始每轮挑一个“相关性最高且与已选特征冗余度最低”的特征加入。def mrmr(X_disc, y, k10, variantmid): n X_disc.shape[1] # 1. 每个特征与标签的互信息 relevancy np.array([mutual_info(X_disc[:, i], y) for i in range(n)]) # 2. 特征两两之间的互信息矩阵对称矩阵只算一遍 redundancy np.zeros((n, n)) for i in range(n): for j in range(i 1, n): v mutual_info(X_disc[:, i], X_disc[:, j]) redundancy[i, j] redundancy[j, i] v # 3. 前向贪心选择 selected [] candidates list(range(n)) first int(np.argmax(relevancy)) # 第一个特征取与标签相关性最高者 selected.append(first) candidates.remove(first) while len(selected) k and candidates: best_i, best_score -1, -np.inf for i in candidates: # 与已选特征的平均冗余度 avg_red np.mean([redundancy[i, j] for j in selected]) if variant mid: score relevancy[i] - avg_red else: # miq score relevancy[i] / (avg_red 1e-8) if score best_score: best_score, best_i score, i selected.append(best_i) candidates.remove(best_i) return selected这段代码里的 k 是最终要选出的特征个数由你根据自己的需求定特征总数少就选一半左右总数上千时可以先选 20 到 50 个再交给后续模型验证。variant 参数切换 MID 和 MIQ 两种变体。MIQ 里的 1e-8 是防止平均冗余度为 0 时除零这个常数不需要太大只是数值保护的兜底。整个过程最耗时的部分是第 2 步的冗余矩阵预计算它对 n 个特征做 n*(n-1)/2 次互信息计算时间复杂度 O(n²)。第 3 步贪心循环虽然要跑 k 轮每轮遍历剩余候选但冗余度直接从矩阵里查表偏移实际开销远小于预计算阶段。3.3 复杂度控制与向量化边界手写版本在特征几百维内够用到几千维就开始吃力到几万维基本跑不动。几个常见的优化手段第一相关性分那一行可以直接换成 sklearn 的 mutual_info_classif它用基于 k 近邻的 KSG 估计器对连续特征不用先离散化单特征计算速度比纯 Python 循环快一个量级。第二特征间冗余矩阵仍然是瓶颈这块可以用 numpy 分块计算或者用 numba 把 mutual_info 里的大循环 JIT 编译掉。第三如果特征实在太多先做一轮快速过滤比如只保留与标签互信息排名前 200 的特征再跑 mRMR这是工程上常见的两段式做法。生产环境里更常见的做法是直接调用 C 语言实现的现成扩展而不是自己维护纯 Python 版本。自己写代码的价值在于调参时心里有底离散化桶数改成多少、MIQ 比 MID 激进多少、第一个特征的选择对后续结果影响多大这些细节你都得亲眼看到才能判断。标题里的源代码如果只追求能跑用我上面这段就够了如果想追求速度得考虑向量化或者换底层实现。4. 用公开数据集把 mRMR 跑通预处理、参数与模型收益4.1 数据集怎么选连续、离散、多分类都要覆盖标题里带了数据集你打开项目包先别急着跑花十分钟看一下数据结构。常见做法是选 UCI 的经典数据集做验证比如 Wine13 个连续特征、3 类标签、Breast Cancer Wisconsin30 个特征、2 类标签、Ionosphere34 个特征、2 类标签。这些数据量小、特征维度适中很适合用来确认算法实现没有低级错误。如果包里的数据集是自定义的也先按同样的思路检查特征类型、缺失值、类别分布三个点确认完再动手。我的习惯是同时准备一个连续特征为主的数据集和一个离散特征为主的数据集因为 mRMR 对特征的度量方式没有偏好但离散化参数对连续特征高度敏感对不同数据特性要做差异化处理。多分类数据集比二分类更能暴露贪心选择的问题因为类别之间的信息分布更复杂。4.2 预处理与完整脚本从原始数据到交叉验证分数下面这段脚本把前面的算法函数和模型验证串成一条完整链路。为了演示方便用 sklearn 内置的 Wine 数据集实际换成 CSV 后逻辑不变。注意离散化只对连续特征做标签保持原始整数编码。import numpy as np from sklearn.datasets import load_wine from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline # 复用第 3 章的 discretize / mutual_info / mrmr # 实际项目中把算法函数单独放进 mrmr.py再 import 进来 from mrmr import discretize, mrmr data load_wine() X, y data.data, data.target # 每个连续特征单独离散化到 10 个桶 X_disc np.zeros_like(X) for i in range(X.shape[1]): X_disc[:, i] discretize(X[:, i], bins10) # mRMR 选出前 8 个特征 selected mrmr(X_disc, y, k8, variantmid) print(mRMR 特征索引:, selected) print(对应特征名:, [data.feature_names[i] for i in selected]) # 用逻辑回归做 5 折交叉验证对比 cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) def score_cols(cols): model make_pipeline(StandardScaler(), LogisticRegression(max_iter2000)) return cross_val_score(model, X[:, cols], y, cvcv).mean() print(全特征 CV:, round(score_cols(list(range(X.shape[1]))), 4)) print(mRMR 前 4 特征 CV:, round(score_cols(selected[:4]), 4)) print(mRMR 前 8 特征 CV:, round(score_cols(selected), 4))脚本里最需要留意的细节是 mRMR 输入的 X_disc 和模型验证用的 X 不是同一份离散化只服务于互信息计算模型训练仍然用原始连续值。如果你直接用离散化后的特征去训练逻辑回归会丢掉一部分数值信息导致对比不公平。标准化放进 make_pipeline 里也很有必要逻辑回归对特征尺度敏感。参数方面bins10 是教学和验证场景的保守选择。桶数太少会损失信息桶数太多会让联合直方图稀疏、概率估计噪声大10 到 20 之间通常表现尚可。k8 的选择依据是 Wine 总共 13 个特征选一半多一点作为子集既能看出效果又不至于把特征全选完。逻辑回归的 max_iter 调到 2000 是为了避免 Wine 数据上特征标准化前收敛警告属于顺手防坑。4.3 怎么判断选出的特征组合值不值得用不要只看 mRMR 自己打出的分数那是特征子集内部排序的指标不代表模型效果。真正的验收标准是下游模型的性能变化。我在本地跑这类实验时一般会做四组对比全特征、mRMR 选出的前一半特征、mRMR 选出的全部指定数量特征、以及随机选同样数量特征的基线。随机基线特别重要它能告诉你性能提升到底是来自特征选择还是仅仅因为降维减少了过拟合。另一个观察维度是特征名本身。Wine 这类数据集的特征都有实际含义mRMR 选出的特征应该覆盖不同维度而不是集中在某几个高度相关的原始变量上。如果选出的前几个特征全是同一个原始变量的不同变换说明离散化或者冗余惩罚出了问题。最后把交叉验证分数的均值和方差一起记录下来单看均值容易被某个随机种子骗过去我跑这类实验时固定了 random_state42确保每次结果可比。5. mRMR 避坑指南连续特征、桶数与贪心的几个翻车现场5.1 现象连续特征直接算 MI结果全是 0 或 NaN新手最容易翻车的点把原始连续特征直接丢进按离散编码设计的 mutual_info 函数。np.histogram2d 拿几十万个互不重复的连续值做联合直方图每个格子里的样本数基本都是 1 或者 0互信息累加出来要么接近 0要么因为空桶产生 NaN。原因互信息需要先估计联合概率分布连续值不分组就无法形成稳定频数。解决先调用 discretize 做分位数离散化。注意离散化要在训练集上做避免数据泄露测试集用同一组分位点映射。工程项目里我会把分位点存下来预测时对新样本做相同变换。5.2 现象改一下桶数选出的特征完全变了同一个数据集bins 从 10 改成 30mRMR 选出来的特征子集发生较大变化。这不是算法随机性而是离散化粒度改变了互信息的数值分布进而改变特征排序。互信息对分箱方式很敏感分位数分箱和等宽分箱的结果都会不一样。原因桶数增加后联合概率分布更稀疏边缘概率被摊薄高基数特征更容易拿到虚高的互信息。解决固定一个合理的桶数并且全程保持一致。我的建议是先做实验桶数在 10 到 20 之间各跑一遍选出结果相对一致的范围如果结果对桶数极端敏感说明特征本身信号很弱需要回到数据层面看特征是否有问题不要硬调桶数掩盖。5.3 现象高基数特征虚高把好特征挤下去某个特征的取值几乎每个样本都不一样它和标签的互信息算出来偏高排进前列但下游模型验证表现很差。这是互信息的一个系统性偏差超高基数的特征有更大的概率在联合直方图里产生虚假的高相关性。原因直方图估计在高维稀疏空间里会高估互信息尤其是连续特征离散化后桶数接近样本数时。解决用对称不确定性 SU 对互信息做归一化即 SU 2 * I(X; Y) / (H(X) H(Y))。SU 把结果压到 0 到 1 之间对基数不同的特征有了可比性很多生产级的 mRMR 实现默认就用 SU 替代原始 MI。手写版本里可以直接在离散编码上算熵再套这个公式。5.4 现象贪心结果像“近视眼”互补特征组选不出来mRMR 是前向贪心第一个特征选了相关性最高的后续特征只在剩余候选里挑一旦某个特征前期被低分排除后续不再有机会翻盘。实际中经常遇到两个特征单独看都很弱、组合起来却很强的互补情况贪心算法会漏掉这种组合。原因mRMR 不搜索特征子集的组合空间它对每个候选特征只考虑与已选集合的关系。解决不要迷信单次 mRMR 结果把 k 调大一点多保留一些特征进入下游模型让线性模型或树模型去做二次筛选。或者在 mRMR 之后接一层 wrapper 方法精调那次精调只在十几二十个特征上做计算成本可以接受。5.5 现象拿 sklearn 的 mutual_info_classif 当 mRMR 用网上不少帖子把 mutual_info_classif 的输出直接 top-k然后说是 mRMR。这是概念混淆。mutual_info_classif 只计算每个特征和标签的互信息完全不考虑特征之间的冗余度它做的是单变量过滤不是 mRMR。标题里的源代码如果是教你用这个函数糊弄过去学习报告里很容易被答辩老师问穿。原因两个方法共享“互信息”这个词汇很容易让人误以为等价。解决mRMR 必须包含冗余惩罚项也就是我第 3 章写的那个循环。如果图省事用 sklearn至少要自己补一段已选特征与候选特征的平均互信息惩罚逻辑。标题里的“最大相关最小冗余”六个字重点在“最小冗余”这一点丢掉了整个算法就名存实亡。6. 把特征选择做成可交付的实验报告结构、复现验证与最后一公里的选择6.1 复现验证bootstrap 里看特征被选中的频次单次 mRMR 选出来的特征子集可能对数据扰动敏感。我一般会做一轮 bootstrap 验证对样本做有放回重采样重复跑 50 到 100 次 mRMR统计每个特征被选进前 k 名的次数占比。占比高的特征是数据里确实有信号的部分占比忽高忽低的特征说明它和别的特征存在较强的冗余竞争关系。def bootstrap_mrmr(X_disc, y, k8, n_iter50, seed42): n_samples X_disc.shape[0] count np.zeros(X_disc.shape[1]) rng np.random.default_rng(seed) for _ in range(n_iter): idx rng.integers(0, n_samples, n_samples) sel mrmr(X_disc[idx], y[idx], kk, variantmid) count[sel] 1 return count / n_iter把这段代码的结果画成柱状图放进学习报告里比一张特征重要性表更有说服力。它回答了一个评审人最爱问的问题你选出来的这 k 个特征是数据里稳健存在的信号还是某一次划分的意外6.2 报告与文档一份经得起追问的学习报告怎么写标题里的文档说明和学习报告不是摆设我看过太多代码跑得通、报告写得空洞的作业。一份合格的学习报告至少要回答四个问题为什么选 mRMR、代码里每一步在算什么、实验里参数怎么定、结果说明了什么。文档说明则应该给出环境依赖、文件组织方式和复现步骤让一个没看过原始上下文的人也能把你的实验跑出来。报告里放一张对比表就够了不需要堆术语全特征分数、mRMR 子集分数、随机子集分数、运行时间。特征选择的意义就在这个表里用三分之一的特征保住甚至提升模型性能同时把训练时间降下来这才是让别人投入这个方向的原因。6.3 最后一公里特征选择不是终点我做了几年特征工程最大的教训是任何 filter 方法给出的结论都只是起点不是终点。mRMR 帮你把候选范围从几百维缩到几十维接下来要做的还是拿真实模型去验证看特征在业务场景里是否可解释、是否稳定采集、是否引入数据泄露。把 mRMR 当成黑匣子直接输出最终特征的基本都在上线后吃过亏。希望这篇笔记帮你在复现和改造这个 mRMR 项目时少踩几个坑。代码能跑只是第一步能说出每个参数为什么这样设才真正值回票价。本文还有配套的精品资源点击获取