贝叶斯决策与SVM核技巧：模式识别中的决策面构建原理

简介本资源是西安电子科技大学XDU《模式识别》课程期末复习专用知识点串联笔记面向人工智能、智能科学与技术等专业本科生聚焦考前系统梳理与重点突破。内容覆盖贝叶斯决策理论、判别函数与决策面设计、正态分布下的统计分类、线性与非线性判别方法含Fisher判别、感知机、广义线性判别、KNN、决策树、无监督学习高斯混合模型、EM算法、K-means、FCM、层次聚类及特征选择Filter/Wrapper策略、可分性判据与搜索算法等核心模块并配有典型例题与公式推导过程逻辑清晰、考点明确。资源为1个PDF文件结构完整、排版紧凑大小仅1.4MB便于移动设备查阅与打印背诵。目前已有713人学习下载适合作为期末冲刺的高效提纲式复习材料帮助学生快速建立知识框架、厘清算法思想与适用边界。1. 这不是笔记是西电模式识别期末前的“决策面”校准指南把零散公式串成可推演的决策链你翻过三遍贝叶斯公式却在考场上卡在「最小风险决策」的损失矩阵填空你默写了五遍LDA的类间散度推导但看到EM算法E步里那个带隐变量的对数似然期望手突然就悬在半空——这不是记不住是知识点之间缺了一条能踩实的决策面。这份《XDU模式识别期末知识点串联》不是传统复习提纲它是一份面向考试实战的决策逻辑链重建方案从贝叶斯决策的“为什么选这个动作”到SVM核函数的“为什么非得映射”再到FCM隶属度更新的“为什么必须迭代”全部用可复现的数学动作而非概念描述锚定。它专为西电模式识别课设计覆盖2022–2024年真题高频模块贝叶斯决策、LDA/Fisher、EM/GMM、K-means/FCM、SVM核技巧、特征选择判据所有推导保留关键中间步骤比如拉格朗日乘子法如何消去约束、EM中Q函数怎么写出显式表达式所有算法附带可运行验证逻辑非完整代码而是核心公式到数值计算的映射。如果你正在为“知道定义但不会解题”、“会算但总错符号”、“背了公式却连不上题干条件”而焦虑这份资源就是你最后72小时的决策面校准器。2. 贝叶斯决策从公式抄写到风险-错误率双目标可调的决策引擎贝叶斯理论不是一堆要背的等式它是整个模式识别课程的决策操作系统内核。期末考卷上90%的决策类题目本质都是在考你能否把题干条件翻译成贝叶斯框架下的三个输入先验概率 $P(\omega_i)$、类条件概率密度 $p(x|\omega_i)$、以及——最容易被忽略的——损失函数 $\lambda(\alpha_i|\omega_j)$。本章不重复推导贝叶斯公式而是聚焦如何把纸面公式变成可调试的决策引擎。2.1 最小错误率决策先验与似然的“加权投票”机制最小错误率贝叶斯决策的核心是后验概率最大化$$ \text{choose } \omega_i \text{ if } P(\omega_i|x) \frac{p(x|\omega_i)P(\omega_i)}{p(x)} \text{ is maximal} $$由于分母 $p(x)$ 对所有类别相同实际比较的是分子 $p(x|\omega_i)P(\omega_i)$。这就是“加权投票”似然 $p(x|\omega_i)$ 是数据证据强度先验 $P(\omega_i)$ 是历史经验权重。提示西电真题常考“先验变化对决策面影响”。例如当 $P(\omega_1)0.9$ 时即使 $p(x|\omega_2) p(x|\omega_1)$只要 $p(x|\omega_2) \times 0.1 p(x|\omega_1) \times 0.9$仍判为 $\omega_1$。决策面位置由先验比值 $\frac{P(\omega_1)}{P(\omega_2)}$ 直接平移。2.2 最小风险决策引入损失矩阵的“代价敏感”升级版最小风险决策在最小错误率基础上增加一层现实约束不同错误代价不同。损失矩阵 $\Lambda$ 定义 $\lambda(\alpha_i|\omega_j)$ 为“真实为 $\omega_j$ 却判为 $\alpha_i$”的损失。决策规则变为$$ \text{choose } \alpha_i \text{ minimizing } R(\alpha_i|x) \sum_{j1}^c \lambda(\alpha_i|\omega_j) P(\omega_j|x) $$其中 $R(\alpha_i|x)$ 是采取行动 $\alpha_i$ 的条件风险。真题验证逻辑手算级假设二分类问题损失矩阵为$$ \Lambda \begin{bmatrix} 0 3 \ 2 0 \end{bmatrix} $$即将 $\omega_1$ 误判为 $\omega_2$ 损失3将 $\omega_2$ 误判为 $\omega_1$ 损失2。先验 $P(\omega_1)0.6, P(\omega_2)0.4$类条件密度 $p(x|\omega_1)0.8, p(x|\omega_2)0.5$。计算后验$P(\omega_1|x) \propto 0.8 \times 0.6 0.48$, $P(\omega_2|x) \propto 0.5 \times 0.4 0.20$ → 归一化后 $P(\omega_1|x)0.706, P(\omega_2|x)0.294$计算风险$R(\alpha_1|x) 0 \times 0.706 2 \times 0.294 0.588$, $R(\alpha_2|x) 3 \times 0.706 0 \times 0.294 2.118$选风险小者$\alpha_1$判为 $\omega_1$关键参数说明损失矩阵的非对角元直接决定决策面偏移方向。若 $\lambda(\alpha_2|\omega_1) \gg \lambda(\alpha_1|\omega_2)$系统会极度保守宁可多判 $\omega_1$ 也不愿错判 $\omega_1$ 为 $\omega_2$。2.3 正态分布下的决策面协方差矩阵如何“掰弯”超平面当 $p(x|\omega_i) \sim \mathcal{N}(\mu_i, \Sigma_i)$ 时决策面由判别函数 $g_i(x) \ln p(x|\omega_i) \ln P(\omega_i)$ 决定。西电考题必考三种协方差情形协方差假设判别函数形式决策面几何形态西电真题陷阱点$\Sigma_1 \Sigma_2 \Sigma$$g_i(x) -\frac{1}{2}(x-\mu_i)^T\Sigma^{-1}(x-\mu_i) \ln P(\omega_i)$二次项抵消 →线性超平面忽略先验项 $\ln P(\omega_i)$ 导致截距错$\Sigma_1 \neq \Sigma_2$保留完整二次项 → $g_i(x) x^T W_i x w_i^T x w_{i0}$二次曲面椭球、抛物面误以为总是线性未展开 $x^T\Sigma_i^{-1}x$ 项$\Sigma_i \sigma^2 I$简化为欧氏距离加权 → $g_i(x) -|x-\mu_i|^2 2\ln P(\omega_i)$超球面混淆马氏距离与欧氏距离漏掉 $\sigma^2$ 缩放可复现验证Python伪代码import numpy as np # 给定参数西电某年真题数据 mu1 np.array([1, 2]) mu2 np.array([3, 1]) Sigma np.array([[2, 0.5], [0.5, 1]]) # 同协方差 P1, P2 0.7, 0.3 # 计算线性判别函数系数推导自 g1-g20 inv_Sigma np.linalg.inv(Sigma) w inv_Sigma (mu1 - mu2) w0 -0.5 * (mu1.T inv_Sigma mu1 - mu2.T inv_Sigma mu2) np.log(P1/P2) # 验证点 x[2,1.5] 的决策 x np.array([2, 1.5]) g_diff w.T x w0 print(fg1-g2 {g_diff:.3f} → {ω1 if g_diff 0 else ω2}) # 输出: ω2逻辑说明此代码直接实现西电考题中“求决策面方程并代入验证”的全流程。w和w0即决策面 $w^T x w_0 0$ 的法向量与截距g_diff符号决定类别。参数P1/P2控制截距偏移——这正是最小风险决策中损失矩阵的映射入口。2.4 避坑贝叶斯决策四大血泪现场现象 → 原因 → 解决现象计算后验概率时结果大于1或为负。原因混淆了 $p(x|\omega_i)$概率密度可1与 $P(x|\omega_i)$概率≤1或未归一化分母 $p(x)\sum_j p(x|\omega_j)P(\omega_j)$。解决密度函数值无量纲限制但后验必须满足 $\sum_i P(\omega_i|x)1$。务必先算各分子 $p(x|\omega_i)P(\omega_i)$再求和得 $p(x)$最后除得后验。现象最小风险决策选错动作但最小错误率决策正确。原因损失矩阵填反如 $\lambda(\alpha_1|\omega_2)$ 填到 $\lambda(\alpha_2|\omega_1)$ 位置或风险计算时未按行展开应固定 $\alpha_i$对 $\omega_j$ 求和。解决画2×2矩阵框行标 $\alpha_i$决策列标 $\omega_j$真实严格按“行风险行内加权和”计算。现象正态分布下决策面方程推导出二次项但题目明确说“线性可分”。原因未检查协方差是否相等。题干中“各类协方差矩阵相同”或“共享协方差”是线性决策面的前提否则必为二次。解决看到正态分布第一反应查协方差条件。西电真题常以“设 $\Sigma_1\Sigma_2$”隐含给出。现象代入测试点到决策面方程符号判断与预期相反。原因判别函数定义不一致。有的教材定义 $g_i(x)$有的定义 $d_i(x)$且决策规则可能是“max $g_i$”或“$g_1g_2$ 则 $\omega_1$”。解决统一采用 $g_i(x) \ln[p(x|\omega_i)P(\omega_i)]$决策为 $\arg\max_i g_i(x)$。验证时直接比 $g_1$ 与 $g_2$ 大小勿依赖方程 $g_1-g_20$ 的符号约定。3. Fisher线性判别与感知机从“投影找面”到“迭代调参”的两类决策面生成范式Fisher判别LDA和感知机代表模式识别中两种根本不同的决策面生成哲学前者是解析解——通过类内/类间散度比最大化一步求出最优投影方向后者是迭代解——从随机初值出发用梯度下降逐步修正权重直到数据线性可分。西电期末考题常将二者对比考查本章直击其数学内核与实操边界。3.1 Fisher判别最大化类间离散度与类内离散度之比Fisher准则的目标是找到投影方向 $w$使投影后样本满足类间距离大、类内散布小。其核心是散度矩阵类内散度矩阵$S_w \sum_{i1}^c \sum_{x \in \omega_i} (x - \mu_i)(x - \mu_i)^T$类间散度矩阵$S_b \sum_{i1}^c N_i (\mu_i - \mu)(\mu_i - \mu)^T$其中 $\mu_i$ 为第 $i$ 类均值$\mu$ 为全局均值$N_i$ 为第 $i$ 类样本数。Fisher准则函数为$$ J(w) \frac{w^T S_b w}{w^T S_w w} $$最大化 $J(w)$ 的解为广义特征值问题$$ S_b w \lambda S_w w $$当两类问题时有闭式解$$ w \propto S_w^{-1} (\mu_1 - \mu_2) $$西电真题关键参数$S_w$ 的计算必须用各自类内均值$\mu_i$不可用全局均值替代$S_b$ 中的 $\mu_i - \mu$ 是类均值偏离全局均值的向量体现类分离趋势投影后决策面为 $w^T x w^T \mu_0$其中 $\mu_0 \frac{1}{2}(\mu_1 \mu_2)$等先验假设下。3.2 感知机算法误分类驱动的权重迭代更新感知机是典型的在线学习算法其决策面 $w^T x b 0$ 通过误分类样本不断修正。原始感知机无余量更新规则$$ \text{if } y_i (w^T x_i b) \leq 0 \text{ (误分类)}, \quad \text{then } w \leftarrow w \eta y_i x_i, ; b \leftarrow b \eta y_i $$其中 $y_i \in {-1, 1}$ 为标签$\eta$ 为学习率。三种梯度下降变体在西电考题中的定位方法更新粒度收敛性西电考点BGD批量全体样本梯度平均稳定收敛但慢考“梯度表达式推导”如 $\nabla_w J(w) -\sum_{i \in M} y_i x_i$SGD随机单个误分样本梯度收敛快路径抖动考“单步更新计算”给定初值和第一个误分样本求新 $w$MBGD小批量$k$ 个样本梯度均值平衡速度与稳定性考“批大小对收敛的影响”如 $k1$ 退化为SGD可复现验证手动演算设二维数据$\omega_1: x_1(1,2), y_11$$\omega_2: x_2(2,1), y_2-1$。初值 $w^{(0)}(0,0), b^{(0)}0, \eta1$。Step1: $y_1(w^{(0)T}x_1 b^{(0)}) 1 \times 0 0 \leq 0$ → 误分更新$w^{(1)} (0,0) 1 \times (1) \times (1,2) (1,2), b^{(1)} 0 1 \times (1) 1$Step2: $y_2(w^{(1)T}x_2 b^{(1)}) -1 \times [(1,2)\cdot(2,1) 1] -1 \times (221) -5 0$ → 误分更新$w^{(2)} (1,2) 1 \times (-1) \times (2,1) (-1,1), b^{(2)} 1 1 \times (-1) 0$验证$y_1(w^{(2)T}x_1 b^{(2)}) 1 \times [(-1,1)\cdot(1,2) 0] 1 \times (-12) 1 0$$y_2(w^{(2)T}x_2 b^{(2)}) -1 \times [(-1,1)\cdot(2,1) 0] -1 \times (-21) 1 0$ → 全部正确逻辑说明此演算完全复现西电“感知机单步更新”题型。关键在理解 $y_i$ 的符号作用它自动将更新方向对齐正确分类$y_i1$ 时加 $x_i$$y_i-1$ 时减 $x_i$。余量 $\rho$ 的引入即要求 $y_i(w^T x_i b) \geq \rho$仅改变阈值不改变更新形式。3.3 广义线性判别用“升维”破解线性不可分当原始空间线性不可分时广义线性判别通过非线性映射 $\phi(x)$ 将数据投射到高维空间在那里寻找线性决策面。其核心是决策函数仍为线性形式 $g(x) w^T \phi(x) b$但 $\phi(x)$ 引入高次项。西电真题典型映射与对应决策面原始特征 $x[x_1,x_2]$映射 $\phi(x)$决策面在原始空间形态$[x_1, x_2, x_1^2, x_2^2, x_1 x_2]$二次多项式二次曲线椭圆、双曲线$[x_1, x_2, \sin(x_1), \cos(x_2)]$三角函数周期性振荡边界$[x_1, x_2, e^{x_1}, \log(x_21)]$参数说明映射维度 $d$ 决定模型复杂度。西电考题常问“若 $\phi(x)$ 为 $d$ 维则决策面自由度是多少”——答案是 $d1$$w$ 的 $d$ 个分量 截距 $b$。过度升维导致过拟合需配合正则化如岭回归。3.4 避坑Fisher与感知机的五大认知断层现象 → 原因 → 解决现象Fisher判别求出的 $w$ 代入后两类投影均值重叠未实现“类间最开”。原因混淆了 $S_w$ 与 $S_b$ 的物理意义。$S_w$ 是类内离散度越小越好$S_b$ 是类间离散度越大越好。但 $J(w)w^T S_b w / w^T S_w w$ 的最大值点不保证 $w^T S_b w$ 绝对最大只保证比值最大。解决投影后类间距离为 $|w^T \mu_1 - w^T \mu_2|$类内散布为 $w^T S_w w$。Fisher优化的是二者比值非距离本身。验证时必算比值 $J(w)$而非仅看距离。现象感知机迭代多次仍不收敛怀疑算法失效。原因数据线性不可分如异或问题或学习率 $\eta$ 过大导致震荡。西电真题常设“数据含噪声”陷阱。解决先用Fisher或SVM验证线性可分性若不可分改用软间隔SVM或核方法。$\eta$ 应取 $0.01\sim0.1$过大时观察 $w$ 是否在两点间反复跳跃。现象广义线性判别中$\phi(x)$ 维度爆炸无法存储 $w$。原因未意识到核技巧Kernel Trick的存在。SVM的核函数 $K(x_i,x_j)\phi(x_i)^T \phi(x_j)$ 避免显式计算高维 $\phi$。解决西电SVM章节必考核函数性质。牢记只要 $K$ 是对称正定矩阵就存在对应 $\phi$。无需构造 $\phi$只需用 $K$ 计算。现象Fisher判别中$S_w$ 奇异不可逆无法计算 $S_w^{-1} (\mu_1 - \mu_2)$。原因样本数少于特征维数或存在冗余特征如 $x_1x_2$。西电实验课常见。解决用伪逆 $S_w^$ 替代或添加正则项 $S_w \gamma I$$\gamma10^{-3}$。真题中常提示“加入小扰动”。现象感知机更新后原本正确的样本变错误。原因单样本更新破坏全局平衡。这是SGD固有特性非错误。解决接受“局部修正”本质。西电考题若问“为何不保证单调收敛”答因每次仅用一个样本梯度不反映整体损失曲面。4. 无监督学习从“无标签迷雾”中提炼结构的三把钥匙GMM-EM、K-means、FCM无监督学习是模式识别中最易被轻视的模块但西电期末考卷中GMM-EM、K-means、FCM 三者常以“对比分析”题型压轴出现。它们表面都是聚类内核却截然不同K-means 是硬划分的质心迭代FCM 是软划分的隶属度优化GMM-EM 是概率生成模型的最大似然估计。本章用同一组数据演示三者如何从不同视角解构“无标签迷雾”。4.1 高斯混合模型GMM与EM算法概率生成视角的聚类GMM假设数据由 $K$ 个高斯分布加权混合生成$$ p(x) \sum_{k1}^K \pi_k \mathcal{N}(x|\mu_k, \Sigma_k) $$其中 $\pi_k$ 为第 $k$ 个成分的权重$\sum_k \pi_k 1$。EM算法用于估计未知参数 $\theta {\pi_k, \mu_k, \Sigma_k}$。EM两步详解西电必考推导E步Expectation计算隐变量成分归属的后验概率也称责任 $r_{ik}$$$ r_{ik} P(z_ik|x_i,\theta^{(t)}) \frac{\pi_k^{(t)} \mathcal{N}(x_i|\mu_k^{(t)}, \Sigma_k^{(t)})}{\sum_{j1}^K \pi_j^{(t)} \mathcal{N}(x_i|\mu_j^{(t)}, \Sigma_j^{(t)})} $$M步Maximization最大化Q函数E步得到的期望对数似然更新参数$$ \pi_k^{(t1)} \frac{1}{N} \sum_{i1}^N r_{ik}, \quad \mu_k^{(t1)} \frac{\sum_{i1}^N r_{ik} x_i}{\sum_{i1}^N r_{ik}}, \quad \Sigma_k^{(t1)} \frac{\sum_{i1}^N r_{ik} (x_i - \mu_k^{(t1)})(x_i - \mu_k^{(t1)})^T}{\sum_{i1}^N r_{ik}} $$西电真题参数说明$r_{ik}$ 是软分配$0r_{ik}1$且 $\sum_k r_{ik}1$M步中 $\pi_k$ 是第 $k$ 类责任占比$\mu_k$ 是责任加权均值$\Sigma_k$ 是责任加权协方差初始值敏感常设 $\mu_k$ 为K-means结果$\pi_k1/K$$\Sigma_k$ 为全局协方差。4.2 K-means硬划分的质心迭代K-means是GMM的特例当 $\Sigma_k \sigma^2 I$ 且 $\sigma \to 0$ 时$r_{ik} \to 0$ 或 $1$。其步骤为初始化 $K$ 个质心 $\mu_k$分配步将每个点 $x_i$ 分配给最近质心$z_i \arg\min_k |x_i - \mu_k|^2$更新步重新计算质心 $\mu_k \frac{1}{|C_k|} \sum_{i \in C_k} x_i$其中 $C_k$ 为分配给 $k$ 的点集重复2-3直至收敛。与GMM-EM的关键差异西电对比题核心维度K-meansGMM-EM分配方式硬分配$z_i$ 为确定整数软分配$r_{ik}$ 为概率质心更新简单算术平均责任加权平均协方差建模隐含各向同性球形显式学习各向异性椭球目标函数最小化平方误差 $\sum_i \min_k |x_i - \mu_k|^2$最大化对数似然 $\sum_i \ln \sum_k \pi_k \mathcal{N}(x_i4.3 FCM模糊C-means隶属度驱动的软聚类FCM引入隶属度 $u_{ik} \in [0,1]$ 表示 $x_i$ 属于第 $k$ 类的程度满足 $\sum_k u_{ik} 1$。目标函数为$$ J_m \sum_{i1}^N \sum_{k1}^K u_{ik}^m |x_i - \mu_k|^2 $$其中 $m 1$ 为模糊指数西电常取 $m2$。迭代更新规则西电必考公式隶属度更新$$ u_{ik} \frac{1}{\sum_{j1}^K \left( \frac{|x_i - \mu_k|}{|x_i - \mu_j|} \right)^{\frac{2}{m-1}} } $$质心更新$$ \mu_k \frac{\sum_{i1}^N u_{ik}^m x_i}{\sum_{i1}^N u_{ik}^m} $$参数说明$m$ 控制模糊度$m \to 1$ 时 $u_{ik} \to$ 硬分配$m \to \infty$ 时 $u_{ik} \to 1/K$完全模糊分母中距离比的幂次 $\frac{2}{m-1}$ 是FCM核心西电真题常考 $m2$ 时的简化形式$u_{ik} \frac{1}{\sum_j (|x_i - \mu_k| / |x_i - \mu_j|)^2}$收敛判据为隶属度变化小于阈值如 $\max_{i,k} |u_{ik}^{(t1)} - u_{ik}^{(t)}| 0.001$。4.4 避坑无监督学习的六大落地雷区现象 → 原因 → 解决现象GMM-EM算法迭代后对数似然下降。原因E步计算 $r_{ik}$ 时发生数值下溢高斯密度极小导致分母为0或NaN。西电大数据集常见。解决在计算 $\mathcal{N}(x_i|\mu_k,\Sigma_k)$ 前先计算对数密度 $\ln \mathcal{N} -\frac{1}{2}(x_i-\mu_k)^T \Sigma_k^{-1} (x_i-\mu_k) - \frac{1}{2}\ln|\Sigma_k| - \frac{D}{2}\ln(2\pi)$再用log-sum-exp技巧$r_{ik} \exp{ \ln \pi_k \ln \mathcal{N}_k - \ln \sum_j \exp(\ln \pi_j \ln \mathcal{N}_j) }$。现象K-means聚类结果随初始化剧烈波动甚至出现空簇。原因随机初始化质心易陷局部极小空簇因无点分配导致 $\mu_k$ 无法更新。解决用K-means初始化西电实验标准首质心随机后续质心按与已选质心距离平方的概率选取。空簇处理将距离最远点设为新质心。现象FCM隶属度 $u_{ik}$ 全趋近0.5二分类失去区分度。原因模糊指数 $m$ 过大如 $m5$或数据本身类别重叠严重。解决西电推荐 $m2$若仍模糊检查数据是否需先标准化FCM对量纲敏感。现象GMM中某个 $\Sigma_k$ 奇异无法求逆。原因该成分样本过少或共线性。解决添加正则项 $\Sigma_k \epsilon I$$\epsilon10^{-6}$或合并小成分。现象EM算法收敛极慢迭代数百次。原因初始值远离最优解或学习率隐含在M步过大。解决用K-means结果初始化 $\mu_k$$\pi_k1/K$$\Sigma_k$ 为类内协方差M步中可加阻尼因子 $\mu_k^{(t1)} (1-\alpha)\mu_k^{(t)} \alpha \mu_k^{\text{new}}$。现象三者聚类结果差异巨大不知信谁。原因未理解适用场景。K-means适合球形簇GMM适合椭球形且可估概率FCM适合边界模糊的簇。解决西电真题必考“根据数据分布图选算法”。看散点图若簇呈圆形且分离选K-means若呈椭圆且重叠选GMM若边界渐变选FCM。5. 特征选择与SVM从“降维保信息”到“小样本求全局最优”的终极防线特征选择与SVM是模式识别课程的收尾双雄也是西电期末考卷的压轴难点。前者解决“哪些特征真正有用”后者解决“数据少、维度高、非线性时如何不翻车”。二者共同指向一个目标在信息有限条件下构建鲁棒决策面。本章不讲泛泛而谈的“重要性排序”而是聚焦西电真题中必考的可计算判据与核函数选择逻辑。5.1 特征选择Filter与Wrapper的战场在哪里特征选择不是盲目删列而是用判据 $J(S)$ 评价子集 $S$ 的优劣。西电考题严格区分两类策略Filter方法独立于分类器基于距离的Fisher判据$J(S) \frac{|\mu_1 - \mu_2|^2}{\sigma_1^2 \sigma_2^2}$其中 $\mu_i, \sigma_i^2$ 为子集 $S$ 上第 $i$ 类的均值与方差。最大化 $J$ 即选“类间远、类内近”的特征。基于熵的判据$J(S) H(Y) - H(Y|X_S)$其中 $H$ 为信息熵。$J$ 越大特征子集 $S$ 对类别 $Y$ 的信息增益越大。西电常考离散特征的信息增益计算。Wrapper方法绑定分类器核心思想用分类器在子集 $S$ 上本文还有配套的精品资源点击获取