模式识别本质：从贝叶斯判别函数到决策逻辑显式建模

简介本资源是西安电子科技大学XDU《模式识别》课程期末复习专用知识点串联笔记面向人工智能、计算机及相关专业本科生聚焦考前系统梳理与重点突破。内容覆盖贝叶斯决策理论、判别函数与决策面设计、正态分布下的统计分类、线性与非线性判别方法含Fisher判别、感知机、广义线性判别、KNN、决策树、无监督学习高斯混合模型、EM算法、K-means、FCM、层次聚类及特征选择Filter/Wrapper策略、可分性判据与搜索算法等核心模块并融入典型例题与公式推导逻辑便于理解记忆与应试应用。资源为1个PDF文件结构清晰、图文结合、重点标注体积仅1.4MB轻量易读适合作为冲刺阶段速查与知识脉络重建材料。目前已有713人学习下载是西电学子高频复用的高浓缩复习利器。1. 模式识别不是“调包”而是决策逻辑的显式建模为什么西电期末考题总在逼你手推判别函数你有没有过这种体验对着一份标着“XDU模式识别期末知识点串联”的PDF翻到贝叶斯决策那页看到“最小错误率”四个字下意识想打开sklearn.naive_bayes可刚敲完from sklearn...题目就来了——“请写出两类正态分布、协方差相等时的判别函数g(x)并化简为线性形式”。你卡住了。不是不会写代码是根本没意识到模式识别课考的从来不是API调用能力而是把“人如何做判断”这个黑匣子翻译成可计算、可推导、可验证的数学结构的能力。这份资料里反复出现的“判别函数g(x)”、“决策面”、“类内/类间散布矩阵”不是公式堆砌而是一套完整的决策逻辑显式建模语言——它强制你把直觉比如“这个点看起来更像A类”拆解成先验怎么设、似然怎么算、风险怎么权衡、边界怎么画。西电这门课的底层设计意图非常清晰不让你停留在“模型输出了A”而是逼你回答“为什么必须是A它的数学依据在哪如果换一个损失函数边界会怎么动”。这才是它被列为人工智能方向核心课的真正原因它训练的不是工具使用者而是决策机制的设计者。你手推的每一个g(x)都是在给AI的“思考过程”安装可审计的逻辑探针。2. 贝叶斯决策从概率推理到可执行判别函数的三步转化模式识别中的贝叶斯理论绝非教科书里静态的概率公式。它是一套动态决策生成协议输入观测x输出类别ω_i中间每一步都必须可追溯、可干预。这份资料把这一协议拆解得极为扎实——不是只讲P(ω_i|x)而是明确告诉你如何从后验概率出发经由损失函数L(ω_i|ω_j)和风险R(ω_i|x)最终落地为一个能直接参与计算的判别函数g_i(x)。这才是西电考题反复要求“写出g(x)”的底层逻辑它在检验你是否真正掌握了从抽象推理到具体执行的完整链路。2.1 后验概率决策的起点但不是终点贝叶斯公式的标准形式P(ω_i|x) P(x|ω_i)P(ω_i)/P(x)是起点但考试从不考你背这个。它考的是等价变形能力。资料中特意强调“贝叶斯公式的等价形式”指向的就是实际计算中的关键技巧分母P(x)对所有类别相同比较后验大小时可忽略 → 简化为g_i(x) ∝ P(x|ω_i)P(ω_i)若P(ω_i)相等即均匀先验则进一步简化为g_i(x) ∝ P(x|ω_i)对数变换g_i(x) log P(x|ω_i) log P(ω_i)将乘法转加法避免数值下溢提示西电真题常设陷阱——给出P(ω_1)0.7, P(ω_2)0.3却在后续计算中默认先验相等。务必检查题目是否隐含先验信息。2.2 最小错误率决策零损失下的最简判别逻辑当损失函数定义为L(ω_i|ω_j) 0ij, 1i≠j时贝叶斯风险退化为错误率。此时最优决策规则是选择后验概率最大的类别决策规则若 P(ω_1|x) P(ω_2|x)则判为ω_1将其转化为判别函数即定义g(x) P(ω_1|x) - P(ω_2|x)或更常用的对数形式g(x) log P(x|ω_1) log P(ω_1) - log P(x|ω_2) - log P(ω_2)这个g(x)就是考试要求你“写出并化简”的核心对象。它的值决定决策面位置g(x)0即为决策边界。2.3 最小风险决策引入代价敏感性的工程现实真实场景中判错的代价不同。例如医疗诊断中将癌症患者判为健康漏诊的损失远大于将健康人判为癌症误诊。此时需定义损失矩阵L如L [[0, λ₁₂], # λ₁₂: 将ω₂判为ω₁的损失 [λ₂₁, 0 ]] # λ₂₁: 将ω₁判为ω₂的损失条件风险为R(ω₁|x) λ₁₂P(ω₂|x), R(ω₂|x) λ₂₁P(ω₁|x)最小风险决策规则变为若 R(ω₁|x) R(ω₂|x)即 λ₁₂P(ω₂|x) λ₂₁P(ω₁|x)则判为ω₁整理得判别函数g(x) λ₂₁P(ω₁|x) - λ₁₂P(ω₂|x)或对数形式g(x) log P(x|ω₁) log P(ω₁) log λ₂₁ - log P(x|ω₂) - log P(ω₂) - log λ₁₂注意λ的引入直接改变了决策面位置——它不再是后验概率相等的点而是风险相等的点。这是西电考题中“带代价的贝叶斯决策”题型的唯一解法。2.4 正态分布下的显式推导从概率密度到线性/二次判别函数当类条件概率P(x|ω_i)服从正态分布N(μ_i, Σ_i)时判别函数可被显式展开。资料中“根据协方差矩阵分为三种情况”正是西电重点——它对应三种不同的决策面几何形态Σ₁ Σ₂ Σ协方差相等g_i(x) x^T Σ^{-1} μ_i - (1/2) μ_i^T Σ^{-1} μ_i log P(ω_i)→线性判别函数LDA决策面为超平面。Σ₁ ≠ Σ₂协方差不等g_i(x) -(1/2) log|Σ_i| - (1/2)(x-μ_i)^T Σ_i^{-1}(x-μ_i) log P(ω_i)→二次判别函数QDA决策面为二次曲面椭球、双曲面等。Σ_i σ²I各向同性球形协方差g_i(x) -||x-μ_i||²/(2σ²) log P(ω_i)→ 决策面为超平面且等价于最近邻分类器距离加权先验。关键洞察西电考题常要求“写出g(x)并说明决策面类型”。答案不能只写公式必须指出“因Σ₁Σ₂故g(x)为x的线性函数决策面为超平面”。2.5 避坑贝叶斯决策中5个高频翻车点现象计算g(x)时忘记加log P(ω_i)直接用log P(x|ω_i)比较。原因混淆了“最大似然估计”与“最小错误率贝叶斯决策”。前者假设先验相等后者必须显式包含先验。解决题目未明确先验时一律保留log P(ω_i)项若要求“最小错误率”且未给先验默认P(ω_i)可设为1但需在卷面上注明“设先验相等”。现象正态分布下展开P(x|ω_i)时漏掉归一化系数(2π)^{-d/2}|Σ|^{-1/2}。原因该系数对所有类别相同在g_i(x)-g_j(x)相减时会被消去故推导判别函数时可省略。但若题目要求“写出完整后验概率表达式”则必须包含。解决区分“判别函数推导”与“概率密度计算”两种题型。前者专注可比部分后者需完整。现象最小风险决策中将损失矩阵L的行列索引搞反如认为L_{ij}表示将ω_i判为ω_j的损失实际应为将真实类别ω_j判为ω_i的损失。原因教材表述不一但西电课件采用标准定义R(α_i|x) Σ_j L(α_i|ω_j)P(ω_j|x)其中α_i是采取的行动即判为ω_i。解决死记口诀——“L的行是判决列是真实”。L_{12} 将真实ω₂判为ω₁的损失。现象协方差矩阵求逆时对角阵Σdiag(σ₁²,σ₂²)错误计算为Σ^{-1}diag(1/σ₁,1/σ₂)漏掉平方。原因机械记忆“对角阵逆为对角元倒数”忽略σ²是方差而非标准差。解决写为Σ diag(σ₁²,σ₂²)则Σ^{-1} diag(1/σ₁²,1/σ₂²)。在草稿纸上明确标注单位。现象决策面方程g(x)0化简后得到形如w^T x w₀ 0但未说明w和w₀的具体构成如wΣ^{-1}(μ₁-μ₂)。原因只关注结果忽略推导过程的可解释性。西电评分标准中“写出w的表达式”常单独给分。解决在g(x)0后必写一步“令w Σ^{-1}(μ₁-μ₂), w₀ -(1/2)(μ₁μ₂)^T Σ^{-1}(μ₁-μ₂) log(P(ω₁)/P(ω₂))则决策面为w^T x w₀ 0”。3. Fisher判别与感知机线性可分问题的两种建模哲学Fisher判别LDA和感知机Perceptron表面都追求“找一条直线分开两类”但它们的设计动机、优化目标、解的存在性证明截然不同。这份资料将二者并列实则是西电在引导学生理解同一问题线性分类可以有完全不同的数学建模路径。Fisher是统计推断视角感知机是计算学习视角——前者问“如何让类间差异最大、类内差异最小”后者问“如何迭代调整参数使所有样本正确分类”。3.1 Fisher判别投影空间中的统计最优Fisher的核心思想不是直接在原始空间找超平面而是寻找一个投影方向w使得投影后的数据满足类间均值差最大类内离散度最小。其目标函数为J(w) (w^T S_B w) / (w^T S_W w)其中S_B (μ₁-μ₂)(μ₁-μ₂)^T为类间散布矩阵S_W Σ₁ Σ₂为类内散布矩阵。通过拉格朗日乘子法求极值可得最优解w ∝ S_W^{-1}(μ₁-μ₂)这与协方差相等时的贝叶斯线性判别函数g(x) w^T x w₀中的w完全一致但注意Fisher不关心先验概率也不涉及概率模型它纯粹是基于二阶统计量的几何优化。其解w是使投影后Fisher准则J(w)最大的方向而贝叶斯的w是使错误率最小的方向——二者在正态同方差假设下殊途同归这是西电强调“联系”的深意。3.2 感知机误分类驱动的迭代更新感知机不假设数据分布只假设线性可分。其判别函数为f(x) sign(w^T x b)目标是找到w,b使所有样本y_i(w^T x_i b) 0y_i∈{1,-1}。更新规则SGD为若 y_i(w^T x_i b) ≤ 0则 w ← w η y_i x_i, b ← b η y_i其中η为学习率。关键点在于感知机的解不唯一解集是一个凸锥解区。资料中提到“引入余量”正是为了从解区中选一个泛化更好的解如最大间隔这直接导向SVM。而Fisher的解是唯一的在缩放意义下因为它由确定性优化问题定义。3.3 广义线性判别突破线性的第一块跳板当数据线性不可分时“广义线性判别”通过特征空间扩展实现线性可分。资料中“将变量的平方、立方项作为其他维度”是典型例子。设原始特征x∈R^d构造新特征φ(x) [x₁,x₂,...,x_d,x₁²,x₂²,...,x₁x₂,...]^T则在φ空间中求解线性判别函数w^T φ(x) b 0。这本质上是核方法的前奏。因为计算高维φ(x)可能昂贵而我们真正需要的是内积φ(x_i)^T φ(x_j)。若存在一个核函数K(x_i,x_j) φ(x_i)^T φ(x_j)则无需显式计算φ直接用K即可。西电考题中“写出二次特征映射φ(x)”是常见题型考察你是否理解特征工程的本质是空间变换。3.4 KNN无模型决策的朴素智慧与理论极限KNN不学习参数只存储训练样本。其决策规则是在测试点x的k个最近邻中统计各类别频数取最多者。资料指出“KNN正确率低于贝叶斯”这源于Cover-Hart定理当k→∞且k/n→0时KNN错误率收敛于贝叶斯错误率的1~2倍。但KNN的实用性在于无需分布假设。西电考题常考其错误率分析k太小对噪声敏感方差大过拟合k太大忽略局部结构偏差大欠拟合最优k通常通过交叉验证选择但考试中常要求“定性分析k的影响”。注意KNN的“距离”必须明确定义。欧氏距离最常用但若特征量纲差异大需先标准化。西电曾出题给定未标准化数据问k1时哪个点被错分——答案往往是量纲大的特征主导了距离计算。3.5 避坑线性判别类算法的4个致命误区现象Fisher判别中将类内散布矩阵S_W错误计算为Σ₁ Σ₂的平均值或漏掉样本数权重。原因S_W Σ₁ Σ₂仅在两类样本数相等时成立。一般地S_W n₁Σ₁ n₂Σ₂n_i为第i类样本数或更精确地S_W Σ_i Σ_{x∈ω_i} (x-μ_i)(x-μ_i)^T。解决牢记S_W是所有类内离散度的加权和。若题目给协方差矩阵且未提样本数按S_W Σ₁ Σ₂处理但需注明“假设样本数相等”。现象感知机更新时对已正确分类的样本也进行更新。原因混淆了“批量更新”与“随机梯度下降”。感知机标准算法只在误分类时更新。解决严格按算法步骤计算f(x_i)若y_i f(x_i) ≤ 0才更新。考试中常给一个迭代过程表要求填w,b值务必逐行检查符号。现象广义线性判别中对x[x₁,x₂]构造φ(x)[x₁,x₂,x₁²,x₂²]却漏掉交叉项x₁x₂。原因二次多项式核的完整形式是φ(x) [x₁,x₂,x₁²,√2x₁x₂,x₂²]√2保证内积一致性。漏掉交叉项会导致无法表达某些二次边界。解决默写标准二次映射对d维xφ(x)包含所有单项式x_i、x_i²、x_i x_j (ij)。考试中若只要求“写出2次特征”必须包含交叉项。现象KNN中用曼哈顿距离计算却在公式中写成欧氏距离形式∑|x_i-y_i|²。原因距离公式记忆混淆。曼哈顿距离是∑|x_i-y_i|欧氏是√∑(x_i-y_i)²。解决在草稿纸上明确写d_M(x,y) |x₁-y₁| |x₂-y₂|, d_E(x,y) √[(x₁-y₁)² (x₂-y₂)²]。西电考题常指定距离类型务必看清。4. 无监督学习当没有标签时如何定义“好聚类”无监督学习是模式识别中最具哲学意味的部分——没有黄金标准ground truth一切评估都依赖于对“聚类本质”的预设。这份资料将GMM、K-means、FCM并列正是西电在揭示同一个“把相似点分在一起”的直觉可以被建模为概率生成GMM、几何中心K-means、模糊隶属FCM三种完全不同的数学框架。考试不考你调用sklearn.cluster而考你能否说清为什么GMM用EMK-means用迭代重分配FCM用隶属度更新因为它们优化的目标函数根本不同。4.1 GMM与EM概率模型下的软聚类高斯混合模型假设数据由K个高斯分布加权生成p(x) Σ_{k1}^K π_k N(x|μ_k, Σ_k)其中π_k为第k个分量的权重Σ_k π_k 1。EM算法解决的是隐变量推断问题每个样本x_i的真实来源分量z_i未知z_ik表示x_i来自第k个高斯。E步估算后验概率γ(z_{ik}) p(z_ik|x_i)即x_i属于第k个分量的“责任”responsibilityM步最大化期望对数似然更新π_k, μ_k, Σ_k。关键递推公式E步γ(z_{ik}) π_k N(x_i|μ_k, Σ_k) / Σ_j π_j N(x_i|μ_j, Σ_j)M步π_k (1/n) Σ_i γ(z_{ik})μ_k (Σ_i γ(z_{ik}) x_i) / (Σ_i γ(z_{ik}))Σ_k (Σ_i γ(z_{ik}) (x_i-μ_k)(x_i-μ_k)^T) / (Σ_i γ(z_{ik}))注意EM保证对数似然单调不减但只能收敛到局部极大值。西电考题常要求“写出E步和M步的更新公式”核心是记住γ(z_{ik})的定义和三个参数的加权平均形式。4.2 K-means硬聚类的几何最优K-means将聚类视为最小化簇内平方误差WCSS的优化问题min_{C_1..C_K} Σ_{k1}^K Σ_{x_i∈C_k} ||x_i - μ_k||²其中μ_k是簇C_k的质心。其算法本质是坐标下降Coordinate Descent固定质心{μ_k}将每个x_i分配给最近的μ_kE步固定分配{C_k}更新μ_k为C_k的均值M步这与EM惊人相似但K-means是“硬分配”γ(z_{ik})∈{0,1}而GMM是“软分配”γ(z_{ik})∈[0,1]。当GMM中Σ_k→0且π_k固定时GMM退化为K-means。西电考题常对比二者“K-means的M步更新公式与GMM的M步有何异同”——答案是K-means的μ_k是硬分配下的均值GMM的μ_k是软分配加权下的均值。4.3 FCM模糊边界的量化表达FCM引入隶属度u_{ik}∈[0,1]表示x_i属于簇k的程度约束Σ_k u_{ik}1。其目标函数为J_m Σ_i Σ_k u_{ik}^m ||x_i - v_k||²其中m1为模糊指数通常取2v_k为簇中心。通过拉格朗日乘子法可得迭代更新公式隶属度更新u_{ik} 1 / Σ_j (||x_i-v_k|| / ||x_i-v_j||)^{2/(m-1)}中心更新v_k (Σ_i u_{ik}^m x_i) / (Σ_i u_{ik}^m)当m→1时u_{ik}趋近于0或1FCM退化为K-means当m→∞时u_{ik}趋近于1/K失去聚类意义。西电考题中“计算FCM的隶属度”是高频题关键是掌握u_{ik}的分母是所有距离比的幂次和。4.4 层次聚类无需预设K的树状结构层次聚类不预先指定簇数K而是构建一个聚类树dendrogram。自下而上agglomerative是最常用策略初始每个点为一个簇迭代合并距离最近的两个簇直到剩K个簇或满足停止条件簇间距离定义决定算法行为单连锁Single Linkmin_{x∈C_i,y∈C_j} ||x-y|| —— 易产生“链式效应”拉长簇全连锁Complete Linkmax_{x∈C_i,y∈C_j} ||x-y|| —— 倾向生成紧凑球形簇平均连锁Average Link(1/|C_i||C_j|) Σ_{x∈C_i} Σ_{y∈C_j} ||x-y|| —— 平衡两者西电考题常给一个距离矩阵要求画出dendrogram。关键技巧每次合并后新簇与其他簇的距离按所选准则重新计算。4.5 避坑无监督学习的5个概念性陷阱现象EM算法中E步计算γ(z_{ik})时分子写成π_k N(x_i|μ_k, Σ_k)但分母写成Σ_j π_j N(x_i|μ_j, Σ_j)却未说明这是p(x_i)的估计。原因γ(z_{ik}) p(z_ik|x_i) p(x_i|z_ik)p(z_ik)/p(x_i)分母p(x_i)正是GMM对x_i的密度估计。解决在公式旁标注“分母为GMM当前参数下x_i的边缘概率”体现对贝叶斯公式的理解。现象K-means中初始化质心后第一步分配时将x_i分配给欧氏距离最小的质心但计算距离时未开方即用||x_i-v_k||²代替||x_i-v_k||。原因开方不影响最小值位置但考试中若题目明确要求“计算距离”必须写√∑(x_i^{(d)}-v_k^{(d)})²若只用于比较可用平方距离简化。解决看题干动词——“计算距离”则开方“分配到最近质心”则可用平方距离。现象FCM中更新隶属度u_{ik}时指数2/(m-1)计算错误如m2时写成2/(2-1)2但误算为1。原因心算失误。m2是标准设置此时指数为2公式为u_{ik} 1 / Σ_j (d_{ik}/d_{ij})²。解决在草稿纸上单独计算指数值m2→2, m3→1, m1.5→4。现象层次聚类中合并簇C₁{a,b}, C₂{c}后计算新簇C₁₂与C₃{d}的距离时用单连锁却计算min(||a-d||,||b-d||,||c-d||)错误地包含了c。原因单连锁是两簇间所有点对距离的最小值C₁₂与C₃的距离应为min(||a-d||,||b-d||)因为c属于C₂而C₂已被合并进C₁₂C₁₂的点集是{a,b,c}不C₁₂是C₁和C₂的并集所以点集是{a,b,c}C₃{d}距离是min(||a-d||,||b-d||,||c-d||)。等等这里需要澄清若C₁{a,b}, C₂{c}合并后C₁₂{a,b,c}则C₁₂与C₃{d}的单连锁距离确实是min(||a-d||,||b-d||,||c-d||)。之前的“错误”描述本身是错的。正确避坑点应为现象合并C₁{a,b}, C₂{c}后误以为C₁₂的质心是(abc)/3并用此质心计算与C₃的距离。原因层次聚类中簇间距离基于点集而非质心那是K-means。解决牢记准则定义——单/全/平均连锁均作用于点集与质心无关。现象GMM中初始化π_k时设π₁π₂0.5但M步更新后π₁0.6, π₂0.4却未检查Σπ_k1。原因M步公式π_k (1/n) Σ_i γ(z_{ik})天然满足Σ_k π_k (1/n) Σ_i Σ_k γ(z_{ik}) (1/n) Σ_i 1 1。解决这是EM算法的内在保证无需额外归一化。若计算结果Σπ_k≠1一定是γ(z_{ik})计算错误。5. 特征选择与SVM从降维到高维最优边界的工程闭环特征选择与SVM看似独立实则是模式识别工程闭环的关键两环前者问“哪些原始特征真正有用”后者问“当特征不够时如何在高维空间构造最优边界”。这份资料将二者放在同一逻辑层暗示西电的教学意图——真正的模式识别工程师必须同时具备“做减法”特征选择和“做加法”核映射的双向思维。考试中“为何要特征选择”从不考定义而考具体场景比如“当dn时协方差矩阵Σ奇异LDA失效此时应先做PCA降维”这就是特征选择的工程价值。5.1 Filter vs Wrapper评估标准决定搜索策略Filter方法如Fisher准则J tr(S_W^{-1}S_B)独立于分类器计算快但可能选错特征Wrapper方法如用SVM准确率作为J效果好但计算贵。西电考题常考对比Filter适用场景高维小样本如基因数据d10000,n100需快速筛选Wrapper适用场景特征数不多d50且计算资源充足资料中“基于距离/概率/熵的判据”本质都是Filter基于距离J ||μ₁-μ₂||² / (tr(Σ₁)tr(Σ₂))最大化类间距离最小化类内散度基于熵J H(ω) - Σ_x H(ω|x)即互信息熵越小H(ω|x)小表示特征x对分类帮助越大注意Fisher准则J tr(S_W^{-1}S_B)是矩阵迹而距离判据是标量。考试中若要求“计算Fisher判据”必须写出矩阵形式若要求“计算类间距离”则用向量范数。5.2 特征子集搜索穷举与启发式的平衡当特征数d较大时穷举2^d个子集不可行。资料列出的策略是工程实践的精华顺序前进Sequential Forward Selection, SFS从空集开始每次添加一个使J提升最大的特征顺序后退Sequential Backward Elimination, SBE从全集开始每次删除一个使J下降最小的特征增L减RSFS与SBE的混合更鲁棒但计算量大西电考题常给一个特征集合{A,B,C,D}和J值表要求模拟SFS过程。关键每一步必须重新评估所有候选特征不能假设之前淘汰的特征永远不优。5.3 SVM最大间隔背后的几何与优化SVM的核心直觉是不仅要求线性可分更要求分界线离两类最近点尽可能远最大间隔。其原始优化问题为min_{w,b} (1/2)||w||², s.t. y_i(w^T x_i b) ≥ 1, ∀i这是一个凸二次规划QP问题。通过拉格朗日对偶转化为max_α Σ_i α_i - (1/2) Σ_i Σ_j α_i α_j y_i y_j x_i^T x_j, s.t. Σ_i α_i y_i 0, 0 ≤ α_i ≤ C其中α_i为拉格朗日乘子C为正则化参数。解的稀疏性体现在只有支持向量SV的α_i 0其余为0。决策函数为f(x) sign(Σ_{i∈SV} α_i y_i x_i^T x b)关键洞察SVM的“核技巧”本质是将x_i^T x_j替换为K(x_i,x_j)从而在不显式计算高维φ(x)的情况下完成内积运算。西电考题中“写出RBF核K(x_i,x_j)”是送分题但必须写标准形式K(x_i,x_j) exp(-γ||x_i-x_j||²)γ0。5.4 组合分类器降低方差与偏差的系统工程Bagging和AdaBoost代表两种降低泛化误差的哲学Bagging如Random Forest通过自助采样bootstrap生成多个弱分类器用平均/投票降低方差对噪声鲁棒AdaBoost迭代训练每轮提高被错分样本的权重使后续分类器聚焦难点降低偏差资料中“1/e采样率”指bootstrap中单个样本未被抽中的概率为(1-1/n)^n → 1/e ≈ 0.368故约63.2%的样本被选中。西电考题常考AdaBoost权重更新样本权重D_t(i)分类器错误率ε_t Σ_{i: h_t(x_i)≠y_i} D_t(i)分类器权重α_t (1/2) log((1-ε_t)/ε_t)更新D_{t1}(i) ∝ D_t(i) exp(-α_t y_i h_t(x_i))注意α_t的符号确保正确分类样本权重下降错误分类样本权重上升。5.5 避坑特征选择与SVM的4个实战雷区现象PCA降维后用降维后的数据训练SVM却在测试时对新样本先PCA再SVM但未保存训练集的PCA参数均值、主成分矩阵。原因PCA是数据依赖的变换测试样本必须用训练集的均值和主成分投影。解决考试中若涉及PCASVM必须说明“保存训练集均值μ和投影矩阵W测试时x_test ← W^T (x_test - μ)”。现象SVM中设置C1000认为“C越大越好”导致过拟合。原因C是误分类惩罚系数C过大时算法不惜牺牲间隔宽度也要本文还有配套的精品资源点击获取