从特征空间到分类聚类：MATLAB手写数字识别算法横向对比

简介这份MATLAB模式识别算法学习资料面向计算机、自动化、生物医学工程等方向的学生与工程技术人员帮助读者把模式识别理论落到可运行代码与实验验证中。压缩包内为1个PDF文件约17.87MB内容对应《模式识别与智能计算——MATLAB技术实现》第3版已有313人学习。全书14章依次覆盖特征选择与优化、模式相似性测度、贝叶斯与判别函数分类器、BP/RBF/概率神经网络、决策树与粗糙集分类器以及基本聚类、模糊聚类、禁忌搜索、遗传算法、蚁群和粒子群聚类。较有价值的是以手写数字识别贯穿应用实例给出实现步骤、核心MATLAB代码和效果图示便于对照复现分类与聚类流程理解不同算法的适用场景与结果差异。1. 同一个手写数字为什么换个算法边界就面目全非把同一批手写数字样本投进特征空间换一种判别算法切出来的边界立刻换了一副面孔贝叶斯给出的是一张随先验倾斜的概率面感知器给出的是一条硬的超平面Fisher 把高维样本压到一条直线上再切一刀而 K 均值干脆不给边界只告诉你哪几个点抱成了团。这不是玄学而是模式识别最本质的事实——所有算法做的都是同一件事在特征空间和解释空间之间找一个映射差别只在于它们各自假设了什么、优化了什么、又放弃了什么。这份以 MATLAB 算法实现贯穿 14 章的资源真正的价值不在于把算法列一遍而在于用同一个手写数字识别实例把这些假设摊在同一张桌面上比较。搞懂它们为什么分道扬镳比记住十几个函数名有用得多。2. 特征空间与相似性测度为什么「距离怎么算」比「分类器选哪个」更早决定上限分类器再花哨也只能在特征已经张成的空间里划边界。特征选错、距离定义错后面所有精调都是在错误的坐标系里做微调。这一章先把样本矩阵的排布、几种测度的几何含义以及 PCA 降维为什么常常让模板匹配反而更准讲清楚。2.1 原始资料矩阵n 行 N 列的排布决定了后面所有矩阵运算的方向书里对样本的约定很明确一个样品 $X_j$ 有 $n$ 个特征写成 $n$ 维列向量$N$ 个样品排成一个 $n$ 行 $N$ 列的矩阵行是特征维度列是样品编号。% 假设 raw 是若干个 28x28 的手写数字灰度图存在 cell 里 nFeat 28 * 28; % 特征维数 n N numel(raw); % 样品数 N X zeros(nFeat, N); % 原始资料矩阵n 行 N 列每一列是一个样品 for j 1:N img double(raw{j}); X(:, j) img(:); % 按列摊平保证所有样本的像素展开顺序一致 end这段代码看着平淡但它定下的方向决定了后面每一个函数的写法。X(:,j)是第 j 个样品X(i,:)是第 i 个特征在全部样品上的取值。于是求均值、求方差、求协方差全部沿第 2 维做写错方向cov算出来的是样品之间的协方差而不是特征之间的维度直接对不上。提示MATLAB 的统计函数普遍默认「行是观测、列是变量」跟上面这个约定正好相反。我一般会在数据入口处写一行X X;并注释清楚宁可在入口转置一次也不要在十几个函数里各转一次。nFeat决定协方差矩阵的尺寸也是后面 PCA、马氏距离、Fisher 判别里所有n×n矩阵的来源。手写数字直接摊平是 784这个维度对 K 均值这种基于距离的算法已经很不友好了——高维空间里点与点的距离会趋于均匀最近邻失去区分度这就是维度灾难在工程上的具体表现。所以书里在第 2 章花了大量篇幅讲特征筛选与评估这不是铺垫是保命。2.2 欧式距离、马氏距离、夹角余弦三种「相似」各自在纠正什么相似性测度是分类和聚类的共同底座。选哪个测度等于预先声明了你认为「什么样才算像」。欧式距离把每一维看成同等重要用的是绝对数值差。它的问题是量纲敏感一个特征取值在 0 到 1 之间另一个在 0 到 255 之间后者会自动支配整个距离。所以用欧式距离之前必须先归一化这一步漏了后面的 K 均值基本没法看。马氏距离用协方差矩阵的逆做白化同时消掉量纲和特征之间的相关性。它衡量的是「在数据分布的形状下这个点偏离中心多少个标准差」而不是欧几里得空间里的直线长度。夹角余弦只看方向不看模长。对于笔画方向直方图这类特征模长受笔画粗细影响方向才反映字形余弦距离就比欧式距离稳得多。二值化之后还可以退化成 Tanimoto 测度本质是两个集合的交并比。function d dist_euclid(X, t) % X: n×N 训练样本t: n×1 待测样本返回 1×N 的距离 d sqrt(sum((X - t).^2, 1)); % 沿特征维求和不要沿样品维 end function d dist_mahal(X, t) % 协方差只用训练集估计绝不能把待测样本混进去 mu mean(X, 2); % n×1 类中心 S cov(X); % X 是 N×ncov 把每行当一个观测得到 n×n dv (t - mu); % 1×n d sqrt(dv * (S \ dv)); % 左除代替 inv(S)数值上更稳 end function d dist_cosine(X, t) % 余弦距离 1 - 余弦相似度取值落在 [0, 2] num X * t; % N×1 内积 den sqrt(sum(X.^2, 1)) * norm(t) eps; % 分母加 eps 防零向量 d (1 - num ./ den); end三个函数的关键差异在参数和中间量上dist_euclid完全没有统计量dist_mahal引入了Sdist_cosine引入了模长。这也解释了为什么马氏距离在小样本、高维特征上容易出问题——S是n×n当样本数 $N$ 小于 $n$ 时S奇异S \ dv会给出一个数值上毫无意义的结果。工程上的做法是加个岭项S lambda * eye(n)或者先 PCA 降维再算马氏距离。Tanimoto 用在二值特征上形式是 $T \frac{A^T B}{A^T A B^T B - A^T B}$分母是并集的势。它对「两个样本共同为 1 的位」敏感对共同为 0 的位不敏感这一点和汉明距离相反在处理稀疏的黑白笔画图时是优势。2.3 PCA 模板匹配降维之后为什么反而更准模板匹配是最朴素的做法把待测样本和每一类的模板逐一比距离取最近的那个类。它的短板是噪声维度和无关维度会稀释真正的判别信息。PCA 的作用不是「压缩数据」这么笼统而是把方差最大的方向排在前面把方差接近零的方向当作噪声直接扔掉。mu mean(X, 2); Xc X - mu; % 中心化漏掉这一步 PCA 就废了 C (Xc * Xc) / (N - 1); % n×n 协方差矩阵 [V, D] eig(C); [lam, idx] sort(diag(D), descend); V V(:, idx); % 特征向量按特征值从大到小重排 ratio cumsum(lam) / sum(lam); k find(ratio 0.9, 1); % 取累计贡献率首次达到 90% 的主成分个数 W V(:, 1:k); % n×k 投影矩阵 Z W * Xc; % k×N降维后的样本lam是特征值ratio是累计贡献率k是最终保留的维数。手写数字上这个值通常落在几十到一百多之间相比 784 维少了将近一个数量级。降维之后在Z上做模板匹配等价于在一个只保留主要变化方向的子空间里比距离。那些被扔掉的维度里大部分是笔画抖动、纸张噪点、扫描偏移它们对类间区分没有贡献却会实实在在撑大距离值。这也解释了一个反直觉现象用 PCA 降维再做模板匹配测试集准确率常常比不降维还高几个点。书里在第 2 章还讲了特征评估用类间距离与类内距离的比值衡量单个特征的可分性。这个比值高了说明这个特征能把不同类别推开、把同类聚紧值得留比值接近 1 的特征基本就是噪声删掉不影响结果还省算力。我习惯在特征筛选阶段先算一遍这个比值并按降序排前 20% 的特征往往贡献了 80% 以上的判别力剩下的就可以放心砍掉。3. 判别函数与概率决策贝叶斯、感知器、Fisher、SVM 的边界是怎么长出来的分类器的差别说到底是对「边界应该长什么样」这件事的先验假设不同。概率派假设数据服从某个分布几何派假设存在一个能把两类分开的超平面而核方法假设在低维分不开的东西到高维就分开了。这一章沿着这条线往下走。3.1 贝叶斯决策先验、类条件密度与风险矩阵贝叶斯决策的框架很干净已知类先验 $P(\omega_i)$ 和类条件概率密度 $p(x|\omega_i)$用贝叶斯公式算出后验 $P(\omega_i|x)$取后验最大的类。最小错误率准则的直接含义是「每次都选最可能的类」最小风险准则则多了一张损失矩阵把「把 1 认成 7」和「把 1 认成 0」的代价区分开来。真实数据里 $p(x|\omega_i)$ 通常未知所以工程上退化为参数估计或者直接假设形式。手写数字是二值图像用的是伯努利模型每个像素位独立类内统计它取 1 的频率。% train_bin: nFeat×N 的 0/1 矩阵label: 1×N 的类别标记 cls unique(label); M numel(cls); prior zeros(1, M); theta zeros(nFeat, M); % 每个类、每个特征位取 1 的概率 for i 1:M idx (label cls(i)); prior(i) sum(idx) / N; theta(:, i) mean(train_bin(:, idx), 2); end % 测试阶段在对数域累加避免 nFeat 个概率连乘直接下溢成 0 logp zeros(1, M); for i 1:M t theta(:, i); logp(i) sum(test_bin .* log(t eps) (1 - test_bin) .* log(1 - t eps)) ... log(prior(i)); end [~, pred] max(logp);这里有两个容易忽略的细节。theta是 $n \times M$ 的矩阵每一列是一个类的伯努利参数eps是为了防止某个像素在某一类里从来没出现过导致log(0) -Inf一旦出现 -Inf整个类别的得分会被直接判死。对数域累加是必须的784 个小于 1 的概率连乘结果远小于双精度能表示的最小正数。最小风险决策只是把最后的max(logp)换成min(sum(lambda .* exp(logp)))其中lambda是损失矩阵。这个改动很小但它让分类器开始表达业务偏好——在车牌识别里把「B」认成「8」的代价和把「B」认成「D」完全不是一个量级。3.2 感知器与增量校正错分样本驱动的权重更新感知器的思路是纯几何的找一个超平面把两类分开找不到就一直调。它的更新规则简单到一行能写完但背后的收敛性定理很有分量——只要数据线性可分这个规则一定在有限步内收敛。w zeros(nFeat 1, 1); % 增广权向量最后一位是偏置项 Xa [X; ones(1, N)]; % 增广样本给每个样品补一维常数 1 rho 0.1; % 学习率 for iter 1:maxIter err 0; for j 1:N y sign(w * Xa(:, j)); if y ~ label(j) w w rho * label(j) * Xa(:, j); % 只有错分才更新 err err 1; end end if err 0, break; end % 一整轮无错分说明已经线性可分 endlabel必须是 ±1 而不是 0/1因为更新方向的符号来自标记本身。rho太大权重会来回震荡太小则收敛慢实际用的时候我一般取0.01到0.1再配一个随迭代衰减的策略。增量校正算法把学习率改成随样本序号变化的形式本质是让早期样本影响大、后期样本影响小从而在数据有噪声时也能收敛到一个合理的解。书里把它和感知器放在一起讲是为了对比「硬更新」和「软更新」两种思路。感知器的致命短板是线性可分假设。手写数字的类间分布高度重叠几乎不存在能一刀切开的超平面所以书里紧接着就把它引向了 Fisher 和核方法。3.3 LMSE 与 Fisher把分类变成解方程和投影LMSE 的想法很干脆既然想要 $X w b$那就直接解最小二乘。$b$ 取成类的指示向量比如正类取 1、负类取 -1。b (label 0) * 2 - 1; % 转成 ±1 的列向量语义 w (Xa * Xa) \ (Xa * b(:)); % 最小二乘解等价于伪逆Xa * Xa是 $(n1) \times (n1)$ 的矩阵Xa * b(:)是 $(n1) \times 1$ 的向量左除直接给出权向量。相比感知器的迭代LMSE 一步到位代价是它优化的是平方误差而不是分类错误数对远离边界的异常点非常敏感。书里用 LMSE 做「验证可分性」正是这个原因如果最小二乘解出来的误差很大说明这批数据在当前特征下本来就不太可分后面换什么分类器都白搭。Fisher 判别换了另一个角度不找超平面先找一个投影方向让样本投影到这条直线上之后类间散度尽量大、类内散度尽量小。m1 mean(X(:, label 1), 2); m2 mean(X(:, label -1), 2); S1 cov(X(:, label 1)); S2 cov(X(:, label -1)); Sw S1 S2; % 类内散度 Sb (m1 - m2) * (m1 - m2); % 类间散度秩为 1 [V, D] eig(Sb, Sw); % 广义特征值问题 Sb w λ Sw w [~, i] max(diag(D)); w V(:, i); % 最佳投影方向 th w * (m1 m2) / 2; % 阈值取两类中心投影的中点Fisher 准则 $J(w) \frac{w^T S_b w}{w^T S_w w}$ 的物理意义是「投影后类间距离与类内方差的比值」。由于 $S_b$ 的秩最多为 $M-1$$M$ 是类别数多类问题下 Fisher 最多只能降到 $M-1$ 维这个上限是它作为降维手段的硬约束。把 Fisher 核化之后就是 KFD把线性判别换成核空间里的判别思路和 SVM 同源。书里从线性判别一路铺到支持向量机这条线索其实是在讲同一件事判别边界的形式取决于你允许它有多复杂。3.4 核化与 SVM最大间隔为什么能压住过拟合支持向量机在书里的位置很有意思它被放在判别函数这一章的最后。这个安排有讲究——SVM 就是判别函数的一个特例只不过它的判别边界由少数几个支持向量决定而不是由全部样本决定。最大间隔的几何含义是在所有能把两类分开的超平面里选那个离最近样本最远的。这个「最远」不是审美偏好它对应的是结构风险最小化泛化误差上界跟间隔成反比。所以 SVM 在小样本、高维特征上表现稳定恰恰是手写数字识别这种场景的常见处境。mdl fitcsvm(X, label, KernelFunction, rbf, ... BoxConstraint, 1, Standardize, true); pred predict(mdl, testX);KernelFunction选rbf意味着把样本映射到无穷维空间BoxConstraint就是惩罚系数 $C$越大越不允许错分越容易过拟合Standardize一定要开因为 RBF 核的核宽对特征尺度极其敏感不开标准化等于把量纲最大的特征当成唯一重要的特征。RBF 核有两个超参核宽 $\gamma$ 和惩罚 $C$。这两个参数的影响是耦合的网格搜索的时候必须二维一起搜单独调其中一个很容易得到一个局部最优的假象。4. 神经网络与聚类参数化判别和无监督分组其实共用同一套距离语言神经网络和聚类经常被当成两个不相干的主题一个归监督学习一个归无监督学习。但把公式摊开看它们其实都在做同一件事用某种距离或相似度衡量样本与「代表点」的接近程度然后决定归属。区别只在于代表点是训练出来的还是迭代找出来的。4.1 BP 与 RBF误差反传和局部基函数的两种思路BP 网络是全连接 非线性激活 反向传播。它的隐层每个节点都对所有输入做出响应参数靠梯度下降一点点挪。RBF 网络的隐层是局部响应每个节点只对中心附近的一小块区域敏感输出层是线性的可以一步解出来。% 单隐层 BPsigmoid 隐层 softmax 输出 W1 randn(nHidden, nFeat) * sqrt(2 / nFeat); % He 初始化别用全零 b1 zeros(nHidden, 1); W2 randn(nClass, nHidden) * sqrt(2 / nHidden); b2 zeros(nClass, 1); for epoch 1:nEpoch A1 1 ./ (1 exp(-(W1 * X b1))); % 前向隐层激活 Z W2 * A1 b2; % 输出层 logit P exp(Z) ./ sum(exp(Z), 1); % softmax按列归一 dZ P - Y; % 交叉熵对 logit 的梯度 dW2 dZ * A1 / N; db2 mean(dZ, 2); dA1 W2 * dZ; dZ1 dA1 .* A1 .* (1 - A1); % sigmoid 导数用输出值本身表示 dW1 dZ1 * X / N; db1 mean(dZ1, 2); W1 W1 - lr * dW1; b1 b1 - lr * db1; W2 W2 - lr * dW2; b2 b2 - lr * db2; endY是 one-hot 的 $nClass \times N$ 矩阵P - Y这个简洁的梯度形式来自 softmax 与交叉熵的搭配换成均方误差就没这么漂亮了。sqrt(2/nFeat)这个初始化尺度是 He 初始化的形式目的是让每层输出的方差保持稳定否则深一点就梯度消失。RBF 的那一侧隐层中心通常用 K 均值从训练样本里选出来宽度取中心间的平均距离输出层权重用最小二乘一次解出[idx, C] kmeans(X, 30); % C: 30×nFeat用样本自己当中心 C C; spread mean(pdist(C)); % 全局宽度工程上够用 H exp(-pdist2(X, C, squaredeuclidean) / (2 * spread^2)); % 30×N W (H * H 1e-6 * eye(30)) \ (H * Y); % 岭回归防 H*H 奇异对比一下就能看出取舍BP 需要几百轮迭代训练慢但隐层节点没有位置概念表达能力强RBF 训练快得多隐层节点有明确的空间含义每个中心就是一个原型但中心选得好不好直接决定上限而且节点数随样本量增长。手写数字这种样本量不大的场景RBF 往往几十个中心就能达到不错的精度。4.2 PNN、CPN、竞争网络与 Hopfield各自绕开了什么概率神经网络PNN是这一组里最「取巧」的一个。它把每个训练样本都当成隐层的一个节点用 Parzen 窗估计类条件密度训练过程零迭代唯一的超参是平滑因子 $\sigma$。sig 0.1; score zeros(1, nClass); for i 1:nClass Xi X(:, label i); d2 sum((Xi - t).^2, 1); % 待测样本到类内每个样本的距离 score(i) sum(exp(-d2 / (2 * sig^2))) / size(Xi, 2); end [~, pred] max(score);sig越小核越尖判决越接近最近邻sig越大核越平判决越接近先验。这个参数本质上控制的是「平滑程度」跟 K 近邻里的 K 是同一类东西。PNN 的代价是隐层节点数等于训练样本数样本一多内存就爆所以它适合小样本、类别边界不规则的场合。对向传播网络CPN是 Kohonen 自组织层加 Grossberg 层的组合前半段做竞争学习找原型后半段做线性映射输出类别。自组织竞争网络则是纯粹的胜者通吃每次输入一个样本只有响应最大的那个节点更新权重更新方向朝样本拉近。它不需要标签本质上是把聚类过程写进了网络结构里。Hopfield 网络是反馈型的权重对称、无自连接用能量函数保证状态演化单调收敛。它能做联想记忆——给一个残缺的输入网络会滑到最近的存储模式上。但它的容量有理论上限大约 $0.138n$ 个模式$n$ 是节点数超过这个量就会出现混淆这是它作为分类器时最需要警惕的地方。4.3 K 均值与 ISODATA目标函数、初始化和分裂合并判据K 均值优化的目标很直白$J \sum_{i1}^{k} \sum_{x \in C_i} |x - m_i|^2$即所有样本到所属类中心的距离平方和。交替执行「分配」和「更新中心」两步$J$ 单调不增因此一定收敛——但收敛到的是局部极小不是全局最优。function [idx, C] kmeans_manual(X, k, maxIter) [~, N] size(X); C X(:, randperm(N, k)); % 随机挑 k 个样本做初始中心 for it 1:maxIter D pdist2(X, C, squaredeuclidean); % N×k 距离矩阵 [~, idx] min(D, [], 2); % 每个样本归到最近的中心 newC C; for i 1:k if any(idx i) newC(:, i) mean(X(:, idx i), 2); % 类中心更新为类内均值 end % 空簇保持原位避免 NaN end if isequal(newC, C), break; end % 中心不再移动即收敛 C newC; end endrandperm(N, k)是随机的来源也是结果不稳定的来源。同一个数据集跑两次可能得到完全不同的划分因为两个局部极小值的目标函数值可能只差几个百分点。工程上的标准解法是 k-means 初始化加多次重启取最优或者干脆用后面讲的模拟退火、遗传算法来搜初始中心。ISODATA 在 K 均值的基础上增加了两个判据类内标准差超过阈值 $\theta_S$ 就分裂成两类两个类中心距离小于阈值 $\theta_C$ 就合并。它不需要预先指定 $k$但引入了四个参数期望类数、分裂阈值、合并阈值、每轮最多合并对数调参成本反而更高。4.4 模糊聚类与群智能隶属度和种群两种跳出局部最优的办法模糊 C 均值把「属于哪一类」从硬判决变成隶属度目标函数是 $J \sum_i \sum_j u_{ij}^m |x_j - c_i|^2$约束是每个样本对各类的隶属度之和为 1。m 2; % 模糊指数通常取 2 U rand(k, N); U U ./ sum(U, 1); % 初始隶属度按列归一 for it 1:maxIter Um U .^ m; C (X * Um) ./ sum(Um, 2); % 类中心是隶属度加权平均 D pdist2(X, C, squaredeuclidean); % k×N U_new 1 ./ (D .^ (2/(m-1)) .* sum(1 ./ (D .^ (2/(m-1))), 1)); if norm(U_new - U) 1e-5, break; end U U_new; endm控制模糊程度$m \to 1$ 退化成硬聚类$m$ 太大则所有样本对各类的隶属度趋于均匀失去区分意义。2/(m-1)这个指数来自拉格朗日乘子法求极值的推导结果不是随手写的。群智能算法走的是另一条路不去改目标函数而是改搜索策略。遗传算法把一组聚类中心编码成染色体适应度取类内距离的倒数通过选择、交叉、变异在解空间里并行搜索蚁群算法用信息素标记「样本与中心的搭配」这种组合好的搭配信息素累积粒子群则把每个粒子的位置当成一个完整的中心矩阵速度按个体最优和全局最优更新。% 粒子群的位置更新x 和 v 的维度都是 k*nFeat v w * v c1 * rand(size(x)) .* (pbest - x) c2 * rand(size(x)) .* (gbest - x); x x v; % 适应度类内距离平方和的倒数越大越好 fit 1 ./ (sum(min(pdist2(X, reshape(x, k, nFeat), squaredeuclidean), [], 2)) eps);w是惯性权重控制探索与开发的平衡c1、c2分别是个体经验和群体经验的权重。这三个参数的经验取值通常在w ∈ [0.4, 0.9]、c1 c2 2附近但具体问题还得试。这些算法的共同代价是计算量大一次聚类可能要评估上千个候选解每个解都要算一遍全部样本到全部中心的距离。它们换来的好处是不依赖初始值在 K 均值反复掉进同一个坑的时候确实是有效的后悔药。5. 排查手写数字识别里最容易翻车的几处理论和代码之间隔着一堆现实细节。这一章记录的是我在照着手写数字实例复现时反复踩到的坑每条按现象、原因、解决三段来写。5.1 特征与预处理环节的三个坑坑一训练集准确率 99%测试集掉到 60%。现象很典型训练时一路高歌换一批样本立刻现原形。原因几乎都是数据泄漏——归一化用的均值方差、PCA 的投影矩阵、特征筛选的排序全都用了包含测试样本的全体数据。模型在训练阶段就「见过」测试集的统计信息评估结果自然虚高。解决办法是把所有依赖数据的步骤都放进训练集内部完成再用同一组参数去变换测试集mu mean(X_train, 2); sigma std(X_train, 0, 2) eps; Xtr (X_train - mu) ./ sigma; % 训练集用自己算出来的参数 Xte (X_test - mu) ./ sigma; % 测试集复用训练集的参数不重算注意eps不能省某个特征在训练集上恒定时sigma为 0除下去整个矩阵变NaN而且NaN会沿着后续所有运算传播报错信息完全指不到真正的问题所在。坑二把 784 维像素直接当特征K 均值跑得慢还分不开。现象是聚类结果里同一类数字被拆成好几簇不同类又被并到一起。原因是像素特征对位移、旋转、笔画粗细极度敏感同一个「7」写偏两格欧式距离就比另一个写得规整的「1」还远。高维还带来距离集中效应最近邻和最远邻的差距被压缩聚类失去依据。解决方向是换成对形变不敏感的特征笔画密度、投影直方图、粗网格区域占比、笔画方向统计。书里第 2 章讲的手写数字特征提取正是干这个的。经验上从 784 维像素换成 50 维左右的结构特征K 均值的准确率能有明显提升速度还快一个数量级。坑三二值化阈值写死换一批笔迹全糊。现象是某几张图完全黑掉或者完全空白。原因是扫描亮度、笔宽、纸张底色各不相同一个固定阈值不可能适配所有样本。解决是用 Otsu 方法按图像自身直方图自动选阈值或者先做笔画宽度归一化再二值化。Otsu 的核心是穷举阈值取使类间方差最大的那个MATLAB 里graythresh一行就够。注意二值化一定要在归一化尺寸之后做。先二值化再缩放会引入大量插值产生的灰度值边界变得毛糙后续的骨架、端点特征全都不准。5.2 训练与评估环节的两个坑坑四BP 网络损失来回震荡几百轮不收敛。现象是训练损失曲线上下跳偶尔还会突然跳到很大的值。原因通常有三个叠加学习率太大、输入没归一化、权重初始化成全零。全零初始化会让同一层的所有神经元在反向传播时收到完全相同的梯度永远保持对称等于白搭了一倍的参数。解决是三步一起改输入按特征维做标准化权重用randn * sqrt(2/fan_in)初始化学习率从0.01起步并随轮次衰减。如果还是震荡加动量项或者换 Adam 这类自适应优化器。坑五聚类结果每次跑都不一样没法复现。现象是同一份数据两次运行得到不同的划分准确率相差好几个百分点。原因是初始中心随机而 K 均值对初值极其敏感。解决有三条路固定随机种子保证可复现rng(42)用 k-means 让初始中心尽量分散跑多次取目标函数最小的那一次。bestJ inf; for rep 1:20 [idx, C] kmeans_manual(X, k, 100); J sum(min(pdist2(X, C, squaredeuclidean), [], 2)); if J bestJ bestJ J; bestIdx idx; bestC C; end endrep取 20 到 50 次是常见范围再多收益递减。判断收敛质量看的应该是目标函数 $J$ 而不是准确率——准确率有标签才知道聚类场景下往往拿不到。还有一类坑不属于代码层面属于评估方法层面十类手写数字里各类样本数往往不均衡直接看总体准确率会被大类主导。混淆矩阵比单一准确率有用得多它能告诉你到底是「1 和 7 混了」还是「整体都还行只有 9 特别差」这两种情况的处理方式完全不同。6. 设计取舍为什么「同一实例横向对比」比「多讲十个算法」更有价值模式识别这个领域有个尴尬的现实没有哪一种方法能通吃所有问题。贝叶斯在分布假设成立时是最优的假设不成立时可能还不如最近邻SVM 在小样本高维上稳样本量一上来训练复杂度就顶不住K 均值快得离谱但对初值和类别形状极度挑剔群体智能算法不挑初值代价是算力。所以真正值钱的能力不是「会调哪个算法」而是「知道在什么条件下该换哪个」。用同一个手写数字实例贯穿十几章做的正是这件事把所有变量都控制住只改分类器或聚类策略让差异变得可归因。如果第 4 章用一套数据、第 6 章换另一套数据那准确率的差距到底来自算法还是来自数据分布永远说不清。这也是我在自己的对比实验里坚持的一条规矩——特征提取、划分方式、评估指标三样必须锁死只放开待比较的那一个因素。具体到验证方法我一般按这个顺序走先用分层留出法切出训练/验证/测试三本文还有配套的精品资源点击获取