MNIST手写识别经典算法实战：从KNN到SVM的调参与对比

简介一套基于MNIST手写数字数据集的多算法分类实践代码包面向机器学习初学者与算法对比研究者。资源完整实现了八种经典分类算法——Adaboost、朴素贝叶斯、决策树、KNN、逻辑斯蒂回归、最大熵、SVM与感知机每个算法均配有独立的训练入口脚本与示例数据可直接运行查看分类效果便于横向比较不同模型的精度、训练速度与适用场景。包体共15个文件包含13个Python脚本、1个说明文档和1个文本资源压缩包仅27KB目录按算法分模块组织代码注释简洁适合快速阅读与二次修改。这套代码包已有726人学习既能帮助初学者理解MNIST数据集上的完整建模流程也可供研究者作为多分类器对比实验的基线模板很适合课程设计或算法入门实践。1. 经典机器学习算法在MNIST上重新被翻出来能学到什么MNIST手写数字识别是ml初学者的必经清单但大多数教程默认直接上CNN。标题里这批算法——adaboost、贝叶斯朴素法、决策树、knn、逻辑斯蒂、最大熵、svm、感知机——恰恰是深度学习流行之前最常被翻牌子的8个分类器。把它们挨个在MNIST上跑一遍你会发现不靠卷积KNN和SVM仍然能逼近97%以上的准确率而朴素贝叶斯会明显拖后腿。这篇笔记不做模型堆砌而是按真实落地顺序讲清楚数据怎么取、每个算法怎么调参、哪些坑会让你白等几个小时。适合想补齐经典算法手感、或者要在答辩里做算法对比的实验党。2. 拿到MNIST的第一步数据源、切分与评估口径2.1 先解决 torchvision 下载 mnist 会404换数据源与本地缓存做过深度学习的人第一个反应是用torchvision.datasets.MNIST把数据拿下来但这条路在今天越来越容易翻车官方服务器迁移后部分旧链接返回 404很多人在网络正常的情况下也会卡在下载阶段。更稳的方式是走 sklearn 的fetch_openml它拿到的是同一份数据接口也更适合后面接经典分类器。import numpy as np from sklearn.datasets import fetch_openml # as_frameFalse 拿到的就是 numpy ndarray避免 DataFrame 包装 X, y fetch_openml( mnist_784, version1, as_frameFalse, parserpandas, return_X_yTrue, ) # fetch_openml 的 y 是字符型必须转成 int否则后面分类会报类型不一致 y y.astype(np.uint8) print(X.shape, y.shape, np.unique(y))参数说明fetch_openml从 OpenML 服务拉数据return_X_yTrue直接拆成特征和标签。X 是 70000×784每行是一张 28×28 灰度图拉平后的像素向量范围 0~255。parserpandas是为了避免 sklearn 1.2 之后的解析警告如果你还在用旧版本不传也能跑。另外version1指 MNIST 原始版本别手滑改成别的编号。如果你的运行环境不允许联网常见做法是手动下载 IDX 格式的四个文件然后自己写解析。IDX 文件头是四个大端 32 位整数分别表示 magic number、样本数量、行数、列数后面才是裸像素。第一个坑就是 endian 必须写成i4否则读出来的数量直接变成天文数字。def load_mnist_from_idx(image_path, label_path): with open(label_path, rb) as f: magic, n np.frombuffer(f.read(8), dtypei4, count2) labels np.frombuffer(f.read(n), dtypenp.uint8) with open(image_path, rb) as f: magic, n, rows, cols np.frombuffer(f.read(16), dtypei4, count4) images np.frombuffer(f.read(n * rows * cols), dtypenp.uint8) images images.reshape(n, rows * cols) return images, labels这段代码把整个文件一次性读进内存。MNIST 全部数据约 110MB单机内存足够没必要做分块。读完以后建议立刻用np.savez或np.save存成本地缓存后面每次跑实验直接np.load省掉重复解析和网络等待。2.2 训练集、测试集与验证集如何切先官方切分再留验证集MNIST 原始分 60000 训练和 10000 测试。fetch_openml返回的是混合顺序需要按官方边界切分。然后还要从训练集里切一块验证集出来原因很简单调参时不能拿测试集反复试否则最后报出来的准确率是虚高的换到新数据上立刻露馅。验证集比例取 10% 左右就够。# 官方切分前 60000 是训练后 10000 是测试 X_train, X_test, y_train, y_test ( X[:60000], X[60000:], y[:60000], y[60000:], ) # 从训练集尾部切 5000 个样本做验证 X_val X_train[-5000:] y_val y_train[-5000:] X_train X_train[:-5000] y_train y_train[:-5000] print(X_train.shape, X_val.shape, X_test.shape)这里有一个新手容易忽略的细节数据标准化必须在切分之后做。KNN、SVM、感知机、逻辑回归这类依赖距离或梯度的算法对像素尺度很敏感如果先用全量数据算均值和方差再切训练测试验证集和测试集的信息已经泄漏进了标准化参数里。正确顺序是先用训练集fit标准化器再用同一个器去transform验证集和测试集。树模型和朴素贝叶斯不依赖距离但为了统一口径建议都走同一套预处理管道。2.3 评估口径准确率只是第一印象还要看混淆矩阵8 个算法放在一起比最直观的指标是准确率。MNIST 十个类别相对均衡用准确率不会太失真但如果换成票据识别、验证码识别这类类别倾斜的任务就得看每个类别的召回率和精确率。这里我习惯先定义一个统一的评估函数后面所有模型都走同一个出入口避免各算各的。from sklearn.metrics import accuracy_score, classification_report, confusion_matrix def evaluate_clf(name, model, X_test, y_test): y_pred model.predict(X_test) acc accuracy_score(y_test, y_pred) print(f{name}: {acc:.4f}) return y_pred, acc # 使用示例 # y_pred, acc evaluate_clf(knn, knn, X_test, y_test) # print(classification_report(y_test, y_pred))classification_report会输出每一类的 precision、recall、f1-score跑完一次就能看到模型在哪个数字上弱势。比如 KNN 和 SVM 通常在 4/9、7/9 之间出错朴素贝叶斯则会在更多类别上都犯错。后面调参时不要只看 acc 涨了零点几个点要连混淆矩阵一起看才能判断它是真的变强了还是只是把容易错的类别转移了。3. 八种算法逐个跑通从感知机到AdaBoost3.1 逻辑斯蒂回归与最大熵同一个模型的两种叫法逻辑斯蒂回归在二分类里是 sigmoid 输出在多分类里扩展成 softmax。最大熵模型最早在 NLP 里流行核心思想是在已知特征约束下选择熵最大的那个分布。当特征离散、约束是经验期望时它的解和 softmax 回归在数学上是等价的。所以 sklearn 里没有叫“最大熵”的分类器你直接拿LogisticRegression(multi_classmultinomial)就是在跑最大熵模型。MNIST 像素虽然是连续值但把像素二值化后再做最大熵也能跑只是精度会下降不推荐。from sklearn.linear_model import LogisticRegression # solver 用 lbfgs 可以处理多分类C 默认 1.0max_iter 要调大 log_reg LogisticRegression( multi_classmultinomial, solverlbfgs, C1.0, max_iter300, random_state42, ) log_reg.fit(X_train, y_train)参数说明multi_classmultinomial对应 softmax 多分类solverlbfgs适合中小规模数据max_iter300是必须的不调大会报 ConvergenceWarning因为 MNIST 的 784 维特征配 55000 训练样本优化迭代次数比 toy dataset 多得多。C 是正则化强度的倒数C 越大模型越贴合训练噪声。MNIST 上 C1.0 已经可用调到 10 精度会再涨一点但边际收益很弱训练时间却可能翻倍。如果你用 saga 求解器还能配合 L1 正则做特征选择不过对于像素密集的图像特征L1 选出的特征解释性不强必要性不大。3.2 朴素贝叶斯别管高斯还是伯努利都只当它做基线朴素贝叶斯在垃圾邮件这类文本分类任务里表现不错因为词袋特征稀疏词与词之间的独立性假设勉强能用。但 MNIST 的像素是密集连续值相邻像素高度相关这个假设基本不成立。高斯朴素贝叶斯直接拿灰度值建模准确率通常落在 83%~85%伯努利朴素贝叶斯把像素二值化后也在 85% 上下。这不是调参能救的是模型假设和数据分布不匹配。from sklearn.naive_bayes import GaussianNB, BernoulliNB from sklearn.preprocessing import Binarizer # 高斯版本直接用像素灰度值 gnb GaussianNB() gnb.fit(X_train, y_train) # 伯努利版本先把像素二值化128 以上为 1 binarizer Binarizer(threshold128) X_train_bin binarizer.transform(X_train) X_test_bin binarizer.transform(X_test) bnb BernoulliNB() bnb.fit(X_train_bin, y_train)参数说明GaussianNB 没有超参数适合做基线BernoulliNB 的binarize可以在构造器里直接传阈值但我更推荐用独立的Binarizer这样后续可以塞进 Pipeline避免测试集忘记做同样的二值化。阈值 128 是经验值换成 100 或 150 对结果影响很小因为 MNIST 背景像素大量接近 0笔画像素接近 255中间值很少。3.3 KNN 与 SVM距离类算法在 MNIST 上最能打KNN 把标准化后的 784 维像素向量直接当空间点用欧氏距离找最近邻。k3 附近就能到 97% 左右是这批算法里最省心的一个。它没有显式训练过程但预测时要把测试样本和全部训练样本算距离这个成本在 60000 样本下非常可观。SVM 用 RBF 核能做到 98% 以上但调参成本和训练时间都是这批算法里最重的。from sklearn.neighbors import KNeighborsClassifier from sklearn.svm import SVC # KNNk3, weightsdistance, n_jobs-1 用满所有核 knn KNeighborsClassifier( n_neighbors3, weightsdistance, metriceuclidean, n_jobs-1, ) knn.fit(X_train, y_train) # SVM先用线性核跑通再换 rbf svc_linear SVC(kernellinear, C1.0, random_state42) svc_rbf SVC(kernelrbf, C5.0, gamma0.05, random_state42)参数说明KNN 的weightsdistance比默认 uniform 稍微稳一点但会让预测时间进一步变长n_jobs-1能并行加速但 784 维下 kd_tree 退化严重提速有限。SVM 的gamma控制 RBF 核的宽度gamma 越大单样本影响半径越小决策边界越弯越容易过拟合。sklearn 默认是1/n_features对 MNIST 来说约等于 0.0013这个值偏小所以很多人用默认参数跑线性核反而更稳。我一般会在gamma[0.01, 0.05, 0.1]这个范围里试配合 C5 左右。这里提一句很多理论教程里会出现“硬间隔SVM的梯度下降”的说法但 sklearn 的 SVC 内部走的是 LIBSVM 的 SMO 解法不靠梯度下降。硬间隔要求样本线性可分MNIST 上有大量手写变体显然不满足所以实际必须用软间隔。如果考核要求手动实现可以先用 PCA 降到二维再拿梯度下降做实验否则直接在 784 维上写梯度下降收敛速度会让你绝望。3.4 决策树、AdaBoost 与感知机弱学习器的集成与强学习器决策树单独用在 MNIST 上即使不限制深度测试准确率也很难超过 90%。原因是像素分类边界不是轴对齐的矩形能高效表达的树每层只能沿一个维度切一刀面对笔画变形这类复杂边界非常吃力。形象一点说决策树想逼近真实曲线只能不断把像素空间切成更小的矩形深度不加深就欠拟合加深了又开始记住噪点。这也正是随机森林和单棵决策树的本质区别前者是多棵并行投票后者是单棵硬扛。from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import AdaBoostClassifier from sklearn.linear_model import Perceptron # 决策树限制深度防止过拟合 tree DecisionTreeClassifier( max_depth10, min_samples_leaf10, random_state42, ) # AdaBoost基学习器必须用弱树深度不要超过5 ada AdaBoostClassifier( estimatorDecisionTreeClassifier(max_depth3, random_state42), n_estimators200, learning_rate0.8, algorithmSAMME, random_state42, ) # 感知机对特征尺度极其敏感先标准化再喂 perceptron Perceptron( max_iter1000, eta00.1, random_state42, )参数说明AdaBoost 在旧版 sklearn 里algorithm可选SAMME和SAMME.R多分类必须用SAMME因为SAMME.R原本只支持二分类为了兼容新老环境建议显式写成SAMME。基学习器深度控制在 3 左右如果基树太强AdaBoost 后期会把权重集中在少数噪声样本上整体退化。n_estimators200是一个性价比不错的起点再加树训练时间线性上涨验证集提升很小learning_rate降到 0.5 时需要把树的数量提到 500 以上才能追平。感知机的eta0是步长0.1 在标准化后的特征上比较安全太大容易来回震荡太小则要很多轮才收敛。4. 把8个算法在MNIST上跑翻车的常见问题与排查4.1 下载阶段torchvision 下载 mnist 会404与网络超时现象执行torchvision.datasets.MNIST下载数据卡在 0% 后报 HTTP 404或者直接 Connection timed out。原因MNIST 官方服务器的部分下载地址迁移过旧链接失效有些局域网环境还会被代理缓存污染导致明明有网络却一直拿不到完整文件。解决不依赖 torchvision 下载器改用fetch_openml或者手动下载 IDX 文件到本地data/目录。公司内网环境里还要检查http_proxy环境变量代理缓存了一份损坏的 zip 时会出现反复失败。最稳妥的做法是找一台外网机器下载好把四个 IDX 文件拷到实验机上用前面写的load_mnist_from_idx解析。4.2 没做标准化KNN、SVM、感知机集体失灵现象同样一组参数逻辑回归和感知机准确率只有 80%~85%KNN 也上不去但决策树和朴素贝叶斯不受影响。原因KNN、SVM、感知机依赖样本间的距离或内积灰度值范围 0~255像素点的波动幅度天然很大距离计算被高方差区域主导树模型只关心阈值划分不受单调变换影响所以表现稳定。解决跑这三个模型前先做StandardScaler并且只对训练集fit再用同一个scaler去transform验证集和测试集。对 MNIST 更简单的做法是把像素除以 255 缩放到 0~1效果和标准化接近可解释性更好。注意不要把缩放当作可选项它对距离类算法是必选项。4.3 KNN 预测慢到怀疑人生现象KNN 的fit瞬间结束但predict一万张测试图要几十秒甚至几分钟n_jobs-1也没快多少。原因KNN 是惰性学习训练只是把样本存起来预测时要逐样本计算与全部训练集的距离复杂度是 O(N×D)。MNIST 是 60000×784相当于四千万次浮点运算而且大量背景像素接近 0白算了很多距离。解决先用 PCA 降到 32~64 维再喂 KNN维度降下来后距离计算量锐减或者从训练集里随机抽 10000 个样本做近邻检索精度损失不大但速度翻几倍。如果用NearestNeighbors预建索引784 维下 kd_tree 效果很差必须降维后才值得建树。4.4 SVM 调 gamma 像抽黑匣子现象C1.0, gammascale时准确率还行一旦把 gamma 设成 0.5 或 1准确率骤降甚至低于 50%训练时间暴涨。原因gamma 控制 RBF 核的影响半径。gamma 过大每个训练样本都变成孤立的支撑点决策边界变成锯齿状过拟合噪声数字同时支持向量数量急剧增加训练和预测都变慢。解决不要凭感觉试数值抽一个小样本跑GridSearchCVgamma 搜索范围放在[0.001, 0.01, 0.05, 0.1]C 搜索范围放在[0.1, 1, 5, 10]。抽样本时注意每类都保留一些避免某些数字在搜索集里消失。另一个思路是先用线性核跑通再换 RBF线性核训练快得多能先判断数据本身是否线性可分。4.5 AdaBoost 训练集涨到 0.999测试集却卡住不动现象n_estimators从 100 加到 500训练集准确率从 0.98 涨到 0.999测试集一直卡在 0.95 附近。原因AdaBoost 串行训练后期会把样本权重集中到少数难分类的样本上基学习器开始记住噪声如果基决策树深度超过 5单棵树已经偏强集成效果反而退化。解决基学习器深度控制在 2~3min_samples_leaf至少 4。遇到测试集平台期就降learning_rate而不是继续堆树。更工程化的做法是手写一个每 50 轮在验证集上测一次的逻辑保留验证集最高的那一轮相当于做了早停。5. 调参与对比怎么挑参数以及为什么结果差异那么大5.1 逻辑斯蒂回归与 SVM 的正则化参数C 值到底怎么摸逻辑回归和 SVM 都有 C但含义略有差别C 都是误分类惩罚项的系数C 大等于正则弱模型更贴合训练噪声C 小等于正则强决策边界更平滑。因为 MNIST 是 784 维特征、55000 训练样本属于 dn 的情况正则需求不强烈所以 C 不必很大。from sklearn.model_selection import GridSearchCV # 为了快速验证先抽每类 500 个样本组成 5000 子集 sample_idx [] for digit in range(10): idx_digit np.where(y_train digit)[0][:500] sample_idx.extend(idx_digit) X_tr_sub, y_tr_sub X_train[sample_idx], y_train[sample_idx] param_grid {C: [0.1, 1, 5, 10]} grid GridSearchCV( LogisticRegression(multi_classmultinomial, solverlbfgs, max_iter300), param_grid, cv3, n_jobs-1, verbose1, ) grid.fit(X_tr_sub, y_tr_sub) print(grid.best_params_)说明子集只拿来搜参确定 C 之后再拿全量训练集重新训练。GridSearchCV默认用分层 K 折MNIST 类别均衡普通 KFold 也不会有大问题如果数据倾斜必须显式传StratifiedKFold。搜索 C 的时候会看到从 0.1 到 1 精度明显上升从 1 到 10 变化很小这时候说明模型已经进入饱和区再加大 C 只会增加训练时间。顺带提一下 lasso 和 svm 的关系L1 正则能做特征选择但它和 SVM 的 hinge 损失并不常见组合sklearn 里也没有封装好的 L1-SVM。如果目的是降维不如老老实实走 PCA 或随机森林特征重要性。5.2 决策树如何逼近真实曲线深度、叶子数和剪枝单棵决策树在 MNIST 上逼近像素分类边界本质是把像素空间递归切成矩形区域。真实手写数字的笔画边界是曲线矩形划分只能“用直线段逼近曲线”所以深度必须足够。但高维空间里样本稀疏深度一大树很容易为单个噪点单独开一个叶子节点这就是过拟合的来源。from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import cross_val_score for depth in [6, 10, 14, 18]: t DecisionTreeClassifier( max_depthdepth, min_samples_leaf5, random_state42, ) scores cross_val_score(t, X_tr_sub, y_tr_sub, cv3) print(depth, scores.mean())观察结果通常是这样深度从 6 到 14验证分数先涨后平到 18 以后训练集分数继续逼近 1验证集反而下降。这就是“树逼近真实曲线”的代价矩形划分越细对训练集的刻画越好但对新样本的泛化越差。更系统的做法是后剪枝用ccp_alpha先训练一棵不限制深度的树拿到剪枝路径后从小到大搜索不过 MNIST 上直接限制深度更直观后剪枝更适合表格型数据。5.3 用学习曲线区分偏差和方差别只知道看准确率8 个算法的最终准确率排个序很容易但那只是结果不能告诉你模型处在欠拟合还是过拟合状态。学习曲线能同时观察训练集和验证集分数随样本量变化的趋势是判断模型状态最直接的工具。from sklearn.model_selection import learning_curve train_sizes, train_scores, val_scores learning_curve( estimatorlog_reg, XX_tr_sub, yy_tr_sub, train_sizes[5000, 10000, 20000, 40000], cv3, n_jobs-1, ) train_mean train_scores.mean(axis1) val_mean val_scores.mean(axis1) for size, tr, va in zip(train_sizes, train_mean, val_mean): print(size, round(tr, 4), round(va, 4))判读套路训练集和验证集分数都低属于欠拟合要换更强的模型或增加特征两者分差大属于过拟合要加正则或剪枝两者都高且接近才是理想区间。放到这批算法上朴素贝叶斯和感知机明显欠拟合决策树明显过拟合KNN 和 SVM 的学习曲线很快收敛到各自上限AdaBoost 是缓慢爬升但最终接近 KNN。这张图比一个孤零零的准确率数字更有说服力答辩或技术汇报时也更有料。6. 进阶验证混淆矩阵、PCA 与最后的模型选择6.1 混淆矩阵别只盯准确率看谁和谁在打把 8 个模型里表现最好的那个比如 RBF 核 SVM预测结果打印成混淆矩阵能看到远比准确率丰富的信息。MNIST 最常见的混淆点是 4/9、7/9、3/8 这几对因为它们在手写形态上确实接近。如果目标是识别银行票据或验证码这类混淆会直接造成业务事故所以光看 acc 没有意义要看具体坏在哪些类别上。from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt cm confusion_matrix(y_test, y_pred_rbf) plt.figure(figsize(6, 6)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues) plt.xlabel(pred) plt.ylabel(true) plt.show()6.2 PCA 降维后重跑一遍784 维不是必须最后一进阶是把原始像素做 PCA 降维再重新训练 KNN、逻辑回归和感知机。这样做的价值是验证模型对冗余像素的依赖程度。MNIST 的背景像素大量为 0784 维里有很多维度几乎不携带信息PCA 降到 64 维通常还能保留 90% 以上方差KNN 和逻辑回归的准确率几乎不掉但训练和预测时间大幅下降。from sklearn.decomposition import PCA pca PCA(n_components64, random_state42) X_train_pca pca.fit_transform(X_train) X_test_pca pca.transform(X_test)降维后再跑 SVM 会稍微掉一点精度因为 RBF 核本来能在高维空间里找到更细的边界但换来的是训练时间从十几分钟缩短到几十秒。如果项目对推理速度敏感64 维 PCA 加 KNN 是一个很实用的折中方案。我的个人习惯是做这种经典算法对比时至少保留三样东西一张准确率排序表、一张学习曲线图、一张混淆矩阵热力图。它们分别回答“谁最好”“为什么”“坏在哪”。MNIST 跑经典算法的最大价值不是刷准确率而是建立“模型假设与数据分布是否匹配”的直觉这种直觉在换到新数据集时比任何一个模型的精调参数都更值钱。希望帮到你。本文还有配套的精品资源点击获取