用鸢尾花数据集做算法比较：从选型到交叉验证的完整实践

简介机器学习期末作业·鸢尾花数据集算法比较资源包面向计算机、电子信息、数学等专业的大学生课程设计与期末大作业场景。资源自带鸢尾花数据集完整提供Logistic回归、随机森林、KNN、决策树四种经典分类算法的Python源代码并配有README文档说明可直接运行或在此基础上修改参数完成实验报告。压缩包共7个文件包含4个Python脚本、2个配置文件及1个Markdown说明文档整体大小约9KB轻量易用适合初学机器学习分类任务的读者快速上手。目前已有396人学习浏览代码均经过测试运行成功注释清晰、编程思路明确作者为有十年仿真经验的算法工程师遇到运行问题可私信交流。资源价值在于完整呈现四种算法在同一数据集上的横向对比流程可作为期末作业或毕业设计的参考模板帮助理解不同分类器的特性与参数影响并支持自定义扩展。1. 为什么一个 150 条数据的“玩具集”能难住期末作业算法比较的真正门槛鸢尾花数据集大概是机器学习课里重复率最高的名字但期末作业做到“算法比较”这一步时翻车的人反而比做工程项目的人还多。原因很简单这个数据集太干净、太简单了简单到几乎所有分类算法都能跑出 95% 以上的准确率。于是“比较”变成了“撞运气”谁随机种子抽得好看谁分数就高报告里写不出任何有信息量的结论。这篇笔记要解决的正是这个问题。我会带你过一遍用鸢尾花数据集Iris Dataset做算法比较的完整落地流程数据集从哪来、五个常用分类算法怎么选型、评估方法和可视化怎么做、报告和源码结构怎么组织。重点放在“怎么比才算有效”——包括交叉验证、标准化、随机种子这些决定结论是否可信的细节。适合正在写机器学习期末作业的同学以及想把“调包跑准确率”升级成“能解释原理”的自学者。2. 鸢尾花数据集150 条样本为什么能承载完整的机器学习流程2.1 数据集结构拆解类别、特征、样本量与任务类型鸢尾花数据集Iris由英国统计学家 Ronald Fisher 在 1936 年引入包含 150 条样本均匀分布在三个品种中山鸢尾Setosa、变色鸢尾Versicolor和维吉尼亚鸢尾Virginica每个品种恰好 50 条。每条样本有四个数值特征花萼长度sepal length、花萼宽度sepal width、花瓣长度petal length、花瓣宽度petal width单位是厘米。标签是品种名所以这是一个标准的三分类监督学习任务。从数据形态上看150 条样本、4 个特征、3 个类别矩阵是 [150, 4]结构非常小巧。但这个数据集的特殊之处在于它的可分离性其中山鸢尾这个类别只需要花瓣长度一个特征就能和另外两类完全分开而变色鸢尾和维吉尼亚鸢尾在特征空间里有少量重叠。这种“部分线性可分、部分不可分”的结构恰好能让不同的算法表现出差异——这也是算法比较能写出内容的基础。作业里常见的误区是不看数据就直接跑模型结果选型理由全靠“我听学长说 SVM 很牛”。正确做法是先做一步简单的数据探查用 pandas 看一下数据分布、用 seaborn 画两两特征之间的散点图矩阵你会发现花瓣长度和花瓣宽度这两个特征线性相关性非常高分类信息集中在这两个维度上。这一步不需要花很多时间但能让报告里的“特征分析”部分有据可依。2.2 从 sklearn 加载与手动读取 CSV两种做法的取舍加载鸢尾花数据集最常见的方式是使用 scikit-learn 内置的数据加载工具load_iris()它会直接返回 Bunch 对象包含data、target、feature_names、target_names。这种方式的优势是零成本、无需下载文件且数据格式已经对齐了 sklearn 的 API适合快速跑通实验。from sklearn.datasets import load_iris import pandas as pd # 加载内置数据集 iris load_iris() # 转为 DataFrame方便查看和后续处理 df pd.DataFrame( iris.data, columnsiris.feature_names ) df[label] iris.target df[species] df[label].map({i: name for i, name in enumerate(iris.target_names)}) print(df.shape) print(df.head()) print(df[species].value_counts())这段代码把 sklearn 内置的鸢尾花数据包装成了一个标准的 DataFrameiris.data是形状为 [150, 4] 的特征矩阵iris.target是形状为 [150] 的整数标签0、1、2 分别对应三个品种feature_names是四个特征名。映射字典把整数标签转换为可读的品种名方便直接观察数据分布。手动读取 CSV 的路径则更贴近真实工程场景。课程组发的“自带鸢尾花数据集”通常就是一个iris.csv文件里面可能带表头也可能不带特征列顺序也可能和 sklearn 默认顺序不同。遇到这种情况先别急着读入模型用 pandas 查看前几行确认列名和单位是第一步。import pandas as pd # 读取本地 CSV这里假设第一行是表头 df pd.read_csv(iris.csv) # 如果没有表头用 names 参数手动指定 # df pd.read_csv(iris.csv, headerNone, # names[sepal_length, sepal_width, # petal_length, petal_width, species]) print(df.head()) print(df.dtypes)我的建议是作业要求重点在“算法比较”而不是“数据加载”所以优先用load_iris()稳定性最高。但如果题目明确要求“自带鸢尾花数据集”那就要把它当成一次真实的数据接入练习——确认列名、确认缺失值、确认标签编码方式这些小细节反而能成为报告里的加分项。2.3 训练集与测试集划分随机种子不是玄学是复现底线数据划分是算法比较里最容易忽视、影响却最大的环节。如果所有算法都在同一批训练数据和同一批测试数据上评估结论才有可比性如果每次跑都重新随机划分算法之间的差异就会被数据划分的随机性淹没。from sklearn.model_selection import train_test_split # 固定随机种子保证每次运行划分结果一致 X_train, X_test, y_train, y_test train_test_split( iris.data, iris.target, test_size0.2, random_state42, stratifyiris.target ) print(训练集样本数:, X_train.shape[0]) print(测试集样本数:, X_test.shape[0])这里两个关键参数是random_state42和stratifyiris.target。random_state固定了随机数生成器的种子确保每次运行划分到训练集和测试集的样本索引完全相同这是“实验结果可复现”的最基本要求。stratify表示按标签比例分层采样因为鸢尾花数据集每个类别只有 50 条如果纯随机划分测试集里某一类可能只分到 5 条导致评估结果波动很大。分层采样保证训练集和测试集里三个类别的比例都接近 1:1:1。3. 算法选型与横向比较五个模型在 Iris 上的行为差异3.1 比较哪几个算法按模型复杂度梯度选型算法比较作业的核心难点不是“跑通一个算法”而是“选一组有价值的比较对象”。我建议按模型复杂度梯度选择五个经典算法K近邻KNN、逻辑回归Logistic Regression、决策树Decision Tree、支持向量机SVM、朴素贝叶斯Gaussian Naive Bayes。这五个模型分属不同流派——KNN 是基于实例的方法逻辑回归是线性模型决策树是树模型SVM 是最大间隔分类器朴素贝叶斯是生成式模型比较它们能覆盖机器学习算法的主流分类逻辑。选型理由要写在报告里。比如选 KNN 是因为它没有显式训练过程、直接基于样本距离决策选逻辑回归是因为它是线性分类器的代表能直接输出概率选决策树是因为它有天然的可解释性、能展示特征重要性选 SVM 是因为它擅长处理高维空间中的线性不可分问题配合核函数可以扩展到非线性决策边界选朴素贝叶斯是看它在特征条件独立假设下、用极大似然估计做分类的效果。这样五个算法各说一个“为什么选它”报告的分析深度立刻就不一样了。3.2 标准化的必要性与最小实现代码决策树和朴素贝叶斯对特征尺度不敏感但 KNN、SVM、逻辑回归这类基于距离或梯度的算法特征尺度不统一会直接扭曲模型结果。鸢尾花数据集的四个特征量纲相同、数值范围相近但花萼宽度和花瓣长度的方差差异依然存在。用StandardScaler做标准化是算法比较前的标准动作——它把每个特征变换为均值为 0、方差为 1 的分布让不同量纲的特征在距离计算中拥有相同的权重。from sklearn.preprocessing import StandardScaler # 先实例化 scaler再 fit 训练集 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 测试集用同一个 scaler 做 transform不重新 fit X_test_scaled scaler.transform(X_test) print(标准化后训练集特征均值:, X_train_scaled.mean(axis0).round(4)) print(标准化后训练集特征标准差:, X_train_scaled.std(axis0).round(4))这里的顺序有一个常见的坑StandardScaler只能fit在训练集上然后同时用这个已经拟合好的模型去transform训练集和测试集。如果在测试集上重新fit均值和方差就用了测试集的统计量这属于“数据泄露”的变体会让测试集评估结果偏乐观。标准化后的数据应近似满足均值为 0、标准差为 1上面代码里打印的两行输出就是用来验证这一点的。3.3 交叉验证用 5 折交叉验证分数替代单次准确率单次划分训练集和测试集只能得到一个准确率这个数值受运气影响太大。5 折交叉验证的主流程是把训练集均分成 5 份每次取 1 份做验证、其余 4 份做训练轮流 5 次最后得到 5 个分数取平均值和标准差。这样能评估模型在数据分布略有变化时的稳定性。from sklearn.model_selection import cross_val_score from sklearn.neighbors import KNeighborsClassifier from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.svm import SVC from sklearn.naive_bayes import GaussianNB models { KNN: KNeighborsClassifier(n_neighbors5), LogisticRegression: LogisticRegression(max_iter1000), DecisionTree: DecisionTreeClassifier(random_state42, max_depth3), SVM: SVC(kernelrbf, random_state42), GaussianNB: GaussianNB() } # 在标准化后的训练集上做 5 折交叉验证 for name, model in models.items(): scores cross_val_score( model, X_train_scaled, y_train, cv5, scoringaccuracy ) print(f{name}: 平均准确率{scores.mean():.4f}, 标准差{scores.std():.4f})cross_val_score返回的是 5 个分数组成的数组scores.mean()是平均准确率、scores.std()是标准差。判断标准是平均分看模型性能上限标准差看模型稳定性——均值相近时标准差更小的模型更值得选。KNN 在鸢尾花数据集上通常表现很好因为花瓣特征对类别区分度极高最近邻的分类逻辑天然契合SVM 用 RBF 核也能拿到相似的高分。决策树设置max_depth3是为了防止过拟合树长得太深会把训练集里的噪声也学进去。3.4 测试集上的最终评估与报告数据表交叉验证是在训练集上做的内部评估最终结论还要看模型在完全没见过的测试集上的表现。这一步要直接输出每个模型的预测准确率和交叉验证分数做对照——如果两者差距很大说明模型过拟合了训练集。from sklearn.metrics import accuracy_score results [] for name, model in models.items(): # 用交叉验证阶段同样的超参数重新训练完整训练集 model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) acc accuracy_score(y_test, y_pred) results.append({Model: name, Test Accuracy: round(acc, 4)}) # 打印结果表 result_df pd.DataFrame(results).sort_values(Test Accuracy, ascendingFalse) print(result_df)评估时用的是“同一个模型重新在完整训练集上 fit 一遍”的方式而不是直接用交叉验证里的某个子模型预测因为交叉验证的每个子模型只用了 80% 的训练数据直接拿来做预测是不严谨的。输出结果是一个按测试准确率降序排列的表格这里大概率会看到多个算法的准确率集中在 0.93 到 1.00 之间——这恰恰说明数据集难度低需要靠交叉验证标准差和后续的细粒度分析来区分算法差异。4. 可视化与评价指标算法比较需要证据链支撑4.1 混淆矩阵与分类报告看准率、召回率和 F1 的差异准确率在类别均衡的鸢尾花数据集上会显得过于乐观因为它把所有类别一视同仁。为了看清每个类别的具体表现需要借助classification_report和混淆矩阵。这两个工具能把“哪些样本被分错了、被错分到了哪个类”这种细节暴露出来。from sklearn.metrics import classification_report, confusion_matrix import matplotlib.pyplot as plt import seaborn as sns # 以 KNN 为例展示单个模型的分类报告 model KNeighborsClassifier(n_neighbors5) model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) print(classification_report( y_test, y_pred, target_namesiris.target_names )) # 绘制混淆矩阵 cm confusion_matrix(y_test, y_pred) plt.figure(figsize(6, 5)) sns.heatmap(cm, annotTrue, fmtd, xticklabelsiris.target_names, yticklabelsiris.target_names, cmapBlues) plt.title(Confusion Matrix - KNN) plt.xlabel(Predicted Label) plt.ylabel(True Label) plt.show()从分类报告里能直接看到山鸢尾setosa的 precision 和 recall 通常都是 1.00因为它的特征空间与其他两类完全不重叠任何分类器都不可能把它分错。真正有区分度的是变色鸢尾versicolor和维吉尼亚鸢尾virginica的交界处这两个类别在花瓣长度和宽度上有少量交叉不同的算法在这里的取舍会不同。混淆矩阵的热力图中非对角线上的数字就是错分的数量和方向对比多个算法的混淆矩阵能看出哪个算法的错误更集中。4.2 决策边界可视化从“准确率数字”到“分类逻辑”很多同学提交的作业里只有数字表格这很浪费——鸢尾花数据集做算法比较的最大优势就是二维可视化。选两个特征画平面图用背景色表示模型的预测区域就能直观看到不同算法的决策边界形状。KNN 的边界是锯齿状不规则的SVM 的边界是平滑弧线决策树是分段平面这个差异写进报告比任何文字都有说服力。import numpy as np from matplotlib.colors import ListedColormap # 只用花瓣长度和花瓣宽度两个特征做可视化 X_vis X_train_scaled[:, 2:4] y_vis y_train # 定义网格 x_min, x_max X_vis[:, 0].min() - 1, X_vis[:, 0].max() 1 y_min, y_max X_vis[:, 1].min() - 1, X_vis[:, 1].max() 1 xx, yy np.meshgrid( np.arange(x_min, x_max, 0.02), np.arange(y_min, y_max, 0.02) ) fig, axes plt.subplots(1, 3, figsize(15, 4)) colors ListedColormap([#FFAAAA, #AAFFAA, #AAAAFF]) for ax, (name, model) in zip(axes, [ (KNN, KNeighborsClassifier(n_neighbors5)), (SVM, SVC(kernelrbf, random_state42)), (DecisionTree, DecisionTreeClassifier(random_state42, max_depth3)) ]): # 注意每个模型要在二维特征上重新训练 clf model.fit(X_vis, y_vis) Z clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z Z.reshape(xx.shape) ax.contourf(xx, yy, Z, alpha0.4, cmapcolors) scatter ax.scatter( X_vis[:, 0], X_vis[:, 1], cy_vis, edgecolork, cmapcolors ) ax.set_title(f{name} Decision Boundary) ax.set_xlabel(Petal Length (scaled)) ax.set_ylabel(Petal Width (scaled)) plt.tight_layout() plt.show()这段代码的细节在于可视化时只用特征矩阵的后两列花瓣长度和宽度并且要在这些二维数据上重新训练模型而不是直接用 4 维模型做预测——4 维特征的决策边界无法在二维平面中完整呈现。np.meshgrid生成密集网格点clf.predict为每个网格点分配类别然后contourf填充预测区域模型之间的判别逻辑差异就一目了然。4.3 学习曲线判断模型处于欠拟合还是过拟合区间学习曲线展示的是训练集大小与模型表现的关系。横轴是训练样本数量纵轴是分数同时画出训练集分数和交叉验证分数。如果两条曲线在样本量增大时逐渐靠拢且最终都维持在高位说明模型状态健康如果训练集分数远高于交叉验证分数说明过拟合如果两条曲线都低且平行说明欠拟合。from sklearn.model_selection import learning_curve train_sizes, train_scores, val_scores learning_curve( SVC(kernelrbf, random_state42), X_train_scaled, y_train, cv5, train_sizesnp.linspace(0.2, 1.0, 5), scoringaccuracy ) train_mean train_scores.mean(axis1) val_mean val_scores.mean(axis1) plt.figure(figsize(7, 5)) plt.plot(train_sizes, train_mean, o-, labelTraining Score) plt.plot(train_sizes, val_mean, s-, labelCross-Validation Score) plt.xlabel(Training Set Size) plt.ylabel(Accuracy) plt.title(Learning Curve - SVM (RBF Kernel)) plt.legend() plt.grid(True) plt.show()learning_curve返回三个数组train_sizes是实际使用的训练集大小序列train_scores和val_scores分别对应训练集和验证集上的交叉验证分数矩阵每一行是不同训练集大小的结果。注意这里回报的形状是 [n_sizes, n_splits]所以取axis1的均值。鸢尾花数据集上多数模型的学习曲线会显示训练集分数和验证集分数很快收敛且都接近 1.0这说明 150 条样本对这个任务而言已经足够。5. 期末作业避坑指南算法比较结果不可信的四个典型原因5.1 坑一测试集上重新做了标准化拟合现象测试集准确率出奇地高甚至比交叉验证分数还高报告里的数据和课堂讨论的常见结果明显不符。原因对训练集和测试集分别调用fit_transform导致测试集的均值和方差也参与了标准化计算。测试集的信息通过统计量间接注入到模型输入中这属于数据泄露。模型不是“猜测”了测试集的分布而是“提前知道了”测试集的均值和方差。解决先fit训练集得到 scaler再统一transform训练集和测试集。更保险的做法是使用Pipeline把标准化和模型训练封装成一个整体然后用cross_val_score整体做交叉验证这样每一折都只会 fit 在训练折上。from sklearn.pipeline import Pipeline pipe Pipeline([ (scaler, StandardScaler()), (svm, SVC(kernelrbf, random_state42)) ]) scores cross_val_score(pipe, iris.data, iris.target, cv5) print(fPipeline 交叉验证准确率: {scores.mean():.4f})5.2 坑二用了全量数据训练再评估没有预留测试集现象模型准确率 100%但被老师质疑“你验证的是什么”原因没有做训练测试集划分直接用 150 条数据训练再在同样的 150 条数据上预测。模型“背”下了样本准确率自然虚高但这一数字无法说明泛化能力。解决严格走train_test_split或交叉验证的流程确保评估数据不出现在训练过程中。报告中也要明确标注每个准确率是“测试集上的结果”还是“交叉验证结果”。5.3 坑三只比较准确率不看标准差和类别明细现象五个算法测试准确率都在 0.93 到 0.97 之间报告里只能列出三个数字不知道怎么写分析。原因准确率在这个数据集上区分度太低。算法间的真实差异体现在交叉验证标准差、错分样本位置、以及对特定类别的偏好上。比如某个算法把变色鸢尾错分成维吉尼亚鸢尾 3 次而另一个算法只错了 1 次——这个差异比 0.01 的准确率差值更有分析价值。解决对每个算法都给出三件套5 折交叉验证的 mean±std、测试集准确率、混淆矩阵。报告分析部分至少针对“哪些类别的交界处最容易错分”展开。5.4 坑四调了超参数但没在报告里给出调参依据现象KNN 的n_neighbors从 5 改成 3准确率涨了 0.02但报告里没有说明为什么选 3。原因把调参当成撞墙实验不知道每个参数的含义。KNN 的 k 值影响决策边界平滑度k 越小边界越复杂、越容易过拟合k 越大边界越平滑、但可能欠拟合。决策树的max_depth同理控制树的复杂度。解决用网格搜索或手动遍历展示 k1 到 k15 的分数变化曲线并在报告里写一句“k3 时准确率最高但 k5 时方差更小最终选择 k5 是权衡精确度和泛化能力的结果”。这种写法比单纯展示最好的数字高级得多。6. 从期末作业到真实评估给算法比较结果加一层可信度验证先把单个算法的流程跑通之后我建议你再花一小时做一次更严格的验证——用 K 折交叉验证合并所有折的预测结果重新计算混淆矩阵和分类报告。这样得到的结果来自整个训练集而不只是其中一折的数据更接近模型的真实表现。from sklearn.model_selection import StratifiedKFold from sklearn.base import clone # 保留测试集仅在训练集上做分层 K 折合并预测 skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) ensemble_pred np.zeros(len(X_train), dtypeint) ensemble_proba np.zeros((len(X_train), 3)) for fold, (train_idx, val_idx) in enumerate(skf.split(X_train_scaled, y_train)): fold_model clone(logistic_model) fold_model.fit(X_train_scaled[train_idx], y_train[train_idx]) ensemble_pred[val_idx] fold_model.predict(X_train_scaled[val_idx]) ensemble_proba[val_idx] fold_model.predict_proba(X_train_scaled[val_idx]) print(K 折合并预测的平均准确率:, accuracy_score(y_train, ensemble_pred)) print(classification_report(y_train, ensemble_pred, target_namesiris.target_names))与传统 K 折交叉验证只报告均值不同这种做法的优势是能为每一条训练样本生成一个“折外预测”拼合后得到完整的混淆矩阵。clone的作用是复制一个全新的、未经训练的模型对象避免不同折之间共享参数状态。注意逻辑回归要能输出概率需要设置predict_proba可用默认是支持的。如果换成 SVM记得设置probabilityTrue才能输出概率值。另一个值得做的验证是画出每个模型的 ROC 曲线虽然鸢尾花是多分类任务但可以用OneVsRest策略对每个类别单独算 ROC。准确率告诉你“分对了多少”ROC 曲线下方的面积则能告诉你“模型对类别的置信度排序是否合理”。当你把 ROC 曲线和决策边界图放进报告附录时这份作业的完成度已经明显高于同期大部分提交了。最后说一个我自己的习惯每次跑实验前都会在代码文件开头的注释里写下本次对比的算法清单和预期结论跑完后比对预期和实际是否一致。这个习惯帮我发现过很多次随机种子写错、特征列顺序错位之类的低级问题。期末作业的价值不在于证明某个算法天下第一而在于搭建一套自己信服的评估流程。希望这篇笔记能帮你在作业中少走弯路。本文还有配套的精品资源点击获取