Python机器学习入门：scikit-learn从鸢尾花到文本实战

简介本资源为《Python机器学习基础教程》电子书面向零基础或初学机器学习、希望用Python快速上手的开发者与数据爱好者。内容以scikit-learn为核心工具系统讲解监督学习中的k近邻、线性模型、朴素贝叶斯、决策树、支持向量机与神经网络并延伸至无监督学习的聚类与降维如k均值、DBSCAN、主成分分析与t-SNE。同时覆盖数据表示与特征工程、模型评估与改进、算法链与管道、文本数据处理等实战环节帮助读者建立从数据预处理到模型部署的完整认知。资源包内含1个pdf文件大小约10.69MB结构清晰便于按章节检索学习。目前已有544人学习下载适合作为入门教材或案头参考通过阅读与实践逐步掌握机器学习的基本流程与常用算法。1. 从鸢尾花数据集跑通第一个 scikit-learn 模型很多人学机器学习卡在第一步环境装好了库也 import 了但面对一份真实数据不知道从哪下手。Python机器学习基础教程这本书最值钱的地方是它用鸢尾花iris数据集把「加载数据 → 划分训练测试集 → 观察数据 → 训练模型 → 预测 → 评估」这条链路完整走了一遍而且全程只用 scikit-learn 和几十行代码。它面向的是没有机器学习背景、但会写 Python 的开发者不要求你先啃完微积分和概率论。换句话说这是一本「先让你跑起来再告诉你为什么」的实践书。下面我就按书里的顺序把这条链路拆开讲顺带补上原书没细说、但实际动手一定会撞上的坑。2. scikit-learn 环境搭建与核心 API 设计2.1 依赖库的安装与版本对齐书里第 1 章列了五个必装库NumPy、SciPy、matplotlib、pandas、scikit-learn外加一个作者自己写的辅助库 mglearn。mglearn 不是通用库它只是把书里的绘图和数据加载逻辑封装了一下方便教学。实际项目里你不需要它但跟着书敲代码时建议装上否则书里大量mglearn.plots开头的示例会直接报错。安装用 pip 或 conda 都行关键是版本要对齐。scikit-learn 的 API 在不同大版本之间有过破坏性变更比如cross_val_score的cv参数默认行为、LogisticRegression的solver默认值都改过。我一般会锁一个相对稳定的组合# 建议在虚拟环境里装避免污染系统 Python python -m venv ml-env source ml-env/bin/activate # Windows 用 ml-env\Scripts\activate pip install numpy scipy matplotlib pandas scikit-learn pip install mglearn # 书里的辅助库仅学习用装完验证一下版本这一步别省import sklearn import numpy as np import pandas as pd print(scikit-learn:, sklearn.__version__) print(numpy:, np.__version__) print(pandas:, pd.__version__)逻辑说明sklearn.__version__能直接告诉你当前版本如果和书里写的对不上后面某些参数名可能不认。参数说明虚拟环境隔离是硬性建议因为 scikit-learn 依赖 NumPy 和 SciPy 的二进制版本系统级安装很容易和已有科学计算环境冲突。提示如果你用 condaconda install scikit-learn会自动处理 NumPy/SciPy 的二进制兼容问题比 pip 省心尤其在 Windows 上。2.2 估计器 APIfit、predict、score 三件套scikit-learn 最核心的设计是「估计器Estimator」统一接口。不管你是 k 近邻、决策树还是 SVM用法都是同一个套路先实例化再fit再predict。这个一致性是它比手写算法强的地方——换模型只需要换一行实例化代码。from sklearn.neighbors import KNeighborsClassifier from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # 1. 加载数据 iris load_iris() X, y iris.data, iris.target # 2. 划分训练集和测试集random_state 固定保证可复现 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.25, random_state42 ) # 3. 实例化模型n_neighbors 是 k 近邻的 k 值 knn KNeighborsClassifier(n_neighbors3) # 4. 训练 knn.fit(X_train, y_train) # 5. 预测与评估 y_pred knn.predict(X_test) print(测试集准确率:, knn.score(X_test, y_test))逻辑说明fit做的事是从训练数据里学参数k 近邻其实不学参数只是把训练集存下来predict对新样本输出类别score对分类器默认返回准确率。参数说明test_size0.25表示留出 25% 做测试random_state42是随机种子不固定的话每次划分不同准确率会飘。n_neighbors3是 k 值书里后面会专门讲它怎么影响过拟合。2.3 训练集/测试集划分与数据观察书里反复强调一件事绝对不能用训练数据评估模型。模型在见过的数据上表现好是理所当然的你要看的是它在没见过的数据上的表现这就是泛化。train_test_split就是干这个的。划分完之后书里建议先「观察数据」再建模。对 iris 来说可以用 pandas 快速看一眼分布import pandas as pd # 把特征和标签拼成 DataFrame方便观察 df pd.DataFrame(X, columnsiris.feature_names) df[target] y print(df.groupby(target).mean()) # 看每类样本的特征均值 print(df.describe()) # 看整体统计量逻辑说明groupby(target).mean()能看出三个类别在花瓣长度、宽度上的均值差异差异越大说明特征越有区分度。这一步不是走形式实际项目里很多「模型效果差」的问题根源是数据本身有问题比如某类样本极少、特征量纲差了几个数量级。环节对应 API常见坑数据加载load_iris()/read_csv()忘记检查缺失值和标签分布数据划分train_test_split不设random_state结果不可复现模型训练estimator.fit(X_train, y_train)把测试集也喂进 fit预测estimator.predict(X_test)特征列顺序和训练时不一致评估estimator.score()分类问题误用回归指标这张表是我自己踩过坑之后整理的尤其是「特征列顺序」那条——用 pandas 处理完再转 NumPy 时列顺序变了模型不会报错但结果会莫名其妙变差。3. 监督学习算法选型从 k 近邻到核 SVM3.1 k 近邻与模型复杂度k 近邻KNN是书里第一个正经算法因为它几乎没有数学门槛新样本来了看它最近的 k 个邻居里哪个类别多就判成哪个。但它的坑也很典型——k 值直接决定模型复杂度。k1 时模型极度复杂对训练集每个点都完美拟合但测试集上容易过拟合k 很大时模型过于简单欠拟合。import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.datasets import load_breast_cancer cancer load_breast_cancer() X_train, X_test, y_train, y_test train_test_split( cancer.data, cancer.target, stratifycancer.target, random_state66 ) training_acc, test_acc [], [] neighbors range(1, 11) for n in neighbors: clf KNeighborsClassifier(n_neighborsn).fit(X_train, y_train) training_acc.append(clf.score(X_train, y_train)) test_acc.append(clf.score(X_test, y_test)) plt.plot(neighbors, training_acc, label训练集准确率) plt.plot(neighbors, test_acc, label测试集准确率) plt.xlabel(n_neighbors) plt.ylabel(准确率) plt.legend() plt.show()逻辑说明这段代码把 k 从 1 扫到 10分别记录训练集和测试集准确率。你会看到训练集准确率随 k 增大而下降测试集准确率先升后降中间那个峰值就是相对合适的 k。参数说明stratifycancer.target保证划分后正负样本比例和原始数据一致类别不平衡时必加否则测试集可能全是某一类。3.2 线性模型、决策树与集成方法书里第 2 章把线性模型、朴素贝叶斯、决策树、随机森林、梯度提升、核 SVM、神经网络挨个过了一遍。对新手来说重点不是记住每个算法的公式而是知道什么场景选什么。我按书里的结论整理成一张选型表算法适合场景主要缺点线性模型Logistic/Ridge特征维度高、样本线性可分无法拟合非线性关系决策树需要可解释性、混合类型特征不加限制极易过拟合随机森林通用首选、抗过拟合模型大、预测慢梯度提升追求精度、表格数据调参敏感、训练慢核 SVM中小规模、高维数据样本量大时极慢神经网络大数据、图像/文本需要调参和算力决策树那块书里讲了一个关键参数max_depth预剪枝和min_samples_leaf控制树的生长。不限制的话树会一直长到每个叶子只有一个样本训练集准确率 100%测试集惨不忍睹。随机森林则通过「多棵树投票」把单棵树的过拟合平均掉是书里推荐的通用起点。3.3 分类器不确定度decision_function 与 predict_proba书里专门用一节讲「不确定度估计」这点很多入门教程会跳过但实际业务里极其重要。比如医疗诊断模型说「是癌症」但置信度只有 0.51和置信度 0.99处理方式完全不同。from sklearn.ensemble import GradientBoostingClassifier from sklearn.datasets import make_blobs from sklearn.model_selection import train_test_split X, y make_blobs(n_samples200, centers2, random_state0) X_train, X_test, y_train, y_test train_test_split(X, y, random_state0) gbrt GradientBoostingClassifier(random_state0).fit(X_train, y_train) # 决策函数正类得分0 判为正类 print(decision_function:, gbrt.decision_function(X_test)[:5]) # 预测概率两类概率之和为 1 print(predict_proba:, gbrt.predict_proba(X_test)[:5])逻辑说明decision_function返回的是样本到决策边界的带符号距离正负号代表类别绝对值代表置信程度predict_proba返回归一化后的概率。参数说明不是所有分类器都有predict_proba比如标准 SVM 默认没有需要设置probabilityTrue才能开启但会拖慢训练。多分类场景下predict_proba返回的是每个类别的概率向量取argmax就是预测类别。4. 无监督学习与数据预处理实战4.1 标准化、MinMax 与对训练/测试做相同变换书里第 3 章开头就点破一个高频错误对训练集和测试集分别做缩放。正确做法是用训练集的统计量均值、标准差去变换测试集否则测试集的信息会「泄漏」到训练过程里。from sklearn.preprocessing import StandardScaler, MinMaxScaler from sklearn.datasets import load_wine from sklearn.model_selection import train_test_split from sklearn.svm import SVC wine load_wine() X_train, X_test, y_train, y_test train_test_split( wine.data, wine.target, random_state0 ) scaler StandardScaler() scaler.fit(X_train) # 只在训练集上 fit X_train_scaled scaler.transform(X_train) X_test_scaled scaler.transform(X_test) # 用同样的 scaler 变换测试集 svm SVC().fit(X_train_scaled, y_train) print(缩放后测试集准确率:, svm.score(X_test_scaled, y_test))逻辑说明fit计算训练集的均值和标准差并保存transform用保存的值做变换。测试集只transform不fit这是铁律。参数说明StandardScaler把特征变成均值 0、方差 1MinMaxScaler把特征压到 [0,1]对 SVM、KNN、神经网络这类基于距离的算法缩放前后效果差异巨大对决策树则几乎没影响。4.2 PCA、t-SNE 与聚类算法对比降维和聚类是无监督学习的两个主战场。PCA 是线性降维适合做特征压缩和可视化t-SNE 是非线性流形学习专门用来把高维数据压到二维做可视化但它的输出不能当特征用因为每次运行结果都不一样。from sklearn.decomposition import PCA from sklearn.manifold import TSNE from sklearn.datasets import load_digits digits load_digits() X digits.data # PCA 降到 2 维 pca PCA(n_components2) X_pca pca.fit_transform(X) print(PCA 保留方差比例:, pca.explained_variance_ratio_.sum()) # t-SNE 降到 2 维perplexity 控制邻域大小 tsne TSNE(n_components2, perplexity30, random_state0) X_tsne tsne.fit_transform(X)逻辑说明explained_variance_ratio_告诉你前两个主成分保留了多少原始信息太低说明二维可视化会丢很多结构。参数说明t-SNE 的perplexity大致对应「每个点考虑多少个邻居」一般取 5 到 50太小会碎成小团太大会糊成一坨。聚类方面k 均值需要预先指定簇数DBSCAN 不用但依赖eps和min_samples两个参数凝聚聚类适合层次结构明显的数据。5. 模型评估、网格搜索与管道封装5.1 交叉验证与分层 k 折单次train_test_split的评估结果波动很大换个随机种子可能差好几个百分点。交叉验证cross-validation把数据切成 k 折轮流拿其中一折做验证最后取平均结果稳定得多。from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.linear_model import LogisticRegression from sklearn.datasets import load_iris iris load_iris() clf LogisticRegression(max_iter1000) # 分层 5 折交叉验证 skf StratifiedKFold(n_splits5, shuffleTrue, random_state0) scores cross_val_score(clf, iris.data, iris.target, cvskf) print(各折准确率:, scores) print(平均准确率: {:.3f}.format(scores.mean()))逻辑说明cross_val_score内部自动完成「划分-训练-评估」循环返回每折的得分。参数说明StratifiedKFold保证每折里各类别比例一致分类问题优先用它回归问题用普通KFold。shuffleTrue在数据有顺序时必开否则每折分布可能严重偏斜。5.2 网格搜索与参数过拟合网格搜索GridSearchCV是调参的标准工具但它本身也会过拟合——如果你在测试集上反复调参测试集就变相成了训练集。正确做法是网格搜索内部用交叉验证选参数最后只在测试集上评估一次。from sklearn.model_selection import GridSearchCV from sklearn.svm import SVC param_grid { C: [0.001, 0.01, 0.1, 1, 10, 100], gamma: [0.001, 0.01, 0.1, 1, 10, 100], } grid GridSearchCV(SVC(), param_grid, cv5) grid.fit(X_train_scaled, y_train) print(最佳参数:, grid.best_params_) print(最佳交叉验证得分: {:.3f}.format(grid.best_score_)) print(测试集得分: {:.3f}.format(grid.score(X_test_scaled, y_test)))逻辑说明GridSearchCV对参数网格的每个组合做 5 折交叉验证选平均分最高的组合。参数说明SVM 的C控制正则强度越大越容易过拟合gamma控制核函数的「影响半径」越大越容易过拟合。注意best_score_是交叉验证得分不是测试集得分两者差距大说明参数过拟合了。5.3 用 Pipeline 把预处理和模型串起来书里第 6 章的管道Pipeline是整本书最实用的工程技巧。它把「缩放 → 降维 → 分类」串成一个对象交叉验证时每一步的fit都只在训练折上做彻底杜绝数据泄漏。from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression pipe Pipeline([ (scaler, StandardScaler()), (pca, PCA(n_components10)), (clf, LogisticRegression(max_iter1000)), ]) # 管道可以直接当估计器用 pipe.fit(X_train, y_train) print(管道测试集准确率:, pipe.score(X_test, y_test)) # 网格搜索时用双下划线访问步骤参数 param_grid { pca__n_components: [5, 10, 20], clf__C: [0.1, 1, 10], } grid GridSearchCV(pipe, param_grid, cv5).fit(X_train, y_train) print(最佳参数:, grid.best_params_)逻辑说明Pipeline的每个步骤用元组(名字, 估计器)定义除最后一步外都必须有transform方法。参数说明网格搜索里访问步骤参数用步骤名__参数名的双下划线语法这是 scikit-learn 的约定。make_pipeline可以省去起名字但自动生成的名字不好记调参时反而麻烦我一般还是显式命名。6. 文本数据向量化与情感分析技巧6.1 词袋模型与 tf-idf 的取舍书里第 7 章用电影评论情感分析讲文本处理。文本不能直接喂给模型得先转成数值向量。最基础的是词袋Bag of Words统计每个词在文档里出现几次tf-idf 则在此基础上给常见词降权、给稀有词升权。from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.datasets import load_files # 假设数据在 reviews/train 和 reviews/test 目录下每个子目录是一个类别 # 这里用 sklearn 自带的示例数据演示流程 from sklearn.datasets import fetch_20newsgroups data fetch_20newsgroups(subsettrain, categories[alt.atheism, soc.religion.christian]) X_train, X_test, y_train, y_test train_test_split( data.data, data.target, random_state0 ) # 词袋 逻辑回归 vect CountVectorizer(min_df5, stop_wordsenglish) X_train_bow vect.fit_transform(X_train) X_test_bow vect.transform(X_test) clf LogisticRegression(max_iter1000).fit(X_train_bow, y_train) print(词袋模型准确率:, clf.score(X_test_bow, y_test)) # tf-idf 版本 tfidf TfidfVectorizer(min_df5, stop_wordsenglish) X_train_tfidf tfidf.fit_transform(X_train) X_test_tfidf tfidf.transform(X_test) clf2 LogisticRegression(max_iter1000).fit(X_train_tfidf, y_train) print(tf-idf 模型准确率:, clf2.score(X_test_tfidf, y_test))逻辑说明fit_transform在训练集上同时学词表和变换测试集只transform。参数说明min_df5表示忽略出现少于 5 次的词能有效降维stop_wordsenglish去掉英文停用词。中文场景下stop_words要换成自定义中文停用词表分词也得换成 jieba 之类的工具因为 scikit-learn 默认按空格切词。6.2 n 元分词与模型系数解读单个词丢失了语序信息「not good」会被拆成「not」和「good」两个词情感可能判反。n 元分词n-gram把连续 n 个词当成一个特征能部分保留语序。# 1-gram 和 2-gram 混合 vect CountVectorizer(ngram_range(1, 2), min_df3, stop_wordsenglish) X_train_ng vect.fit_transform(X_train) X_test_ng vect.transform(X_test) clf LogisticRegression(max_iter1000).fit(X_train_ng, y_train) print(n-gram 准确率:, clf.score(X_test_ng, y_test)) # 看系数最大的特征理解模型学到了什么 feature_names vect.get_feature_names_out() coef clf.coef_[0] top_positive [feature_names[i] for i in coef.argsort()[-10:]] top_negative [feature_names[i] for i in coef.argsort()[:10]] print(正向特征:, top_positive) print(负向特征:, top_negative)逻辑说明ngram_range(1, 2)同时提取单词和双词组合特征数会膨胀所以min_df要相应调大。参数说明coef_是逻辑回归的权重正值越大越倾向正类负值越大越倾向负类。看 top 特征能验证模型是不是学到了合理的东西——如果正向特征里全是「the」「is」这种停用词说明停用词没去干净。注意n-gram 会让特征维度爆炸min_df设太小内存直接吃满。文本量大时优先用HashingVectorizer它不存词表内存恒定代价是没法反查特征名。6.3 主题建模与文档聚类的落地细节书里最后提到用 LDA隐含狄利克雷分布做主题建模。LDA 假设每篇文档是若干主题的混合每个主题是若干词的概率分布。它和聚类的区别是聚类给每篇文档一个硬标签LDA 给的是主题概率分布一篇文档可以同时属于多个主题。from sklearn.decomposition import LatentDirichletAllocation from sklearn.feature_extraction.text import CountVectorizer vect CountVectorizer(max_features1000, stop_wordsenglish) X vect.fit_transform(data.data) lda LatentDirichletAllocation(n_components5, random_state0, max_iter10) lda.fit(X) feature_names vect.get_feature_names_out() for topic_idx, topic in enumerate(lda.components_): top_words [feature_names[i] for i in topic.argsort()[:-8:-1]] print(主题 {}: {}.format(topic_idx, .join(top_words)))逻辑说明lda.components_是每个主题在各词上的权重分布取权重最高的几个词就能大致看出主题含义。参数说明n_components5是主题数需要根据业务先验或困惑度曲线来定max_iter10是迭代轮数太小没收敛太大浪费时间。实际项目里主题数往往要试好几轮结合人工看 top 词是否可解释来定。文本处理这块最容易翻车的是中文scikit-learn 的CountVectorizer默认按空格分词中文必须传自定义tokenizer常见做法是接 jiebaimport jieba from sklearn.feature_extraction.text import TfidfVectorizer def jieba_tokenizer(text): return [w for w in jieba.cut(text) if len(w) 1] # 过滤单字 vect TfidfVectorizer(tokenizerjieba_tokenizer, min_df3)逻辑说明tokenizer参数接收一个函数输入原始字符串输出词列表。参数说明过滤单字是因为中文单字歧义太大但像「的」「了」这类高频单字本来也该去。jieba 首次运行会加载词典稍慢之后正常。本文还有配套的精品资源点击获取