Kmeans聚类与可视化实战：原理、代码与验证方法

简介KMeans聚类是机器学习中常用的无监督学习方法适合对未知类别数据进行分组。该资源提供一套完整的KMeans聚类样本与可视化源码面向机器学习初学者、数据分析人员以及需要做故障类型识别的研究者。压缩包内共2个文件包含一个MATLAB脚本.m用于实现聚类流程与绘图一个Excel数据文件.xlsx存放设备异常加热片段等样本数据整体仅57KB轻量易用。资源结合Calinski-Harabasz指数帮助确定最佳聚类数并配有散点图等可视化展示便于直观理解聚类效果。已有4508人学习下载适合用于教学演示、算法实验或故障诊断场景。通过运行该脚本读者可以掌握KMeans从数据处理、聚类到结果可视化的完整流程并能够迁移到自己的数据集上使用。1. 为什么“Kmeans聚类可视化”成了一套固定动作拿到一批没有标签的样本第一件想做的事通常是找出它内部是不是天然分成几拨群体。Kmeans聚类的直观、易解释和高性价比让它成了这类探索性分析的默认起点。但很多时候聚是聚了几团结果往表格里一放根本看不出好坏只有把样本、簇中心和迭代过程画在图上你才知道这个模型到底有没有分出错。这也是这类项目必须带上可视化的原因聚类本身是“黑匣子”性质的建模动作画图则是打开黑匣子换回直觉的唯一低成本手段。对于做数据分析、用户分群或特征工程的从业者来说一套“Kmeans聚类可视化源码”不是玩具而是日常快速验证数据结构、检查特征工程质量、甚至给下游业务写结论的标准工作流。这篇就是按我实际写这类源码时的顺序来拆先讲算法本体的关键细节再讲数据和代码怎么组织最后把可视化和验证套路完整落在能直接运行的代码上。2. Kmeans原理与源码选型自己写还是用scikit-learn2.1 手写一遍迭代逻辑用欧氏距离解释Kmeans为什么收敛很多人第一次读Kmeans的数学描述会卡在“最小化簇内平方和”这句话上。其实它的操作本质非常朴素在样本空间里随机或者启发式地摆k个中心点然后反复执行两个动作——把每个样本归到距离最近的中心再把中心挪到归属它的那批样本的重心位置。这两个动作交替做簇内平方和inertia在每一步都不会变大所以迭代必然收敛只是收敛到的是局部最优还是全局最优要靠初始点来赌。这里有一个生产环境里很关键的细节Kmeans里的“距离”默认指欧氏距离也就是各维度差值的平方和再开根号。欧氏距离对每个特征的数值尺度一视同仁所以特征是“米”还是“厘米”、是“元”还是“分”直接决定距离计算被哪个维度操纵。这也是我习惯在代码里紧挨着聚类前面放一个标准化的原因后面避坑章节会重点说。为了让你能直观理解“中心点怎么挪”我一般建议在正式调库之前先用几十行代码复现一次Kmeans。别小看这个步骤它能帮你把聚类过程和后续的可视化串起来——因为你能拿到每一次迭代的中心点坐标而不是只拿到最终结果。下面这段就是最简实现import numpy as np def kmeans_simple(X, k, max_iter30, seed0): rng np.random.default_rng(seed) # 常见做法从样本里随机挑k个点作为初始中心 idx rng.choice(len(X), sizek, replaceFalse) centers X[idx].copy() history [] # 记录每一轮的中心供可视化使用 for _ in range(max_iter): history.append(centers.copy()) # E步按欧氏距离把样本划给最近的中心 dists np.linalg.norm(X[:, None, :] - centers[None, :, :], axis2) labels dists.argmin(axis1) # M步重新计算每个簇的质心 new_centers np.array([X[labels c].mean(axis0) for c in range(k)]) if np.allclose(new_centers, centers, rtol1e-4): centers new_centers break centers new_centers history.append(centers.copy()) return labels, centers, history逻辑说明dists那行用广播机制一次性算出所有样本到所有中心的距离矩阵argmin得到最近的簇编号M步则通过布尔索引把每个簇的样本取出来求平均得到新中心。history数组把每轮中心都存了一份这是让“收敛过程可视化”成为可能的关键。参数说明k由业务预期或后面的手肘法确定max_iter不建议开太大一般100到300足够seed固定后每次跑出来的初始点和结果完全一致方便对比不同参数时的效果。rtol1e-4是收敛判断阈值意思是中心点移动幅度小于这个相对误差就认为收敛完成。2.2 源码怎么组织sklearn KMeans 接口对比手写版本手写版本解决了“理解”的问题但真正的生产代码我依然会用scikit-learn的KMeans。原因很直接n_init多初始点择优、k-means初始化、并行计算这些策略已经过大规模验证性能和对边界情况的处理都比自己写的稳。周志华的《机器学习》里把Kmeans放在聚类章节的第一个算法来讲不是因为它简单而是因为它是理解后续所有原型聚类、层次聚类、密度聚类的地基。from sklearn.cluster import KMeans from sklearn.datasets import make_blobs from sklearn.preprocessing import StandardScaler # 生成1500个样本、5个簇的二维演示数据方便直接可视化 X_raw, y_true make_blobs(n_samples1500, centers5, cluster_std0.8, random_state42) # 标准化让每个特征的均值为0、方差为1 scaler StandardScaler() X scaler.fit_transform(X_raw) # 训练模型 km KMeans(n_clusters5, initk-means, n_init10, max_iter300, random_state42) km.fit(X) labels km.labels_ centers_scaled km.cluster_centers_逻辑说明fit之后km.labels_是每个样本的簇编号km.cluster_centers_是最终中心点坐标。注意centers_scaled是在标准化后的空间里算的后面画图如果要叠加到原始坐标系的散点图上需要先做inverse_transform否则横纵轴刻度对不上。参数说明init用k-means它让初始中心互相离得远明显降低落入坏局部最优的概率n_init10表示从10组不同初始点出发取inertia最小的那组结果这是对抗随机性的常规做法random_state固定后别人在你机器上复现时能得到完全一样的簇。新版本scikit-learn里n_init默认值改成了auto它会根据数据量自动决定跑几轮但个人习惯还是显式写上10。选型对比可以看这张表它是我在方案评审时经常用来对外解释“为什么这次选Kmeans”的素材算法簇形状假设时间复杂度参数敏感度可视化友好度Kmeans近似球形低中等k值敏感很高中心点和边界清晰层次聚类python生态AgglomerativeClustering任意但受连接规则影响较高低但树状图解释成本高树状图适合小样本DBSCAN任意密度形状低高eps和min_samples高但调参靠经验选型理由一句话总结样本量上万、特征量级统一、只要快速看个分群结构Kmeans永远是第一个跑的实验层次聚类适合小样本看层级关系DBSCAN适合形状怪异且密度不均匀的数据但这两者在生产里的调参成本和解释成本都比Kmeans高。3. 样本数据准备到聚类执行让这套源码在你机器上跑起来3.1 样本数据结构与清洗不是随便拿张表就能聚聚类算法对输入数据的要求比监督学习更挑剔因为它没有标签帮你纠错。最常见的数据结构是DataFrame每一行是一个样本每一列是一个特征。但在把表喂给KMeans之前有一类问题必须处理缺失值和异常值。Kmeans的距离计算要求每个样本在每个维度上都有数值缺失值会直接报错而极端的异常值会把中心点拉偏甚至让某个簇变成“只有一个点”的孤岛。import pandas as pd import numpy as np # 模拟一份含噪声的真实业务表用户ID 两个数值特征 df pd.DataFrame({ user_id: range(100), feature_a: np.random.normal(50, 10, 100), feature_b: np.random.normal(30, 5, 100), }) # 丢掉特征缺失的样本防止KMeans直接报错 df df.dropna(subset[feature_a, feature_b]) # 用IQR识别并剔除极端异常值避免中心点被拉走 def remove_outliers(s): q1, q3 s.quantile(0.25), s.quantile(0.75) iqr q3 - q1 return s[(s q1 - 1.5 * iqr) (s q3 1.5 * iqr)] for col in [feature_a, feature_b]: df df[df[col].isin(remove_outliers(df[col]))] # 注意聚类只保留特征列user_id不能参与距离计算 features df[[feature_a, feature_b]].values逻辑说明dropna保证进入算法的数据完整IQR法剔除超出1.5倍四分位距的样本这是对异常值比较稳健的粗筛比直接用均值加减三倍标准差更抗极端值干扰。最后取features时特意把user_id排除掉用户ID是标识符而不是特征放进距离计算只会产生一个和业务无关的巨大维度。参数说明IQR的1.5倍是统计学里的常用默认值数据分布很偏时可以把倍数调大到2到3实际项目中异常值剔除与否还要看业务上这些点是否本身就值得单独研究有时候离群点反而是要发现的“重点用户”。3.2 训练与标签回填把聚类结果接回业务表聚类跑完后最容易被忽略的一步是把簇标签写回原始DataFrame。很多初学者只拿着labels画个图就结束了等要分析“每个簇里的人到底有什么特征”时还得重新对一遍索引纯属给自己挖坑。正确做法是在清洗后的dataframe上直接新增一列让每个样本的簇编号和特征值待在同一个表里。from sklearn.cluster import KMeans # 在标准化后的数据上训练 X_scaled scaler.fit_transform(features) km KMeans(n_clusters3, n_init10, random_state42) km.fit(X_scaled) # 标签回填到原始业务表 df[cluster] km.labels_ # 查看每个簇的样本量和特征均值快速判断分群是否有业务含义 cluster_profile df.groupby(cluster)[[feature_a, feature_b]].mean() print(cluster_profile)逻辑说明groupby之后的均值表能立刻反映三个簇在各特征上的中心差异。如果某个簇的feature_a和feature_b的均值都和其他簇重叠得厉害说明k值选得不好或者特征区分度不够这时候再画图确认比直接拿标签下结论负责得多。参数说明这里用3个簇只是演示真实场景中k值的确定一般先用手肘法看inertia曲线再用轮廓系数辅助判断具体脚本在最后一章给出。回填标签时建议把原始特征和标准化特征都保留一份原始特征用于解释业务含义标准化特征用于后续计算。另外提一个我踩过的坑聚类完成后如果把它当成特征工程的一环直接把这些簇编号作为新特征喂给下游模型千万记得簇编号是类别型变量而不是数值型变量。数值型处理会引入“簇1小于簇2”这种错误顺序应该one-hot编码后再接下游模型。4. 可视化落地迭代过程、簇形态和高维投影4.1 收敛可视化看到inertia降下去才算真正理解Kmeans模型只给一个最终inertia值但训练过程是怎么跌跌撞撞收敛的它不会告诉你。用第2章那个手写版本的history数组可以把每一轮的中心点轨迹画出来。这种“收敛可视化”在生产里最大的价值不是好看而是快速判断训练是否正常inertia曲线平滑下降说明算法在按预期工作曲线剧烈震荡说明数据里有异常点或者k值完全不合理。import matplotlib.pyplot as plt # 使用2.1节实现的kmeans_simple它会返回每轮迭代的中心点 labels, centers, history kmeans_simple(X, k3, seed0) # 计算每轮迭代的簇内平方和inertia def compute_inertia(X, labels, centers): total 0 for i, c in enumerate(centers): total np.sum((X[labels i] - c) ** 2) return total inertia_curve [compute_inertia(X, labels, c) for c in history] plt.figure(figsize(9, 4)) plt.plot(range(1, len(inertia_curve) 1), inertia_curve, markero) plt.xlabel(Iteration) plt.ylabel(Inertia) plt.title(KMeans Convergence Curve) plt.grid(True, alpha0.3) plt.show()逻辑说明history里存的是每一轮迭代开始时的中心点位置所以把它和样本标签代入compute_inertia就能得到每一步的簇内平方和。绘制出来的曲线一般在前几轮急速下降后面趋平这说明算法完成了从“全局调整”到“局部微调”的过渡。参数说明这段代码里的k3只是为了演示真实数据如果k值设得离谱比如实际应该有10个簇你只给2个收敛曲线会下降得很慢且最终inertia居高不下这也是我用收敛曲线辅助验证k值是否合理的习惯。曲线越高说明凑合得越勉强看着就别自欺欺人。4.2 二维与三维散点簇中心和样本一起画降维到二维或三维后用散点图把样本按簇标签着色再把中心点单独标出来这是聚类可视化里最日常的动作。二维图适合放在分析报告正文三维图适合自己旋转着看簇之间的分离程度。这里有一个细节如果训练用的数据做了标准化画图前要把中心点反向变换回原始坐标系否则中心点会落在和样本完全不同的尺度范围里。import matplotlib.pyplot as plt # 假设km是在标准化数据上训练的centers_scaled需要还原 centers_orig scaler.inverse_transform(km.cluster_centers_) plt.figure(figsize(8, 6)) # 按簇标签着色cmap换成tab10能容纳更多簇 scatter plt.scatter(X_raw[:, 0], X_raw[:, 1], ckm.labels_, cmaptab10, s12, alpha0.7) plt.scatter(centers_orig[:, 0], centers_orig[:, 1], cred, markerX, s200, edgecolorsblack, labelcenters) plt.legend() plt.colorbar(scatter) plt.xlabel(Feature A) plt.ylabel(Feature B) plt.title(KMeans Clustering Result with Centers) plt.show()逻辑说明scatter的c参数接收簇标签数组matplotlib会自动按颜色映射区分中心点单独画一层红色X形标记视觉上和样本点区分度很高。如果数据维度不止两维通常取最有解释力的两个特征来画而不是盲目选前两列。参数说明s12是样本点大小样本量超过一万时建议再调小alpha0.7的透明度能缓解点与点互相遮盖的问题cmaptab10支持最多10个簇簇数更多时建议换成gist_rainbow这类高区分度色带。图里用X_raw而不是X_scaled画坐标是因为人读图时只对原始量纲有直观感受。三维画法在代码上和二维几乎一样只是换成Axes3D对象并且中心点用scatter的投影方式落到三个坐标面上。它和二维图比多出来的信息是簇之间的相对空间位置能看出两个平面投影上重叠的簇在高度维度上其实分得很开。4.3 高维数据降维可视化PCA和t-SNE各有各的脾气当特征超过三维画散点图前必须先降维。常见做法是PCA和t-SNE搭配使用PCA是线性降维保留的是全局方差最大的方向结果稳定、可解释t-SNE擅长展开局部结构能把高维里聚在一起的点在二维上拉成明显的一团但它的坐标没有全局意义簇之间的距离、簇的大小都不能当真。生产里我习惯两个都画如果两个图上呈现出的大致分组一致说明聚类结果不是降维方式带来的幻觉。from sklearn.decomposition import PCA from sklearn.manifold import TSNE # PCA降到2维线性方法保留全局结构 pca PCA(n_components2, random_state42) X_pca pca.fit_transform(X_scaled) # t-SNE降到2维非线性方法擅长展开局部簇结构 tsne TSNE(n_components2, perplexity30, n_iter1000, random_state42) X_tsne tsne.fit_transform(X_scaled) fig, axes plt.subplots(1, 2, figsize(14, 5)) axes[0].scatter(X_pca[:, 0], X_pca[:, 1], ckm.labels_, cmaptab10, s10, alpha0.7) axes[0].set_title(PCA Projection) axes[1].scatter(X_tsne[:, 0], X_tsne[:, 1], ckm.labels_, cmaptab10, s10, alpha0.7) axes[1].set_title(t-SNE Projection) plt.show()逻辑说明两个子图用同一个簇标签配色这样能直接对比同一批样本在两种降维方式下的分布差异。如果PCA图上各簇边界模糊但t-SNE图上边界清晰说明簇之间靠的是非线性关系原始特征空间里可能确实分不开。参数说明perplexity是t-SNE里最需要调的参数一般取5到50之间它大致表示每个点附近有多少个邻居参与计算。中小数据集几千样本设30是个稳妥起点样本量大时开太高会显著拉长训练时间。n_iter太小会造成投影结构不收敛前后两次随机种子跑出来的图差异很大所以这里必须固定random_state否则你没法判断看到的分簇是真实结构还是随机初始化的产物。如果项目做的是真正的高维业务数据比如用户画像带几百个特征建议先把PCA加到50维再喂给t-SNE能省掉大部分噪声维度的干扰这也是实践里比直接PCA降2维更稳的路线。多视图聚类一类的更复杂场景需要先对每个视图单独降维再做融合那是另一个话题但可视化的验证逻辑是相通的。5. 避坑Kmeans聚类可视化里的5个常见翻车现场5.1 现象图上一团一团的但聚类结果毫无业务解释力原因数据没有标准化。特征A的取值范围是0到1亿特征B的取值范围是0到1欧氏距离几乎完全由特征A决定特征B在分簇里相当于被静音了。这时候画出来的簇边界再清晰也只是单个维度的“一维劈开”不是真正的多维分群。解决聚类前对所有特征做StandardScaler或MinMaxScaler让每个维度对距离的贡献在同一个量级。我在源码里把fit_transform直接放在KMeans前面就是为了杜绝这个问题。标准化之后如果发现某些维度仍然主导分群可以继续用PCA看每个主成分的载荷找到真正造成分离的特征。5.2 现象同样的代码和数据每次跑出来的簇都不一样原因KMeans的初始中心点带随机性不固定random_state时每次从不同起点出发可能收敛到不同的局部最优。样本量不大、簇形状不明显时这种差异尤其明显。解决在KMeans里固定random_state同时把n_init设到10甚至20。n_init的作用是多次随机初始化并保留最优结果它和random_state是两个配合使用的参数——random_state让初始化可复现n_init负责在可复现的基础上尽量逼近全局最优。如果你对比两个实验的效果请务必保证这两项设置一致。5.3 现象高维数据画了t-SNE看起来簇分得很开但换一组样本全变了原因t-SNE的非线性变换会放大局部结构也会歪曲全局分布它对样本量、perplexity和随机种子高度敏感。把t-SNE图当成真实空间的证据是很多项目决策翻车的源头。解决用PCA和t-SNE双图互验。PCA图保全局t-SNE图看局部两个图结论一致才可信。同时用下一章的轮廓系数这类量化指标作为第三重验证图会骗人数字相对诚实。一定要养成“图指标”一起看的习惯。5.4 现象样本形状是长条形或月牙形Kmeans分出来的簇是“腰斩”原因Kmeans的模型假设是簇近似球形更严格地说是各向同性的高斯簇它用欧氏距离找质心天然无法处理细长或弯曲的簇结构。这不是参数能调的是算法底层的形状假设不匹配。解决检查可视化图上每个簇的形状如果明显是长条、环形或月牙换DBSCAN或层次聚类。DBSCAN不假设簇形状只按密度连通聚类对这类数据反而得心应手。选择算法前先用二维可视化看看数据形态能省掉后面一大轮调参的时间。5.5 现象样本量一大散点图糊成一团黑色啥也看不出来原因matplotlib默认的散点绘制是逐点渲染几十万上百万的点叠加后根本分不出密度层次图和墨迹没区别。解决分情形处理。只画抽样np.random.choice取一万个点左右簇中心全部保留或者用hexbin这类蜂窝密度图用颜色表示点密度适合百万级数据。如果目标是看整体分布而非每个样本hexbin几乎是大型聚类可视化的标配。担心抽样偏了就固定抽样种子保证每次可视化的是同一批点。6. 聚类结果验证从手肘法到轮廓系数再到稳定性可视化只是第一步它给人直觉但不能替代量化验证。我每次跑完聚类都要过三道检验手肘法确认k值有没有选过头、轮廓系数确认簇内紧致和簇间分离程度、跨随机种子的稳定性检验确认结果不是撞大运。这三道验证全部通过图上的结论才敢写进报告。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score from sklearn.metrics import adjusted_rand_score import matplotlib.pyplot as plt K_range range(2, 11) sse, sil_scores [], [] for k in K_range: km KMeans(n_clustersk, n_init10, random_state42).fit(X_scaled) sse.append(km.inertia_) sil_scores.append(silhouette_score(X_scaled, km.labels_)) # 稳定性验证不同随机种子下的聚类结果对比 km_a KMeans(n_clusters5, n_init10, random_state1).fit(X_scaled) km_b KMeans(n_clusters5, n_init10, random_state999).fit(X_scaled) ari adjusted_rand_score(km_a.labels_, km_b.labels_) print(fARI between two independent runs: {ari:.3f}) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(list(K_range), sse, markero) plt.xlabel(k) plt.ylabel(Inertia) plt.title(Elbow Method) plt.subplot(1, 2, 2) plt.plot(list(K_range), sil_scores, markero) plt.xlabel(k) plt.ylabel(Silhouette Score) plt.title(Silhouette Score) plt.show()逻辑说明手肘法看的是inertia随k增加而下降的曲线找“拐点”对应的k值轮廓系数取值在-1到1之间越接近1说明簇内紧凑、簇间分离越好。两者结合能筛掉单纯靠肉眼选k带进来的主观偏差。ARI在两次独立初始化之间对比的是簇划分的一致性接近1表示结果完全可复现低于0.8说明你的数据边界模糊聚类结果要谨慎使用。参数说明K_range从2开始是因为k1时轮廓系数没有定义手肘法判读时如果曲线没有明显拐点说明数据本身没有天然的分簇结构这时候硬分k个簇只能当作给样本打“勉强分组”的标签下结论时要留余地。稳定性验证里选两个差别较大的随机种子跑两次对比ARI是对“随机初始化”这件事最直接的防翻车手段。我现在做任何聚类探索跑完模型的第一件事永远是画收敛曲线和散点图然后再跑这套量化验证——不是为了交可视化作业而是快速判断要不要相信这套模型先看数字再看图里每个簇能不能讲出业务故事这套习惯帮我挡掉过不少表面漂亮实则脆弱的聚类方案。希望帮到你。本文还有配套的精品资源点击获取