GMM与DBSCAN聚类实战对比：突破KMeans瓶颈的概率与密度方法

聚类这个问题平时写代码遇到最多的就是 KMeans但真正业务里数据一复杂KMeans 那种按距离画圆的思路往往就不够用了。要么簇的形状不规则要么数据里有明显的离群点要么样本本身存在重叠这时候就该把 GMM 和 DBSCAN 拿出来用。这篇内容来自我之前整理的一份讲义主题就是第五讲的高斯混合模型GMM和基于密度的聚类方法DBSCAN。两者代表了聚类算法里两个很重要的方向一个是基于概率分布的软聚类一个是基于密度的硬聚类。这一讲我不仅会讲清楚它们各自的原理和适用场景还会用真实数据和代码把两者的差异跑出来看完你就能知道什么时候该用谁。GMM 适合处理有重叠、存在软归属的数据DBSCAN 则擅长发现任意形状的簇并且能天然识别噪声点。这篇文章适合正在学机器学习基础的人也适合那些 KMeans 用得溜但在实际项目里总感觉差口气的工程师。我会尽量不走教科书路线而是用我自己的理解把这两个算法讲透。1. 聚类任务的两个方向画形状还是画密度先说一个我自己的体会选聚类算法之前先想清楚数据里到底藏着什么结构。KMeans 之所以在很多人手里显得不够用是因为它本质上只假设簇是凸的、大小差不多的球形结构。这个假设在用户分群、简单样本划分这类场景下还能凑合但如果数据里出现月牙形、环形簇或者各簇密度差异很大KMeans 基本就废了。聚类算法大体上可以分为几个流派基于划分的KMeans、KMeans、基于层次的AGNES、BIRCH、基于密度的DBSCAN、OPTICS和基于概率模型的GMM也就是高斯混合模型。其中 GMM 和 DBSCAN 分别代表了两种完全不同的思路也可以说是聚类任务里两个极端方向。GMM 的逻辑是先假设后验证它假设所有数据由若干个高斯分布叠加混合生成然后去反推每个分布的参数以及每个样本来自哪个分布的概率。这是一种软聚类思路因为每个样本并不是硬性地属于某个簇而是带有概率地分配到多个簇。举个例子一个人群画像数据里一个用户可能 70% 像上班族、30% 像自由职业者GMM 能把这个概率分布表达出来而 KMeans 只能硬生生地把他丢进其中一个类别。DBSCAN 的逻辑则完全不同它不关心数据的分布形状只看密度。它的核心思想是如果某个区域的样本密度超过一个阈值就把它当作一个簇密度稀疏的区域就当作噪声。所以 DBSCAN 能发现任意形状的簇比如环形的、月牙形的甚至嵌套的同时它还能自动把离群点挑出来。这两个算法在实际项目里解决的问题其实是有互补的如果你的数据簇形状复杂、噪声多用 DBSCAN如果你的数据簇之间有重叠你想得到样本归属的概率而不是唯一标签用 GMM。这一讲把两者放在一起讲目的就是帮大家建立一个算法选型的坐标系。1.1 什么时候 KMeans 不够用在用 GMM 和 DBSCAN 之前先得弄明白 KMeans 的局限性到底在哪。KMeans 的目标函数是让簇内样本到质心的欧氏距离平方和最小这在数学上等价于假设每个簇的分布在各个方向上的方差是相同的。也就是说KMeans 隐含地假设每个簇都是圆形或者球形而且大小差不多。举个真实业务里的例子假设你在做电商用户的购买行为聚类老用户中有一批高价值用户他们的消费金额集中在 1000 到 5000 元之间消费频率集中在每月 5 到 20 次另有一批潜力用户消费金额从 50 到 2000 元不等但频率跨度很大。这两拨用户的数据分布如果画出来大概率是一个椭圆形和另一个更扁的椭圆形交叉在一起KMeans 在边界位置就会切错。而 GMM 因为要给每个簇单独学习协方差矩阵能适应这种椭球形的簇边界自然会切得更准。DBSCAN 的思路则是为了应对另一类问题当数据聚类形状不是凸的。最经典的是两个环嵌套的数据集或者类似月牙形交叉的数据这种结构下 KMeans 的簇边界会把本来不属于一起的样本硬拉进同一个簇。DBSCAN 不依赖球状假设只看密度连通性所以面对这种数据反而很轻松。我自己在做项目时的经验是如果只是维度低、簇数量明确、数据接近球形分布的快速聚类直接用 KMeans 准没错因为它快且可解释。但如果你心里对簇的形状、是否有噪声、是否有重叠都还没有底就别急着上 KMeans先画图或者用 GMM、DBSCAN 做探索性分析往往能获得更多信息。1.2 GMM 和 DBSCAN 的互补关系GMM 和 DBSCAN 看着差异很大但它们解决的其实是聚类的两个不同痛点重叠与噪声。GMM 适合处理某个样本可能同时属于多个簇的场景。比如在图像分割里一个像素可能既有天空又有云彩的特征GMM 输出的是像素属于每个类别如天空、树木、建筑的后验概率这样后续处理时就可以结合概率做更精细的判断。这种能力在语音识别里的声学建模、金融风控里的用户风险分层中也用得很多。DBSCAN 则是在簇形状未知、噪声明显的场景里更可靠。比如地理位置的 POI 聚类城市里商圈、住宅区、公园各自分布形状完全不同DBSCAN 能根据密度自然地找出这些热点区域并把稀疏区域的点直接归为噪声。这类任务如果用 GMM 或 KMeans你往往要不断地去调簇数量 K但那些稀疏的噪声点始终会干扰参数估计。更实际的一点是GMM 需要提前指定分量数量也就是簇数量 K而 DBSCAN 不需要。很多人在拿到一批没有标签的数据时其实连应该分成几类这个基本问题都回答不了。这种情况下 DBSCAN 可以先帮你探一下底看看到底能聚出几块比较密集的区域。之后如果你想进一步做概率建模再把 GMM 套上去两者可以形成一条工作流。2. GMM 的核心原理多个高斯分布叠加高斯混合模型这个名字听起来唬人但它背后的直觉很简单你手上有一堆数据点它们看起来混在一起但实际上是由多个团块混合产生的。每个团块就是一个高斯分布有自己独立的均值向量和协方差矩阵。GMM 要做的就是把这些团块的参数反推出来并且告诉每个样本它落在各个团块里的概率分别是多少。从数学上看一个 K 分量的 GMM 的概率密度函数是p(x) Σ(k1..K) π_k · N(x | μ_k, Σ_k)这里面 π_k 是第 k 个高斯分布的混合系数相当于这个团块在总体中的占比满足所有 π_k 之和等于 1N(x | μ_k, Σ_k) 是第 k 个高斯分布的概率密度μ_k 是均值向量Σ_k 是协方差矩阵。也就是说整个数据集的分布被看成是 K 个高斯分布的加权和。对于每个样本 x_i它在第 k 个簇中的后验概率也就是责任度responsibility用贝叶斯公式计算γ(z_ik) π_k · N(x_i | μ_k, Σ_k) / Σ(j1..K) π_j · N(x_i | μ_j, Σ_j)这个 γ 的值就是 GMM 输出的软标签。实际落地时如果我们需要硬标签直接取 γ 最大的那个簇即可。这个软标签在很多场景下特别有用比如在客户流失预警里某个用户属于高流失风险簇的概率为 0.6属于中风险的概率为 0.3你就能根据这个概率分布去定制差异化的运营策略而不是简单粗暴地把他归为一类。2.1 从极大似然到 EM 算法GMM 的参数学习不是像 KMeans 那样直接几步算完的它得靠 EM 算法迭代求解。原因是直接对 p(x) 求极大似然估计时对数里带了个求和号因为每个样本都可能是来自任意一个高斯分量导致没有解析解。EM 算法的思路是既然直接求参数求不出来那就先把每个样本偷偷地分配到某个簇E 步然后基于这些分配结果重新估计参数M 步反复迭代直到收敛。具体来说EM 算法在 GMM 里的步骤是这样的E 步Expectation用当前参数计算每个样本属于每个簇的后验概率 γ(z_ik)这一步相当于在做软分配。M 步Maximization根据 γ(z_ik) 更新每个簇的混合系数、均值向量和协方差矩阵。新的均值就是每个簇内所有样本的加权平均权重就是刚才算出的后验概率。循环执行 E 步和 M 步直到参数变化量小于某个阈值比如 1e-6或达到预设的最大迭代次数比如 100 次模型就训练完成了。我想特别提醒一点EM 算法对初始值敏感不同的初始化可能会收敛到不同的局部最优解。实际工程里推荐的做法是用 KMeans 的结果作为 GMM 的初始聚类中心这样既能让均值初始值更合理也能减少 EM 的迭代次数。sklearn 里的 GaussianMixture 默认就是这种 init_paramskmeans 的做法这也是一种非常务实的工程折中。协方差矩阵的类型covariance_type也是一个需要花心思去选的参数。它有几个选项full每个簇有自己的完整协方差矩阵能学习到任意椭球形状但参数多容易过拟合。tied所有簇共享同一个协方差矩阵模型简单但形状表达能力有限。diag每个簇的对角协方差矩阵各特征独立计算量小适合特征相关性不强的场景。spherical每个簇用一个标量方差相当于 KMeans 的概率版本最快。我在实际应用里的经验是如果特征维度不是很高比如小于 20优先试 full如果数据量不大或者明显感觉某些特征之间存在冗余可以考虑 diag 来降低方差只有在特征已经做过 PCA 降维或者数据本身近似球形时才考虑用 spherical 来提速。2.2 GMM 聚类实操示例光说不练没有意义这里我们直接用 Python 生成一份二维数据看看 GMM 跟 KMeans 在实际效果上的差异。我用的是 sklearn 自带的 make_blobs 和 make_moons 来生成数据然后对比两种算法的聚类结果。拿 make_blobs 生成的三个高斯斑点数据KMeans 和 GMM 的效果都很不错边界几乎一致。但如果把其中一个簇的方差拉大形成椭圆形状KMeans 就会在两个簇交错的地方产生误切而 GMM 因为学了协方差矩阵能适应这种椭圆分布分类边界更贴合真实聚簇。再拿 make_moons 生成的月牙形数据来测KMeans 基本无能为力因为它只能画一条直线或者一个圆的边界无法将两个纠缠的月牙分开。这时候 DBSCAN 就派上用场了后面我会专门演示。用代码生成聚类数据的核心逻辑如下from sklearn.datasets import make_blobs, make_moons from sklearn.mixture import GaussianMixture import matplotlib.pyplot as plt # 生成两个簇其中一个方差较大形成椭圆 X, y_true make_blobs(n_samples1000, centers2, cluster_std[1.0, 3.0], random_state42) # 训练 GMM gmm GaussianMixture(n_components2, covariance_typefull, random_state42) gmm.fit(X) labels gmm.predict(X) proba gmm.predict_proba(X) # 可视化可以用 plt.scatter(X[:,0], X[:,1], clabels, cmapviridis)有一点要注意GMM 训练完如果有软标签需求可以调用predict_proba这在客户分群、异常检测等场景里非常实用比如某样本属于正常簇的概率只有 0.2那它就有可能是异常点。DBSCAN 则做不到这一点它给出的要么是某个簇标签要么是 -1 噪声标签没有概率输出。3. DBSCAN 的核心原理密度相连就是一家人DBSCAN 的全称是 Density-Based Spatial Clustering of Applications with Noise名字虽然长但核心思想就一句话把密度足够大的相邻区域连成一片。它对簇形状没有预设也不需要你指定 K 值唯一需要设定的是两个参数邻域半径 eps 和最小样本数 min_samples。算法先挑一个样本点以它为圆心、eps 为半径画一个圈统计圈内的样本数。如果圈里的样本数大于等于 min_samples这个点就是核心点它圈住的样本都会划入同一个簇然后继续以这些样本为圆心重复画圈扩展直到一圈圈扩散到再也找不到满足条件的核心点。那些在簇内但不满足核心点条件的点叫边界点最终剩下的、没有被任何簇纳入的点就是噪声点。用一句话概括DBSCAN 把样本分为核心点、边界点和噪声点三类。核心点负责往四周扩散边界点负责挂在簇边缘噪声点就静静地待在密度稀疏的地方不归属任何簇。3.1 两个关键参数eps 和 min_sampleseps 是邻域半径决定了多远算邻居。eps 太小很多点周围根本凑不齐 min_samples 个邻居结果所有点都被判成噪声eps 太大又容易把好几个簇连成一片丢失细节结构。min_samples 是最小样本数决定了多密才算密。这个值通常取大于等于数据维度加一即 min_samples D 1因为在高维空间里至少要有足够多的点才能支撑起一个簇的判定。但更推荐的做法是取 2 倍的维度也就是 min_samples 2 * D这样抗噪能力更强。关于 eps 的选择业内有一个比较经典的方法对每个样本点计算它到第 k 个最近邻的距离k 取 min_samples然后画出这些距离排序后的曲线k-distance 图。曲线中急剧上升的位置对应的距离就是一个比较合适的 eps。我提供一个快速生成 k-distance 图的代码from sklearn.neighbors import NearestNeighbors import numpy as np # X 是数据矩阵 neigh NearestNeighbors(n_neighbors20) neigh.fit(X) distances, _ neigh.kneighbors(X) # 取每个点到第 20 个最近邻的距离并排序 k_dist np.sort(distances[:, -1]) plt.plot(k_dist) plt.ylabel(k-distance) plt.xlabel(Points sorted by distance) plt.show()曲线拐点的横坐标对应的纵坐标值就是 eps 的一个推荐值。在我的项目里这个做法虽然不是百分之百准确但至少能帮你在最开始划定一个合理范围再结合业务意义微调。3.2 DBSCAN 聚类实操示例DBSCAN 在 sklearn 里用起来也相当简单from sklearn.cluster import DBSCAN from sklearn.datasets import make_moons X, y_true make_moons(n_samples500, noise0.05, random_state42) db DBSCAN(eps0.2, min_samples10) labels db.fit_predict(X)用 make_moons 数据试一下就能看到DBSCAN 能完美地把两个月牙形簇分开噪声点如果有的话会标成 -1。而如果你用 KMeans 去分这个数据画出来的边界线会像一条把两片拼图硬生生割开的线效果非常惨烈。不过 DBSCAN 也有一个明显的短板它对参数 eps 的取值非常敏感。同样的数据eps 从 0.2 改成 0.5结果可能从两个簇变成一个簇或者从一个簇变成全是噪声。所以实际跑 DBSCAN 时务必先做特征缩放让各特征尺度一致否则距离计算会被某些量纲大的特征主导。3.3 数据标准化对 DBSCAN 的影响这一点我在实际项目里踩过坑务必要单独拿出来说。DBSCAN 是基于距离的算法而距离对特征的量纲非常敏感。假设你在做用户行为聚类特征里有月消费金额单位是元可能横跨几百到几万和登录次数单位是个位数到几十如果不做标准化那么 eps 的取值几乎只受到消费金额这一个特征的支配。所以跑 DBSCAN 之前先用 StandardScaler 或者 MinMaxScaler 把特征缩放到一个统一的范围这是必须做的一步。GMM 虽然没有 DBSCAN 对距离那么敏感但如果特征量纲差异过大的话协方差矩阵的数值稳定性也会变差。对于标准化我个人的默认选择是 StandardScaler减去均值除以标准差因为它对异常值相对更鲁棒也能让数据分布更接近高斯。如果你发现特征里有很多异常大值可以先用 RobustScaler基于中位数和四分位距做缩放效果更好。4. 在同一个数据集上对比 GMM 与 DBSCAN为了更直观地比较这两种算法我构造了一个混合场景数据集既有椭圆形的簇又有噪声点还有一个非常规形状的簇。这个数据集合了前面讲到的各种困难特征用来检验算法的适应能力。我用的数据由三部分组成第一部分是两个高斯分布的椭圆簇第二部分是一个环形簇第三部分是随机撒的噪声点。用代码生成的话大概是这样import numpy as np from sklearn.datasets import make_classification # 生成一组带有噪声的环形数据 theta np.linspace(0, 2*np.pi, 300) circle_x 4 * np.cos(theta) np.random.normal(0, 0.1, 300) circle_y 4 * np.sin(theta) np.random.normal(0, 0.1, 300) circle np.column_stack((circle_x, circle_y)) # 叠加两个高斯簇 blob_centers [[-4, 3], [4, -3]] blob_data make_blobs(n_samples300, centersblob_centers, cluster_std[0.8, 1.5], random_state42)[0] # 加入噪声点 noise np.random.uniform(low-6, high6, size(80, 2)) X np.vstack([circle, blob_data, noise])在这个数据集上GMM 和 DBSCAN 的表现差异很明显。GMM 因为是概率模型面对环状簇时会试图用几个椭球叠加去近似环的形状结果可能出现一个簇被拆成好几片或者环形区域被误判成另一个高斯簇的一部分。DBSCAN 则能把环形簇完整地识别出来同时把远离主体密度的噪声点标为 -1。但这不代表 GMM 在该数据集上毫无价值。如果此时我只关心数据的主体结构不关心精细的环状边界GMM 给出的概率输出能帮助我做更稳健的后续分类建模。所以我通常的做法是先用 DBSCAN 跑一遍剔除明显噪声点再对干净的样本使用 GMM 做软聚类这样既保留了噪声识别能力又获得了概率化表达。4.1 用轮廓系数评估聚类效果聚类没有标准答案但可以借助一些指标来评估。轮廓系数Silhouette Score是其中用得较多的一种它综合衡量了簇内凝聚度和簇间分离度取值范围在 -1 到 1 之间越大代表聚类效果越好。from sklearn.metrics import silhouette_score sil silhouette_score(X, labels)要注意的是轮廓系数在簇的形状比较奇怪比如环形时往往会低估聚类质量因为环形内部的距离结构跟球状簇差别很大。所以我更建议把轮廓系数当作一个参考而不是绝对标准实际选型还是要结合业务理解去判断。4.2 聚类稳定性跑多次看结果波动另外一个容易被忽略的问题就是聚类结果的稳定性。KMeans 和 GMM 会因为随机初始化不同得到略有差异的结果所以我在项目里会用不同的 random_state 跑多次看标签的一致性。DBSCAN 则完全确定只要你数据不动、参数不动结果就完全一样这在某些对可重复性要求高的场景里是个优点。不过 GMM 的 EM 算法在初始化合理比如用 KMeans 初始化的情况下多次运行结果通常波动很小。如果发现结果波动很大大概率是你的数据里簇的数量设置得不对或者协方差类型选得不合适这时候应该回去调整参数而不是硬解。5. 常见问题与实操避坑聚类这块踩坑踩久了我总结出几个经常遇到的问题这里直接列成一张速查表方便大家在实际使用的时候对照。问题表现很可能是原因解决办法GMM 聚类结果重叠严重分量数量 K 设置过多使用 BIC 或 AIC 选择 K顺便观察聚类稳定性GMM 训练不收敛或结果怪异特征未标准化 / 初始化不当先 StandardScaler再用 KMeans 初始化DBSCAN 噪声点过多eps 太小或者 min_samples 太大画 k-distance 图重新选 epsDBSCAN 把多个簇连成一片eps 太大缩小 eps 范围重新观察 k-distance 拐点数据量太大时 GMM 算得很慢协方差矩阵用的是 full换成 diag 类型或先降维簇形状是长条形、环形用 KMeans 或 GMM 都不理想改用 DBSCAN 或 OPTICS在这些坑里我个人觉得最值得提醒的两点是第一跑聚类前务必先做数据探索。先画图看看分布形状心里有数再选算法这是最省时间的做法第二聚类永远别忘了业务解释。算法给出的标签如果没有业务含义那再高的轮廓系数也没有意义。5.1 高维数据的距离陷阱在高维空间里基于距离的算法包括 DBSCAN会遇到一个麻烦随着维度增加所有样本之间的距离趋向于相等这就是所谓的维度灾难。这会直接导致 k-distance 图失去明显拐点eps 变得很难选。针对这个问题常见的做法是先做 PCA 或 UMAP 降维把数据压到 2 到 5 维之后再跑 DBSCAN这样既能保留主要结构也方便可视化验证。GMM 在高维下相对好一些但如果维度太高full 协方差矩阵的参数规模会爆炸式增长这时候我一般会建议用 diag 或者先降维。5.2 预测新样本的问题还有一个很多人容易忽略的细节训练完的 GMM 可以直接对新样本调用predict来分簇因为它的本质是概率密度估计。但 sklearn 里的 DBSCAN 不支持对未见过的样本做预测因为它的簇的身份来自训练数据中样本间的密度连通性。如果你想对在线来的新样本打标签一种办法是把训练好的 DBSCAN 拿来提取核心点的信息或者干脆换用 HDBSCAN 这种自带预测能力的扩展版本。这个差异在我曾经做实时用户分群时非常关键。当时数据每天都在更新如果用 DBSCAN 就得每天全量重算而在 GMM 里只需要每天更新一次模型新样本过来直接算后验概率效率高得多。5.3 要不要考虑 HDBSCAN 和 OPTICS既然提到了 DBSCAN 的扩展这里顺便提一下 HDBSCAN 和 OPTICS。HDBSCAN 是 DBSCAN 的层次化版本它不需要你指定一个固定的 eps而是自动寻找密度不同的簇结构适配那种簇与簇之间密度差异大的数据集。OPTICS 则是在 DBSCAN 基础上生成一个可达距离图用来辅助选择 eps。如果数据里不同簇的密度差异特别大比如一个簇非常密另一个簇非常稀疏DBSCAN 用同一个 eps 会难以兼顾。这时候 HDBSCAN 往往表现更好因为它能自适应局部密度。不过在项目里HDBSCAN 的计算开销更大数据量大的时候要谨慎使用。6. 选型实践建议从业务出发讲到这儿我知道很多人还是想知道一个直接的答案一个项目来了到底该用哪个我只能说没有绝对正确的答案但有相对合理的选型路径。如果数据量大比如几十万行以上、特征维度低、数据分布接近高斯而且每个簇之间没有太多重叠GMM 是一个不错的选择因为它除了聚类之外还能给出概率。如果你的数据里有明显的噪声点、簇形状不规则而且你不确定到底该分几类DBSCAN 应该排在更前面。遇到实在拿不准的情况我的习惯是双轨探索先用 DBSCAN 的粗结果评估噪声比例和簇的大致形状再聚焦到干净的样本上用 GMM 进行精细化聚类最后用业务指标去校核两个结果里到底哪一个更能指导行动。在聚类项目的落地上我始终坚持一个原则聚类只是手段不是目的。算法的输出如果不能为后面的人工运营、产品决策或规则制定提供明确信息那么无论算法多漂亮都是在自嗨。这让我想起一次做城市交通热点识别的经历。当时车辆 GPS 轨迹数据量非常大而且城市里不同区域的密度差异极大市中心密集、郊区分散。一开始我直接套 GMM结果市中心被分得乱七八糟郊区又被合并在一起。后来改用 DBSCAN配上经过调优的 eps 和 min_samples效果立刻好了很多城市热点区块的形状和真实商圈分布几乎吻合。这个项目让我对密度聚类优先处理形状/噪声概率聚类优先处理重叠/软归属这句话有了更深的体验。7. 我的工程经验总结如果要把这一讲浓缩成几句话我想说GMM 和 DBSCAN 不是相互替代的关系而是互补的工具。GMM 的强项在于它能输出概率、能适应椭圆形的簇它的软聚类特性非常适合做后续的概率建模DBSCAN 的强项在于它不受簇形状限制不需要指定簇数量而且能自动处理噪声点。两者结合使用基本可以覆盖绝大多数聚类场景。最后分享一个我自己的小习惯无论用哪个聚类算法我都会固定随机种子并且多次运行确保结果稳定性后再把标签接入下游流程。因为在实际的广告投放、用户运营或者风控链路里如果每周聚类结果都在抖动那下游分析师和运营同事会非常痛苦。稳定性和可解释性很多时候比模型的精度更重要。