流形与流形学习：深度学习中的数据几何直觉

做深度学习这几年我越来越发现很多领域的核心问题绕来绕去都会归结到一个数学概念上——流形manifold。不管你是做图像分类、语音识别、推荐系统还是生成模型只要你在跟高维数据打交道就一定躲不开流形这个词。但说实话这个概念刚出来的时候我也很懵网上资料要么堆公式要么绕弯子很难让人真正建立直觉。这篇东西我想把流形、流形空间和流形学习这件事彻底讲透适合刚入门深度学习、想理解表征学习原理、或者做模型调优时被“维度灾难”困住的同学。先说结论流形空间说的其实是一个很简单的事实——我们看到的高维数据本质上是嵌在高维空间里的一块低维曲面。流形学习就是想办法把这块曲面还原出来。理解这一点之后你再去看自编码器、t-SNE、PCA、扩散模型会发现它们的底层逻辑完全是相通的。1. 什么是流形从地球仪到瑞士卷1.1 先忘掉数学定义用地球做例子大家中学地理都学过地球表面是一个球面我们生活在这个球面上。但当你站在广场上往前看地面给你的感觉是平的。为什么因为球面在每一个局部区域都“像”一个二维平面只是放到全局来看它是弯曲的、闭合的。这就是流形的核心直觉在局部看起来像欧氏空间在全局却有自己独特的几何结构。地球表面就是一个嵌入在三维空间中的二维流形它的内蕴维度是2外蕴维度是3。这个例子用到深度学习里有个特别好的对照一张64×64的灰度图片如果你把它拉直就是一个4096维的向量也就是4096维空间中的一个点。但自然图像真的占满了整个4096维空间吗并没有。真实的猫、狗、汽车的照片在这个高维空间里其实只落在一张远低于4096维的“曲面”上——这个曲面就是图像流形。这也就解释了为什么我们能用一个100维甚至更小的向量去表示一张图片的内容并且还能还原出合理的细节。1.2 流形的严格定义不用怕数学上对光滑流形的定义会涉及拓扑空间、同胚映射、坐标卡集这些术语听起来挺吓人但它的精神非常朴素。你可以把流形想象成一本世界地图册每一页地图覆盖球面上的一小片区域每片区域都是平面但拼在一起就描述了整个弯曲的球面。流形定义中的“图册”也是这个意思——用一堆局部线性贴片拼成一个全局的非线性曲面。对搞应用的人来说真正需要记住的是三个性质流形是连通的不是一堆散点流形在局部是平坦的可以用线性坐标系描述流形的全局结构可能是弯曲甚至闭合的只要数据满足这三条你就可以用流形的思维去理解它。实际场景中绝大多数自然数据近似满足这些性质这就是流形假设成立的基础。1.3 流形假设是深度学习的“地基”流形假设说的是高维自然数据实际上集中在一个远低于观测维度的低维流形上。这个假设虽然物理上无法严格证明但在工程上是极其好用的。举一个可视化例子你就明白了——三维空间中的瑞士卷数据集。这个数据集看着很复杂三维坐标里的点似乎占满了整个立方体但你把它的外层剥开就会发现所有点其实落在一张卷起来的二维平面上。三维空间里看它是“卷”的所以你在三维空间里用欧氏距离去度量两个点经常会把本来离得很近的点算得很远。而如果我们能把二维流形展开卷起来的结构被拉平点与点之间的关系就清楚多了。深度学习中的很多操作本质上就是在做这件事把高维观测空间中的点映射到一个低维流形上在这个流形上做运算。2. 流形空间为什么低维空间里藏着高维数据的真相2.1 内蕴维度和外蕴维度是两回事理解流形空间一定要分清两个概念内蕴维度和外蕴维度。外蕴维度是你观测数据的维度比如一张图片的像素数内蕴维度是数据真正的自由度比如这张图片里物体形状、颜色、光照这几个独立变化的维度。举一个例子MNIST手写数字每张图是28×28的灰度图外蕴维度是784。但数字图像变化的核心因素其实只有数字的种类、粗细、倾斜角度、笔画宽度等几个因素。当然严格地说MNIST的流形结构没那么完美它的内蕴维度并非只有几位但它肯定远小于784。这就是为什么线性降维方法如PCA用几十个主成分就能大致重构出数字轮廓而t-SNE能在二维平面上把10个数字清晰地分开。从实用角度讲你知道了内蕴维度这个概念就会理解为什么模型不能一味加深加宽。模型容量太大而数据又确实聚集在低维流形上时模型很容易就把流形之外的噪声也学习进去于是出现严重的过拟合。反过来如果你能够估计出数据的内蕴维度就能更理性地设计网络的瓶颈层宽度、正则化强度、数据增强方案。2.2 流形空间里的距离感完全不同人脑天生擅长处理三维空间的距离但高维流形里的距离感完全反直觉。在三维欧氏空间里任意两点之间直线最短但在一个弯曲的流形上两点之间的最短路径是沿着曲面走的测地线而不是直接穿透曲面的直线。为什么这个区别对深度学习很重要因为很多算法严重依赖距离度量。比如K近邻分类它假设特征空间中相近的点属于同一类别又比如推荐系统的用户向量相似度计算它假设向量空间中夹角小的用户偏好接近。如果样本确实位于一个弯曲流形上而你还用高维空间中的直线距离去衡量那么很多“相近”的样本其实相隔很远很多“远”的样本却可能在流形上有密切关系。流形学习要解决的正是这个问题——先恢复流形本身的坐标系统再在这个坐标系统里度量相似性。2.3 流形上的插值是有意义的原始空间的插值没有还有一个很直观的现象能体现流形空间的价值插值。在原始高维像素空间里把两张猫图的像素做平均结果往往是模糊的狗不像狗的混合体看起来非常奇怪。但在流形空间里找到两个点对应的低维表示沿流形上的路径插值生成的图像是平滑过渡的一张猫脸逐渐变成另一张猫脸姿态、颜色都在连续变化。生成模型尤其是GAN和扩散模型的成功很大程度上就是因为它们学会了图像流形的近似参数化。生成器的输入向量可以理解成流形上的坐标生成器的输出就是流形上的点。这样在潜空间里做插值、做算术比如“微笑的女士”“戴眼镜的男士”这些经典操作才得到了符合语义的连续变化结果。理解了这一点你再看风格迁移、语音转换、分子生成这些任务本质都是在一个特定的流形空间里做变换和优化。3. 流形学习经典算法与核心思路3.1 从线性到非线性PCA的局限与机遇流形学习这个名词虽然听起来很学术但它的目标非常接地气给定高维观测数据找到它们背后的低维结构。最早被广泛使用的降维方法是PCA主成分分析它做的事情很简单——找到方差最大的若干个线性方向把数据投影到这些方向上。PCA在许多场景下都有效而且计算速度快、可解释性强。但它有一个硬伤它只能描述线性子空间。瑞士卷数据用PCA降维会得到什么结果呢把三维瑞士卷压缩到二维得到的往往是严重交叠的一团点完全分不清两层之间的结构。因为瑞士卷是卷起来的任何线性投影都没法把卷曲的曲面展开。这就是非线性流形学习算法的用武之地。它们不再假设数据在全局是线性的而是想办法在局部保持线性结构然后再把局部关系拼接成全局的展开结构。3.2 代表算法一览Isomap、LLE、t-SNE、UMAP非线性流形学习的经典算法有不少业内最常提到的几个各有各的思路我简单列一下它们的行为差异。算法核心思路适合场景典型局限Isomap用近邻图上的最短路径近似测地线距离再做多维缩放数据流形较为光滑、近邻图连通良好近邻参数敏感噪声大时容易失真LLE假设每个点都能由近邻线性重构保持重构权重做低维嵌入局部线性结构明显的数据流形不连通或密度不均匀时效果差t-SNE把高维距离转成概率分布再在低维空间匹配分布可视化聚类结构擅长挖掘局部近邻全局结构不保计算开销大UMAP基于拓扑结构构造模糊单纯复形优化低维表示大数据集、兼顾局部与全局结构超参数较多需一定调优经验实际项目中我自己的体会是如果你想快速看数据长什么样t-SNE是首选如果你想保留尽可能多的全局结构同时做降维UMAP通常比t-SNE更靠谱如果你关注的是数据背后的语义距离Isomap和LLE的思路值得深入理解它们虽然不如神经网络花哨但概念上干干净净解释一些现象非常有力。3.3 流形学习的本质是坐标变换这几类算法形式各不相同但都能统一到一个视角下它们都在学习一个映射f把原始高维坐标x变成低维坐标z并要求这个映射在某种程度上保持数据之间的几何关系。区别只在于“几何关系”的定义PCA看的是线性方差Isomap看的是测地线距离LLE看的是局部线性重构系数t-SNE看的是近邻概率分布UMAP看的是拓扑重叠度。把这个统一视角放在心里你再看深度学习的表征学习就会特别通透。神经网络的中间层其实就是在学一个更复杂的非线性映射从观测空间逐步转换到任务空间。预训练模型最后一层输出的embedding本质上就是原始数据的流形坐标。所谓“语义相似”就是在这个坐标空间中距离相近。4. 深度学习中的流形从表征到生成4.1 自编码器神经网络学流形的最简形式自编码器可以说是用神经网络做流形学习的最经典实例。它的结构很简单一个编码器把高维输入压成低维潜向量一个解码器把潜向量还原成高维输出。训练目标就是让输出尽可能接近输入。从流形的角度看自编码器在做的事就是把高维数据点投影到低维流形上然后从流形坐标重建出原始数据点。瓶颈层的维度就可以理解为对数据内蕴维度的估计。如果瓶颈层维度太小信息损失严重重建模糊如果太大又可能失去流形学习的意义变成恒等映射。实际调参时可以先跑一个PCA看累积方差贡献率以它作为自编码器瓶颈维度的参考起点然后再逐步调整。还有一个细节值得注意普通的自编码器对噪声敏感输入图片稍微加一点噪声重建结果就可能出现奇怪的伪影。这是因为它在欧氏空间里做逐点重建并没有真正建模流形的拓扑。加上正则项之后比如去噪自编码器、变分自编码器模型被迫去学习数据流形上的概率分布抗噪能力与生成质量都会变好。4.2 变分自编码器给流形加上概率解释变分自编码器VAE和普通自编码器的区别在于它不只学习一个确定的坐标点而是学习潜变量的分布。这不仅让生成过程可以采样还让模型具有对不确定性建模的能力。从流形角度看VAE其实是在假设潜变量服从一个简单分布通常是标准正态分布然后通过解码器把潜空间映射到数据流形上。生成新样本时从潜空间采样坐标解码到流形上就得到了新的数据。这就是为什么VAE生成的数据虽然在细节上不如扩散模型精致但潜空间结构却往往非常干净规整非常利于插值和属性操作。如果你试着在MNIST的潜空间里沿某个方向做线性移动会发现数字的笔画粗细会连续变化甚至从3慢慢过渡到8这种连续语义变化正是流形结构的体现。4.3 扩散模型与流形的联系扩散模型这两年在图像生成领域大红大紫很多人把它当作一种完全不同的方法但从流形视角看它的思路也很清晰。前向过程不断向数据加噪声把数据从低维流形逐步“顶”到高维空间的各个角落反向过程学习的是如何从噪声中逐步恢复流形结构每一步都把样本往流形上拉近一点。这也是为什么扩散模型需要成千上万步采样的原因它走的是从高维空间到低维流形的漫长路径。每一步去噪都可以看成是在流形附近做一次局部修正。近年来很多加速采样的工作比如DDIM、DPM-Solver本质是在想办法缩短这条路径同时对流形的结构做更精确的估计。很多初学者容易忽略的一点是扩散模型并不是直接学习原始数据的分布它学习的是噪声扰动条件下条件分布。这意味着模型对数据的流形结构越了解去噪效果就越好。你可以把它理解成一个反复矫正的过程每次都把偏离流形的噪声向量投影回流形。5. 一个更直观、可复现的实战案例5.1 生成瑞士卷数据并进行流形展开理论讲再多不如亲自动手跑一遍。我们先用Python生成经典的瑞士卷数据集然后用几种不同的方法做降维感受流形空间的威力。import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_swiss_roll from sklearn.decomposition import PCA from sklearn.manifold import TSNE, Isomap from sklearn.preprocessing import StandardScaler n_samples 1500 X, color make_swiss_roll(n_samplesn_samples, noise0.0, random_state42) fig plt.figure(figsize(8, 6)) ax fig.add_subplot(111, projection3d) sc ax.scatter(X[:, 0], X[:, 1], X[:, 2], ccolor, cmapSpectral, s5) plt.colorbar(sc) plt.title(原始瑞士卷数据三维空间) plt.show()这段代码生成1500个点它们在三维空间里呈现一个漂亮的卷曲结构。我们把颜色当作数据的“语义标签”——颜色相近的点在二维流形上距离很近。接下来分别用PCA和Isomap对X做降维。X_scaled StandardScaler().fit_transform(X) pca PCA(n_components2) X_pca pca.fit_transform(X_scaled) isomap Isomap(n_neighbors12, n_components2) X_iso isomap.fit_transform(X_scaled) fig, axes plt.subplots(1, 2, figsize(14, 5)) axes[0].scatter(X_pca[:, 0], X_pca[:, 1], ccolor, cmapSpectral, s5) axes[0].set_title(PCA降维结果) axes[1].scatter(X_iso[:, 0], X_iso[:, 1], ccolor, cmapSpectral, s5) axes[1].set_title(Isomap降维结果) plt.show()实验结果非常直观PCA把瑞士卷压成了一大团相互交叠的点颜色混杂在一起完全看不出流形结构。Isomap则把卷曲的曲面展开成一条平滑的彩色带子颜色从左到右连续过渡这说明Isomap确实还原了数据的流形坐标。出现这个差异的原因就在测地线距离。PCA用欧氏距离寻找最大方差方向而瑞士卷的卷曲结构导致欧氏距离无法反映曲面上的真实关系。Isomap先在近邻图上计算最短路径来近似测地线距离再把这个距离矩阵嵌入到二维空间所以它能把卷得紧的曲面成功展开。5.2 用t-SNE观察MNIST的流形结构瑞士卷太简单我们再上一个稍微复杂的实战场景MNIST。用t-SNE把784维的图片向量降到二维然后按数字类别着色你会看到非常漂亮的10簇点而且不同簇之间的分布关系也暗含数字形状的相似性——数字4和9靠近3和8靠近这些在视觉上长得像的数字在流形空间里确实离得近。from sklearn.datasets import fetch_openml from sklearn.manifold import TSNE mnist fetch_openml(mnist_784, version1, as_frameFalse, parserpandas) X_data mnist.data.astype(np.float32) / 255.0 y_data mnist.target.astype(np.int32) sample_idx np.random.RandomState(42).choice(len(X_data), 3000, replaceFalse) X_sample X_data[sample_idx] y_sample y_data[sample_idx] tsne TSNE(n_components2, perplexity30, n_iter1000, random_state42) X_tsne tsne.fit_transform(X_sample) plt.figure(figsize(8, 6)) sc plt.scatter(X_tsne[:, 0], X_tsne[:, 1], cy_sample, cmaptab10, s5) plt.colorbar(sc) plt.title(MNIST子集的t-SNE可视化) plt.show()这里有个细节t-SNE的计算量随样本量增长非常快所以一般先取子集做可视化。Perplexity参数默认是30它控制每个点的有效近邻数。我试过很多次perplexity太小会碎成很多小簇太大又会把结构压成一团在30到50之间通常表现稳定。还有一点值得反复强调t-SNE只能用来可视化探索不建议拿它的输出作为后续分类或聚类的特征。因为t-SNE严重依赖局部结构不同簇之间的距离大小没有明确的数学含义同一个数据集跑两次不同随机种子出来的全局布局可能完全不同。做特征提取还是用UMAP或者自编码器更合适。5.3 用自编码器学习流形坐标t-SNE是无监督可视化的利器但它没法处理新样本也没法给你一个显式的编码函数。所以在实际项目中我往往用自编码器来做真正的流形坐标学习。下面是一个极简的PyTorch自编码器用来把MNIST压缩到32维再用潜变量做分类或可视化。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms class AutoEncoder(nn.Module): def __init__(self, latent_dim32): super().__init__() self.encoder nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 64), nn.ReLU(), nn.Linear(64, latent_dim) ) self.decoder nn.Sequential( nn.Linear(latent_dim, 64), nn.ReLU(), nn.Linear(64, 256), nn.ReLU(), nn.Linear(256, 784), nn.Sigmoid() ) def forward(self, x): z self.encoder(x) x_recon self.decoder(z) return x_recon, z transform transforms.Compose([ transforms.ToTensor(), transforms.Lambda(lambda t: t.view(-1)) ]) train_data datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) train_loader DataLoader(train_data, batch_size128, shuffleTrue) model AutoEncoder(latent_dim32) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.MSELoss() epochs 10 for epoch in range(epochs): total_loss 0 for x, _ in train_loader: x_recon, z model(x) loss criterion(x_recon, x) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * x.size(0) print(fEpoch {epoch1}/{epochs}, Loss: {total_loss / len(train_loader.dataset):.6f})训练完之后你可以把每张测试图过一遍网络得到32维的潜向量。接着用PCA把潜向量降到二维你会看到清晰的聚类结构。更重要的操作是插值从潜空间里随机取两个数字的编码然后在它们的坐标之间线性插值再把中间点喂给解码器。生成出来的图像会从一个数字逐渐过渡到另一个数字这种在流形上连续变化的现象正是前面说的“流形空间里的插值有意义”。我自己在实际测试里做过一次从“7”到“1”的插值中间帧会看到7的横杠逐渐变短竖杠逐渐变直最后变成1过程非常自然。这就是潜空间流形坐标空间的语义连续性带来的好处。6. 常见困惑与避坑经验6.1 为什么t-SNE跑出来的每张图都不一样t-SNE每次运行的结果会随随机种子变化这一点让很多初学者非常困惑。它本身是一个非凸优化问题不同初始化的结果可能落在不同的局部最优解上簇之间的相对位置并不可靠。所以你在用t-SNE看数据时不要过度解读不同簇的远近关系更不要根据一张t-SNE图就断言某两类数据相似或不相似。多跑几次看稳定的簇内结构那才是可靠的信息。6.2 降维损失是必然的关键看你要保留什么任何降维方法都不可避免地会丢失信息问题只在于丢哪些、留哪些。PCA保留的是全局方差所以它适合保留整体能量t-SNE保留的是局部近邻关系所以它适合发现聚类UMAP在局部与全局之间做了折中所以它的可视化往往更符合人的直觉。做技术选型之前先想清楚你后续要干什么如果是分类用带标签信息的线性判别分析或度量学习通常更直接如果是探索性分析t-SNE和UMAP更合适如果是为下游任务准备特征自编码器和对比学习通常更稳健。6.3 近邻数量的选择决定了流形学习的效果Isomap、LLE、UMAP这些算法都有一个非常关键的超参数近邻数量k。k太小近邻图会断开测地线距离无法计算流形结构碎成一片k太大局部线性假设被破坏短距离路径会被捷径污染结果反而比PCA还差。我的经验是先从k10开始观察输出的低维嵌入是否连续、是否出现空洞或断层再根据结果调整。数据量越大、流形越光滑k可以适当增大数据噪声越大、流形越复杂k就适当减小。这个参数没有万能答案多试几次才能找到感觉。6.4 流形学习不等价于“聚类可视化”很多文章把流形学习和聚类画上等号这是很容易误导新手的。举个例子MNIST的t-SNE图上10个数字分成10簇给人感觉流形学习就是用来分簇的。但其实流形学习是希望恢复连续的低维几何结构聚类只是一个可能的结果。如果数据本身的流形是连续变化的比如姿态变化的人脸图像流形学习出来的结果就不是明显的簇而是一条平滑的曲线或曲面。所以别拿“分得干不干净”来衡量流形学习的好坏要看低维结构是否有几何意义、是否与任务相关。6.5 高维空间里“稀疏性”是维度灾难的根源最后再说一个大家容易忽略的点高维空间中的数据点非常稀疏这对流形学习影响很大。比如在三维空间中随机撒100个点点与点之间距离很近但在100维空间中随机撒100个点任意两点之间的欧氏距离几乎都差不多这就是所谓的高维诅咒。这意味着在高维空间里去寻找近邻并计算局部结构比在低维空间里要困难得多。很多流形学习方法在低维测试集上表现很好一上高维真实数据就退化很大程度上不是算法本身的问题而是采样密度不够、近邻图太稀疏。所以如果你要处理超高维数据比如文本的one-hot向量先做一个合理的预降维比如SVD或预训练embedding把数据压到几十或几百维再做流形学习效果会稳定很多。7. 我的几点实用心得做深度学习这些年我对“流形”的体会越来越深。很多看似不相关的技巧本质上都在做同一件事把数据从高维观测空间投影到低维流形空间。比如数据增强。为什么随机裁剪、旋转、加噪能提升模型泛化能力因为这些操作让模型看到同一流形上的更多位置从而学到更平滑的流形结构而不是仅仅记住训练样本附近的几个离散点。又比如对比学习里的正样本对构造本质上是告诉模型“这两张图来自同一流形的邻近区域”通过拉近它们在特征空间里的距离来逼近流形的局部结构。再比如知识蒸馏。学生模型从头学一个流形坐标空间很难但跟着老师模型的中间特征学相当于把老师已经学好的流形坐标当作监督信号让学生在同一个坐标系里逼近老师的位置。这是一条极其高效的捷径类似有人给你标好了一张地图你不需要自己去勘探了。最后想分享一个小技巧在调试模型时如果你发现特征空间里的类别边界乱七八糟别急着换网络结构先把你当前模型的embedding拿出来用UMAP降到二维画个图看看数据在特征空间里是不是呈现清晰的流形结构。很多时候问题并不在分类器本身而是上游特征没有把流形结构拉平。掌握了这个思路你会发现自己对模型的理解上了一个台阶。