1 基本概念
流形学习是一类面向高维数据的降维与结构发现方法。其基本思路是：数据表面上可能分布在高维空间中，但真正决定其变化规律的自由度往往远低于原始维数。通过寻找这种潜在的低维结构，流形学习能够将复杂数据映射到更易分析的表示空间。
与传统线性降维不同，流形学习更强调数据在局部邻域中的几何关系。它通常不要求整体关系完全线性，而是试图保留邻近样本之间的相对位置、距离或连通性，从而使低维表示尽可能反映原始数据的内在组织方式。
1.1 高维数据与维度灾难
在高维空间中，数据分析常会遇到“维度灾难”问题。随着维数增加，样本之间的距离会趋于相近，局部邻域变得稀疏，基于距离的直觉也会逐渐失效。这会影响分类、聚类、检索和可视化等任务的效果。
维度升高还会带来样本复杂度上升、模型参数增多和计算成本提高等问题。在这种背景下，寻找更低维的有效表示就具有现实意义。流形学习正是利用数据分布可能远低于观测维数这一特征，为高维分析提供替代路径。
1.2 流形假设
流形学习的核心前提通常被概括为流形假设，即高维观测数据并非在整个空间中均匀分布，而是集中在某个低维流形附近。这里的“流形”可以理解为在局部上近似欧几里得空间、在整体上可能弯曲的几何对象。
例如，某些图像数据虽然像素维数很高，但其变化主要由少数因素控制，如姿态、光照或形变。此时，样本点在高维空间中的分布更像是嵌在其中的一张低维“曲面”。流形学习的目标之一，就是恢复这种潜在结构。
1.3 局部结构与全局结构
流形学习方法通常要处理局部结构与全局结构之间的平衡。局部结构强调保留每个样本附近邻居之间的关系，适合表达相似性和连续变化；全局结构则关注远距离样本之间的整体布局，更有助于理解数据的宏观形态。
不同算法对此侧重点不同。有的方法主要保持局部邻域，例如局部线性嵌入；有的方法更注重全局几何，例如等距映射；也有方法在二者之间折中，通过图结构或概率模型构造可用的低维表示。
1.4 流形学习的目标
流形学习的主要目标是将高维数据映射到较低维空间，同时尽量保留原始数据中有意义的结构信息。其结果通常用于可视化、特征压缩、后续建模或模式识别。
在实际应用中，流形学习还承担结构发现的作用。通过观察降维后的样本分布，人们可以更直观地识别类别分离、连续变化轨迹、异常点以及潜在子群体。由于不同任务对结构保持的要求不同，具体算法往往在保真性、稳定性和效率之间做出权衡。
2 数学基础
流形学习建立在拓扑学、微分几何、图论和数值优化等多个数学分支之上。虽然实际算法不一定直接使用完整的严格证明体系，但这些概念为方法设计提供了理论框架。
2.1 拓扑与几何直观
拓扑学关注对象在连续变形下保持不变的性质，而几何则更强调距离、角度和曲率等量化特征。流形学习中的直观图像通常来自几何：高维数据虽然嵌在复杂空间中，但局部上看起来像平坦小片段。
这种思路使人们能够把高维样本视为某种低维空间的弯曲嵌入。算法任务不是完全重建原始空间，而是尽量保留决定数据形态的关键几何信息。拓扑与几何的结合，为后续的邻域建模和嵌入求解奠定了基础。
2.2 距离度量与邻域图
距离度量是流形学习的基本工具之一。常见做法包括欧氏距离、余弦距离、马氏距离或基于图的最短路径距离等。不同距离适合不同类型的数据，选择不当可能导致邻域关系失真。
邻域图则用于刻画样本之间的局部连接关系。构图后，原始数据不再只是一组坐标点，而是变成一个带边的网络。后续算法常依据边权、连通性或图上的路径长度来估计低维结构。
2.3 流形与嵌入
在数学上，嵌入是指把一个空间中的对象映射到另一个空间，同时尽量保留其结构。流形学习中的低维表示可以理解为对高维流形的嵌入结果。理想情况下，低维坐标既能反映局部相邻关系，又尽量不破坏整体形态。
不过，实际问题中往往不存在唯一的“正确嵌入”。不同目标对应不同优化准则，因此同一数据可能得到多种风格各异的低维图像。这也是流形学习结果需要结合任务背景解读的原因。
2.4 图论在流形学习中的作用
图论是流形学习中最常见的建模语言之一。通过图，样本之间的关系被抽象为节点与边，进而可利用谱分解、最短路径、连通分量等工具处理数据结构。许多经典算法都以图为核心。
图结构的优势在于能够显式表示局部近邻，并通过边权体现相似程度。对于非线性数据，图论提供了一种比直接在原空间中计算更灵活的表达方式，也便于将局部信息整合成全局嵌入。
2.4.1 k近邻图
k近邻图通过为每个样本连接最近的k个邻居来构建网络。该方法直观、简单，常用于刻画数据的局部连通性。若图足够稠密且连通，算法就能据此传播局部信息。
这种图的特点是局部适应性较强，但对k值较敏感。k过小可能导致图断裂，k过大则可能引入过多远邻，削弱局部结构的纯度。因此，k的选择通常需要结合数据密度与任务目标。
2.4.2 ε-邻域图
ε-邻域图根据样本间距离是否小于阈值ε来决定连边。与k近邻图相比，它更强调距离尺度的一致性。若样本分布较均匀，这种方法可较好地反映真实邻接关系。
但在密度变化明显的数据中，固定半径可能带来连通性不足或边数过多的问题。为了缓解这一缺点，实际应用中常会对不同区域采用不同参数，或结合自适应阈值策略。
2.4.3 加权图与拉普拉斯矩阵
加权图不仅记录是否相邻，还记录相邻程度。边权通常可由距离经过核函数转换得到，例如距离越近，权重越大。这样做可以更细致地反映局部相似性。
拉普拉斯矩阵是图论与谱方法中的关键对象，常用于衡量图的平滑性和连通结构。在流形学习中，拉普拉斯矩阵可帮助构造保留局部几何的目标函数，也是许多谱嵌入算法的重要基础。
3 主要方法
流形学习方法大体可分为线性流形学习、非线性流形学习以及随机与近似方法三类。它们在结构保持方式、计算代价和适用场景上各不相同。
3.1 线性流形学习方法
线性流形学习方法通常假设数据虽分布在非线性空间中，但可通过线性代数工具在局部或谱意义下获得较好的低维表示。这类方法往往计算稳定，便于实现。
3.1.1 主成分分析与相关联系
主成分分析常被视为流形学习的重要参照。虽然它本身是线性降维方法，但在很多讨论中，它提供了理解“保留主要变化方向”的基础框架。对于近似线性的低维结构，PCA能够获得较好效果。
与流形学习相比，PCA主要强调方差最大化，而不直接保留局部邻域。因而当数据明显呈弯曲形态时，PCA可能难以揭示其内在结构。不过，它常被用作预处理、初始化或基准方法。
3.1.2 局部线性嵌入
局部线性嵌入假设每个数据点都可以由其邻居的线性组合近似表示，并要求这种局部重构关系在低维空间中尽量保持不变。该方法非常重视局部几何一致性。
由于LLE不直接依赖全局距离，而是依赖局部权重，它在处理弯曲流形时具有一定优势。不过，当数据噪声较大或邻域选择不当时，重构权重可能不稳定，从而影响整体嵌入质量。
3.1.3 拉普拉斯特征映射
拉普拉斯特征映射基于图拉普拉斯矩阵的谱分解，通过让相近样本在低维空间中保持接近，来实现嵌入。它与流形上的平滑函数思想密切相关。
该方法通常能够较好保留局部几何结构，并在图构造合理时表现稳定。由于其目标函数具有明确的谱性质，拉普拉斯特征映射也常与半监督学习、图信号处理等方向发生联系。
3.2 非线性流形学习方法
非线性流形学习方法更明确地针对曲折、非线性的数据分布，常依赖测地距离、局部重构或非线性优化来恢复低维结构。
3.2.1 等距映射
等距映射试图保持流形上的测地距离，即样本沿流形表面的真实路径长度，而不是简单的欧氏直线距离。其基本思想是：若能近似恢复流形上的距离，再结合多维尺度分析即可得到嵌入。
该方法在数据流形较平滑、邻域图较准确时效果较好。但若图构建不理想或存在断连，最短路径距离会出现偏差，进而影响全局结构的重建。
3.2.2 多维尺度分析
多维尺度分析关注的是将距离矩阵转化为低维坐标，使低维点对间距尽可能接近原始距离。它既可用于经典距离保留问题，也可作为流形学习流程中的后续步骤。
在流形学习场景中，多维尺度分析常与测地距离结合使用。若输入的是近似流形距离，它能较自然地把非线性结构展开到较低维空间中，因此在可视化任务中具有较高知名度。
3.2.3 Hessian局部线性嵌入
Hessian局部线性嵌入是对LLE的扩展，试图利用二阶局部几何信息改进嵌入质量。与仅关注一阶线性重构相比，它更强调流形的曲率特征。
该方法在理论上可以更准确地刻画某些复杂流形，但在实际计算中对邻域质量、采样密度和噪声更敏感。因此，它更常见于研究性场景，而非大规模工业应用。
3.3 随机与近似方法
随着数据规模扩大，传统精确算法的计算与存储成本不断上升，随机化和近似化方法逐渐成为主流选择。这类方法通过优化目标的近似求解，在效率与效果之间取得平衡。
3.3.1 t-SNE
t-SNE主要用于可视化高维数据在低维平面上的局部分布。它通过概率分布来描述邻域相似性，并在低维空间中最小化两种分布之间的差异。其特点是常能把类别或簇分得较开。
不过，t-SNE更擅长展示局部团簇结构，对全局距离并不十分忠实。图中的簇间远近通常不宜过度解释，因此它更适合探索性分析，而不适合作为严格的几何重建工具。
3.3.2 UMAP
UMAP是一种近年广泛使用的非线性降维方法，兼顾局部结构保持与一定程度的全局关系表达。它基于拓扑与流形近似思想构建高维与低维之间的模糊图，并通过优化使两者尽量一致。
与t-SNE相比，UMAP通常计算更快，且在大样本下更易扩展。它在可视化与特征学习中均有较高使用率，但同样需要注意参数选择对结果形态的影响。
3.3.3 大规模数据的加速策略
面对海量数据，流形学习常需借助近似最近邻搜索、稀疏图构建、随机采样、分块计算和并行化等策略。它们可以降低时间和内存开销，使算法适应更大规模的数据场景。
此外，一些方法会先对数据进行子采样，再将结果推广到全体样本；也有方法采用增量式更新，逐步纳入新数据。这些策略虽可能损失部分精度，但对实际应用非常关键。
4 算法流程
尽管不同流形学习方法在细节上差异较大，但其整体流程通常具有相似结构：先处理数据，再建立邻域关系，随后计算权重或距离，最后求解低维嵌入并进行解释。
4.1 数据预处理
预处理通常包括去噪、标准化、归一化和异常值处理。由于流形学习对距离和邻域十分敏感，输入数据的尺度统一与质量控制尤为重要。
在某些应用中，还会先进行特征提取或粗粒度压缩，以减少冗余维度。对于图像、文本和生物数据，预处理步骤往往直接影响后续嵌入的稳定性与可解释性。
4.2 邻域构建
邻域构建是流形学习中最关键的环节之一。算法通常根据样本间距离建立k近邻图、ε-邻域图或其他局部连接结构。邻域质量决定了局部几何信息能否被正确捕获。
如果邻域过于稀疏，数据流形可能被切断；如果过于稠密，局部信息会被噪声或远邻干扰。故而，图构建常需结合经验、数据分布和任务目的进行调试。
4.3 权重计算
在得到邻域后，通常需要为边赋予权重。权重可以反映距离衰减、相似度强弱或重构贡献。常见做法是使用高斯核或其他核函数，把几何接近程度转化为数值权重。
权重设计会影响算法对局部关系的敏感程度。较大的权重差异有助于突出核心邻域，但也可能放大噪声；较平缓的权重分布则更稳健，却可能降低分辨率。
4.4 低维嵌入求解
嵌入求解通常涉及特征分解、最优化或随机梯度下降等方法。对于谱类算法，往往需要求解矩阵的特征向量；对于概率型或神经网络型方法，则会通过迭代优化获得低维坐标。
这一阶段决定了最终表示空间的形状与稳定性。不同求解器在速度、精度和数值稳定性上各有取舍，因此实际系统常会根据数据规模和资源条件进行选择。
4.5 结果可视化与解释
降维结果常以二维或三维散点图呈现，便于人类观察。可视化不仅是输出形式，也是理解数据结构的重要途径。通过颜色、形状或标注，研究者可以进一步分析簇结构、连续轨迹和异常样本。
不过，降维图像并不等同于真实世界的几何关系。尤其在非线性降维中，图上的距离、面积和方向有时只是算法产物。因此，对结果的解释应与原始数据、任务目标及算法特性共同考虑。
5 典型应用
流形学习因其良好的结构表达能力，被广泛用于需要理解高维数据内在组织的场景。其应用重点通常在于可视化、特征提取和辅助建模。
5.1 数据可视化
数据可视化是流形学习最常见的用途之一。它能把高维样本压缩到二维或三维平面，让人们直观观察类别分布、簇结构和连续变化趋势。
在探索性分析中，流形学习常用于预览数据是否存在自然分组，或是否具有渐进式演化轨迹。此类可视化虽然不一定提供严格解释，但常能帮助研究者快速建立直觉。
5.2 图像与视频分析
图像和视频数据通常维数极高，但其变化往往受少量潜在因素控制，如姿态、尺度、光照和动作阶段。流形学习可以帮助提取这些连续变化中的低维规律。
在视频分析中，帧序列有时会形成近似连续的轨迹；在图像检索中，相似视觉内容也可能聚集在相邻区域。流形方法能够在压缩表示的同时保留一定的视觉结构。
5.3 语音与文本表示
语音和文本数据虽然形式不同，但都可能存在隐含语义或发音结构。流形学习可用于探索词向量、句向量、音频特征或说话人特征在低维空间中的组织方式。
在这些任务中，降维结果常与聚类、检索和分类联合使用。例如，相近语义的词项可能在嵌入图中形成局部团簇，而不同说话风格的语音片段也可能呈现不同的分布模式。
5.4 生物信息学
生物信息学中常见的数据类型包括基因表达谱、单细胞测序结果、蛋白质特征和代谢数据。由于这些数据维数高、噪声多且关系复杂，流形学习在其中具有较强适用性。
通过降维，研究者可以更直观看到细胞状态、发育轨迹或样本分层情况。此类分析有助于发现潜在群体结构和连续变化过程，因此在生物数据探索中使用广泛。
5.5 科学数据降维
在物理、化学、气象和工程仿真中，数据常具有高维、稀疏或时空耦合特征。流形学习可用于压缩模拟结果、提取主导模式并辅助数值分析。
例如，对于复杂动力系统，数据点可能沿某些低维轨迹演化；对于实验测量结果，样本间变化可能受少数控制变量支配。流形方法能够帮助识别这些隐藏规律。
6 性能评价
评价流形学习方法时，不能只看视觉效果，还要综合考虑结构保持、任务表现和计算成本。不同评价指标关注的侧面不同，因此常需组合使用。
6.1 邻域保持性
邻域保持性衡量的是原空间中相近样本在低维空间中是否仍然相近。这一指标特别重要，因为许多流形学习方法本就以局部结构为核心。
评价方式通常包括近邻保持率、信任度和连续性等。若邻域保持良好，说明嵌入较好地保留了局部几何；反之，则可能意味着图构造、参数设置或优化过程存在问题。
6.2 全局几何保持性
全局几何保持性关注远距离样本之间的相对关系是否被维持。这对于那些需要理解整体形态或测地距离的任务尤为重要。
某些算法在局部上表现优秀，但可能扭曲整体布局；另一些方法则在保留全局趋势方面更稳定，却牺牲了细节。选择哪种指标，取决于具体分析目标。
6.3 分类与聚类效果
在监督学习或半监督学习场景中，流形学习的效果还可通过后续分类准确率、聚类纯度或检索性能来衡量。若降维后样本更容易被区分，通常说明表示具有较强判别力。
不过，这类指标并不总能完全反映几何质量。有时低维图像虽然视觉上清晰，却未必对应更好的任务性能；反之，某些保留结构较好的表示也可能不便于简单分类。
6.4 计算复杂度与可扩展性
算法是否适合实际使用，很大程度上取决于其时间复杂度、内存占用和对样本规模的适应能力。部分经典方法在小中规模数据上效果良好，但面对大数据时会受到矩阵分解和邻域搜索成本的限制。
因此，可扩展性是现代流形学习的重要评价维度。快速近似、稀疏表示和分布式计算等技术，往往决定一个方法能否进入工程实践。
7 优势与局限
流形学习兼具强解释潜力和明显的适用边界。它在某些数据集上能够提供非常直观的结果，但在另一些情况下也可能产生误导。
7.1 方法优势
流形学习最大的优势在于能够揭示非线性结构。相比单纯的线性降维，它更适合处理弯曲、分层或多簇的数据分布。其结果常具有较强的可视化价值。
此外，这类方法能够将局部相似性转化为低维表示，常有助于特征压缩、异常检测和模式发现。对于需要理解数据内在组织的任务，它提供了重要工具。
7.2 参数敏感性
许多流形学习方法对参数较敏感，例如邻域大小、核宽度、迭代步数和学习率等。不同参数会显著改变嵌入结果的形状，甚至导致完全不同的结构解释。
这意味着在实际应用中，单次运行结果往往不足以作为最终结论。通常需要进行参数扫描、稳定性检查或交叉验证，才能获得更可靠的分析。
7.3 对噪声和异常点的影响
噪声和异常点会破坏邻域关系，进而影响图构建和距离估计。由于流形学习依赖局部结构，一旦局部连接被污染，整体嵌入可能出现扭曲、分裂或局部塌陷。
不同方法对异常点的容忍度并不相同。有些算法较为稳健，有些则会被少量离群样本明显拉偏。因此，在使用前进行清洗和稳健化处理通常很有必要。
7.4 过度解释与可重复性问题
流形学习结果常带有较强的视觉吸引力，但也容易引发过度解释。二维图中的簇、空隙和距离，未必都能直接对应真实的统计或几何差异。
另外，由于随机初始化、近似邻域搜索和参数选择等因素，某些方法的结果可能缺乏完全可重复性。为了避免误读，通常需要结合多次运行、外部标签和定量指标进行综合判断。
8 相关领域
流形学习与多个学科方向交叉密切，尤其与机器学习、统计学习、非线性优化和数据可视化关系紧密。
8.1 机器学习
在机器学习中，流形学习常被视为表示学习和无监督学习的一部分。它不仅服务于降维，还常作为分类、聚类和生成建模的前处理步骤。
现代机器学习中，许多表示方法都借鉴了流形思想，例如嵌入学习、图神经网络和自监督特征空间构造。流形学习因此成为连接传统方法与现代表示学习的重要桥梁。
8.2 统计学习
统计学习强调从数据中推断结构与规律，而流形学习正是以数据分布假设为基础进行结构恢复。二者都关注样本、噪声与泛化问题。
在统计视角下，降维不仅是压缩信息，也涉及估计低维潜变量和随机生成机制。流形学习中的局部平滑、稀疏连接和稳健性分析，与统计推断有密切关系。
8.3 非线性优化
许多流形学习算法最终都归结为非线性优化问题，尤其是在保持局部关系、最小化嵌入误差或匹配概率分布时。目标函数常具有非凸、稀疏或谱约束特征。
因此，优化方法对结果影响很大。初始化、步长、约束处理和近似求解策略，往往直接决定收敛速度与最终质量。这也使流形学习与数值优化形成长期交叉。
8.4 数据可视化
数据可视化是流形学习最直接的外部应用场景。通过把复杂高维数据投影到平面上，研究者能够更快地发现模式、异常和群体差异。
与一般可视化技术相比，流形学习更强调“结构驱动”的布局，而非纯粹的美观排布。它既是一种分析工具，也是人机交互中帮助理解数据的重要手段。
9 发展历程
流形学习并非一开始就以统一名称出现，而是在几何分析、谱方法、降维技术和可视化需求的推动下逐渐形成的研究方向。
9.1 早期理论基础
早期的相关思想来自几何学、拓扑学和多变量统计分析。研究者逐渐认识到，许多高维数据并不真正占据整个空间，而是具有低维潜结构。
同时，经典降维方法已经提供了若干基础工具，如主成分分析和多维尺度分析。这些方法虽然不完全属于现代意义上的流形学习，但为后来的非线性嵌入研究奠定了理论和技术基础。
9.2 经典算法提出
20世纪末至21世纪初，流形学习进入快速发展阶段。等距映射、局部线性嵌入和拉普拉斯特征映射等经典算法相继出现，标志着该领域的成熟化。
这些方法从不同角度处理非线性降维：有的通过测地距离展开流形，有的通过局部重构保持微分结构，有的借助图谱分解表达平滑性。它们共同推动了流形学习成为独立研究方向。
9.3 深度学习时代的融合
随着深度学习的发展，流形思想开始与神经网络表示学习相结合。自动编码器、度量学习和对比学习等方向，都在一定程度上体现了对低维结构的追求。
在这一阶段，流形学习不再只是独立算法集合，也成为理解深度表示空间的重要视角。很多现代表示模型都会利用局部邻域、嵌入几何或图结构来增强特征表达。
9.4 面向大规模数据的演进
随着数据规模不断增长，传统精确流形算法逐渐面临效率瓶颈。于是，近似最近邻、随机优化、分层采样和并行计算等技术被引入，以提升可扩展性。
t-SNE、UMAP等方法的流行，也反映了流形学习从理论驱动走向实用驱动的趋势。它们更适合大样本探索和交互式分析，因而获得了广泛采用。
10 代表性研究者与文献
流形学习的发展离不开多位研究者在几何分析、谱图方法和降维算法方面的贡献。相关文献既包括理论奠基，也包括面向应用的工程实现。
10.1 经典论文
流形学习领域的经典论文通常围绕等距映射、局部线性嵌入、拉普拉斯特征映射、t-SNE和UMAP等方法展开。这些论文不仅提出了具体算法，也阐明了其几何直觉和优化目标。
此外，多维尺度分析、谱图理论和邻域保持嵌入等早期研究，也常被视为重要参考文献。它们共同构成了流形学习方法谱系中的核心文本。
10.2 重要学者
该领域的重要学者多来自机器学习、统计、计算几何和图论等方向。不同研究者分别在局部几何保持、谱分析、嵌入理论和可视化算法上作出贡献。
一些学者推动了理论框架的建立，另一些则专注于算法的可用性与扩展性。正是这种跨学科合作，使流形学习逐步从概念走向成熟应用。
10.3 教材与综述
流形学习的教材与综述通常会系统介绍流形假设、图构建、谱方法和经典算法比较。这类文献对初学者尤其重要，因为它们能帮助读者建立统一视角。
综述文章往往还会讨论算法优缺点、参数选择和应用案例，为不同任务提供参考。对于实际使用者而言，这些材料通常比单篇论文更便于入门和比较。
10.4 开源实现与工具包
流形学习在开源生态中有较广泛的实现支持。许多通用机器学习库和数据分析工具都包含PCA、LLE、Isomap、t-SNE、UMAP等模块，便于快速实验与应用。
开源实现降低了方法使用门槛，也促进了算法比较和复现实验。与此同时，不同工具包在默认参数、数值细节和性能优化上可能存在差异，因此在跨平台使用时需要留意。