1 基本概念
1.1 定义
数据降维是指在尽量保留原始数据主要信息、结构特征或判别能力的前提下，将高维数据映射到较低维空间的过程。它既可以理解为对数据表示方式的压缩，也可以视为一种从冗余特征中提炼关键信息的分析手段。由于高维数据往往包含噪声、相关性和重复信息，降维常被用于提升后续处理的效率与效果。
1.2 核心目标
数据降维通常围绕信息保留、效率提升与结果呈现三方面展开。不同任务对这三项目标的权重并不相同，例如分类任务更关注判别能力，探索性分析则更重视结构呈现。
1.2.1 保留主要信息
降维并非简单删减，而是试图尽可能保留数据中最有价值的部分，如主要变化趋势、类别边界或局部邻域关系。通过这一过程，数据的核心模式得以保留，而一些次要波动则被弱化。
1.2.2 降低计算复杂度
高维数据通常会显著增加存储成本与计算开销。经过降维后，模型训练、距离计算、聚类划分等操作都可能变得更快，也更容易在大规模数据上实施。
1.2.3 改善可视化效果
人类通常只能直观理解二维或三维空间中的分布，因此降维常用于把复杂数据映射到低维平面或立体中，以便观察样本之间的关系、簇结构或异常点分布。
1.3 维度灾难
维度升高后，数据分析会出现一系列反直觉现象，这些现象通常被统称为维度灾难。它会影响距离度量、密度估计、模型泛化等多个环节。
1.3.1 高维空间的稀疏性
在高维空间中，样本点之间往往显得非常分散，即使数据量不少，也难以覆盖整个空间。这意味着局部邻域变得更空旷，基于邻近关系的算法容易失去稳定性。
1.3.2 距离度量失真
维度增加后，不同样本之间的距离差异会趋于缩小，近邻与远邻之间的区分不再明显。此时，欧氏距离等常见度量可能难以准确反映真实相似性。
1.3.3 模型过拟合风险
高维输入会让模型拥有更大的自由度，若样本数量不足，就容易把噪声当作规律来学习，进而出现过拟合。降维能够在一定程度上压缩无效自由度，帮助模型更稳健地学习。
2 方法分类
2.1 特征选择
特征选择是从原始特征中挑选一部分保留下来，不改变特征本身的含义。它的结果仍然处于原始特征空间，只是维数减少了，因此通常更容易解释。
2.1.1 过滤式方法
过滤式方法依据统计指标或相关性度量独立筛选特征，如方差大小、相关系数、信息增益等。这类方法不依赖具体模型，速度较快，适合初步筛查。
2.1.2 包裹式方法
包裹式方法把特征子集的优劣交给某个学习器来评估，通过反复训练与比较，寻找较优组合。由于直接面向任务目标，效果往往较好，但计算成本也更高。
2.1.3 嵌入式方法
嵌入式方法将特征选择过程融入模型训练之中，典型做法包括利用正则化、树模型重要性评分等。它兼顾了效率与效果，常用于实际建模流程。
2.2 特征提取
特征提取通过构造新的低维特征来表示原始数据，这些新特征往往是原特征的组合或变换结果。与特征选择相比，它更强调重新表达数据结构。
2.2.1 线性方法
线性方法假设低维表示可由线性变换获得，通常形式清晰、计算稳定，适合处理近似线性结构的数据。
2.2.1.1 主成分分析
主成分分析通过寻找方差最大的正交方向来构建新坐标轴，从而将数据投影到少数几个主成分上。它是最经典的线性降维方法之一。
2.2.1.2 线性判别分析
线性判别分析更关注类别分离效果，目标是在压缩维数的同时增强不同类别之间的区分度。它常用于监督学习场景。
2.2.2 非线性方法
非线性方法能够处理更复杂的结构关系，尤其适合存在弯曲流形或局部邻域结构的数据。不过，这类方法通常更依赖参数设置与样本规模。
2.2.2.1 t-SNE
t-SNE主要用于可视化，它强调保持局部相似样本在低维空间中的邻近关系，因此常能形成较清晰的簇状分布。
2.2.2.2 UMAP
UMAP同样基于邻域结构，但在速度和全局结构保留方面常较有优势。它既能用于可视化，也常被作为通用降维工具。
2.2.2.3 核方法
核方法通过核函数把数据隐式映射到高维空间，再在该空间中进行线性处理，从而实现非线性降维。其思想是借助特征空间中的几何结构来表达复杂关系。
2.3 深度学习方法
深度学习方法通过多层神经网络自动学习低维表示，适合处理图像、文本、语音等复杂数据。它们通常具有较强的表示能力，但训练和调参也更复杂。
2.3.1 自编码器
自编码器由编码器和解码器组成，前者负责压缩表示，后者负责重建输入。中间的瓶颈层即为低维表示。
2.3.2 变分自编码器
变分自编码器在自编码器基础上加入概率建模思想，使潜在空间具有连续、可采样的性质。它常用于生成建模与表示学习。
2.3.3 流形学习相关模型
一类模型将数据视为嵌入在高维空间中的低维流形，并通过学习该流形上的坐标关系实现降维。此类方法适合分析复杂非线性结构。
3 数学原理
3.1 协方差与方差解释
方差反映单个特征的波动程度，协方差则描述两个特征之间的共同变化趋势。许多线性降维方法都会借助协方差矩阵来判断哪些方向包含更多信息，并据此选择保留的主方向。
3.2 矩阵分解
矩阵分解为降维提供了统一的代数视角。通过特征值分解、奇异值分解等方式，可以把原数据拆解为若干具有不同贡献的成分，再选取重要部分构建低维表示。
3.3 投影与映射
降维本质上是一种从高维空间到低维空间的映射。线性方法多表现为投影，非线性方法则可能是弯曲变换或邻域保持映射，但目标都是在压缩维数的同时尽量保留结构。
3.4 流形假设
流形假设认为，高维观测数据往往分布在更低维的连续流形上。降维的任务之一，就是找出这种隐含结构并在低维空间中加以呈现。
3.4.1 局部邻域保持
局部邻域保持强调近邻样本在降维后仍应彼此接近。这样可以尽量维持局部几何关系，避免样本簇被无意义地拉散。
3.4.2 全局结构近似
全局结构近似关注不同簇、不同区域之间的大尺度关系。某些方法会在局部保持之外，尽量兼顾整体布局，以提升结果的可读性。
4 典型算法
4.1 PCA
4.1.1 原理与步骤
PCA通过对数据中心化后计算协方差矩阵，再求其特征向量和特征值，进而选取方差贡献最大的若干主成分。实际流程通常包括标准化、求主轴、选择维数和完成投影。
4.1.2 优缺点
PCA实现简单、计算效率高，适合线性相关明显的数据。其不足在于只能描述线性结构，而且主成分往往缺乏直观语义，解释性有限。
4.2 LDA
4.2.1 类间散度与类内散度
LDA试图让不同类别尽可能分开，同时让同类样本尽可能聚拢。其核心就是最大化类间散度、最小化类内散度，从而得到有利于分类的投影方向。
4.2.2 分类任务中的应用
LDA常用于监督学习前的降维，尤其适合类别标签明确的场景。它不仅能压缩特征，还能强化判别边界，因此在模式识别中较常见。
4.3 t-SNE
4.3.1 相似度建模
t-SNE先在高维空间中把样本相似度转化为概率分布，再在低维空间中寻找对应的概率结构，使两者尽量接近。这个过程强调局部邻近关系的匹配。
4.3.2 可视化特点
t-SNE常能把相似样本聚成清晰团块，因此非常适合展示类别结构。不过，它更适用于二维或三维可视化，不宜直接解释全局距离。
4.4 UMAP
4.4.1 图结构构建
UMAP通常先根据近邻关系构建图结构，再在低维空间中寻找与之相符的嵌入。相比只看局部距离的方法，它更强调图上的连通模式。
4.4.2 参数影响
UMAP的结果会受到邻居数量、最小距离等参数影响。参数偏向局部时，图形更紧凑；偏向全局时，簇之间的相对位置会更有参考价值。
4.5 自编码器
4.5.1 编码器与解码器
自编码器由编码器将输入压缩到潜在变量，再由解码器将其重建回原空间。中间瓶颈层学习到的表示，即可作为降维结果使用。
4.5.2 重构误差优化
训练时通常以重构误差作为目标，使输出尽可能接近输入。若瓶颈维度较小，模型就被迫提炼更关键的特征，从而形成压缩表示。
5 应用场景
5.1 数据可视化
在探索性分析中，降维常用于把多维样本投影到二维平面，以观察聚类、离群点和类别边界。这种方式有助于快速理解数据整体分布。
5.2 文本数据处理
文本表示往往维度极高，例如词袋模型或嵌入后的特征集合。降维可用于提取主题结构、减少稀疏性，并提升后续分类与检索效率。
5.3 图像压缩与表示学习
图像数据包含大量像素特征，直接建模成本很高。降维既可用于压缩存储，也可用于提取更抽象的视觉表示，为识别与生成任务提供基础。
5.4 生物信息学
在基因表达、蛋白质特征等数据中，维数通常远大于样本数。降维有助于发现样本分群、识别关键差异，并减轻噪声干扰。
5.5 推荐系统
推荐系统中的用户与物品特征往往稀疏且高维。通过降维可提炼潜在偏好结构，降低计算压力，同时帮助发现隐藏的关联模式。
5.6 异常检测
异常样本常在低维结构中表现为偏离主群体的点。降维可增强这种偏离现象的可见性，从而辅助检测离群数据或异常行为。
6 实施流程
6.1 数据预处理
在进行降维之前，通常需要先清理数据并统一尺度。若预处理不到位，不同量纲或缺失信息都可能影响最终结果。
6.1.1 缺失值处理
缺失值可通过删除、均值填补、中位数填补或模型估计等方式处理。具体选择取决于缺失比例、变量类型以及任务需求。
6.1.2 标准化与归一化
许多降维算法对特征尺度较敏感，因此通常需要标准化或归一化。这样可以避免数值范围较大的变量在计算中占据过高权重。
6.1.3 类别变量编码
若数据包含类别字段，需要先转换为数值表示，例如独热编码或目标编码。这样才能与多数降维算法兼容。
6.2 维度选择
6.2.1 目标维数设定
目标维数的设定要结合任务目标、可解释性和计算资源。可视化通常选二维或三维，而建模场景则更关注性能与效率的平衡。
6.2.2 累积解释率判定
在线性方法中，常通过累积解释率判断保留多少主成分。一般会选择能解释大部分方差的最小维数，以兼顾压缩与信息保留。
6.3 模型训练与映射
完成参数设定后，即可训练降维模型并将原始数据映射到低维空间。对于需要泛化到新样本的方法，还应保留映射规则，以便后续直接转换新数据。
6.4 结果评估
6.4.1 重构误差
重构误差用于衡量压缩后能否较好恢复原数据。误差越小，说明保留的信息通常越多，但并不一定等同于任务效果最佳。
6.4.2 可分性指标
若降维服务于分类或聚类，可通过类别分离度、轮廓系数等指标评价结果。此类指标反映低维表示是否更便于任务处理。
6.4.3 可视化质量
对于二维或三维嵌入，可从簇清晰度、点间关系和整体布局等方面观察可视化质量。好的结果应当既清楚又不过度扭曲结构。
7 评价与比较
7.1 信息保留程度
不同方法保留信息的侧重点不同。线性方法更重视整体方差，非线性方法更强调邻域关系，而深度模型则可能在重构与任务目标之间折中。
7.2 计算效率
PCA等线性方法通常较快，适合大规模数据的初步处理；t-SNE等方法则更耗时，尤其在样本量较大时开销更明显。
7.3 可解释性
特征选择通常最易解释，因为保留的是原始变量。相比之下，投影后的新坐标往往难以直接对应现实含义，尤其是非线性嵌入结果。
7.4 稳定性与鲁棒性
某些方法对初始值、参数或数据扰动较敏感，重复运行时结果可能有差异。鲁棒性较强的方法通常更适合需要稳定输出的场景。
7.5 可扩展性
在样本量和特征数都很大的情况下，算法是否能高效扩展尤为重要。可扩展性好的方法更适合工业数据流和实时分析任务。
8 优势与局限
8.1 优势
数据降维能帮助分析者从复杂数据中提炼主要结构，并减少后续处理负担。它在探索、建模和展示三个层面都具有实用价值。
8.1.1 降噪
低维表示常能过滤掉部分随机扰动，使数据主趋势更清晰。对于含有冗余特征的场景，这一作用尤为明显。
8.1.2 缩短训练时间
维数下降后，很多算法的训练与推理速度都会提升，内存占用也会减少。这对于大规模数据尤为重要。
8.1.3 便于模式发现
降维后，原本隐藏在高维空间中的簇、趋势或异常点更容易被识别。分析人员因此能更直观地发现数据规律。
8.2 局限
降维并不总是带来纯正收益，尤其在信息高度分散或结构复杂的场景中，压缩可能伴随不可逆的损失。
8.2.1 信息损失
维数减少意味着部分细节必然被舍弃。若保留维数过低，重要特征可能被削弱，甚至影响模型性能。
8.2.2 参数敏感
不少非线性方法对参数设置较为敏感，不同参数可能导致显著不同的结果。因此，实践中往往需要反复试验与验证。
8.2.3 难以解释非线性结果
非线性嵌入通常缺乏直接的语义对应，结果虽可能更适合可视化，却不易像原始特征那样进行直观解释。
9 相关概念
9.1 特征工程
特征工程是围绕原始数据构造、筛选与变换特征的过程。降维常可视为其中的重要组成部分，尤其在建模前的预处理阶段。
9.2 数据压缩
数据压缩强调以更少的存储表示相同或近似的信息。降维与压缩目标相近，但更关注结构保留和分析友好性。
9.3 流形学习
流形学习是一类基于低维流形假设的方法，强调从高维观测中恢复潜在几何结构。许多非线性降维算法都与其密切相关。
9.4 可视化分析
可视化分析是通过图形方式理解数据结构与规律的方法。降维常为其提供基础，使复杂数据能够被直观呈现。
9.5 表示学习
表示学习旨在自动获得更有效的特征表示。降维可以看作表示学习的一种形式，尤其在深度模型中表现得更为明显。