1 基本概念
1.1 定义
奇异值分解是将一个矩阵表示为若干结构清晰的矩阵乘积的一种方法。它不仅描述了矩阵的代数结构，也反映了其在空间变换中的几何作用。与只适用于方阵的某些分解不同，SVD 对一般矩阵同样适用，因此具有很强的通用性。
1.1.1 矩阵分解形式
对任意实矩阵 \(A\)，奇异值分解通常写作 \[ A = U\Sigma V^{T} \] 其中，\(U\) 和 \(V\) 为正交矩阵，\(\Sigma\) 为对角矩阵或准对角矩阵，其对角线上按非负顺序排列的是矩阵的奇异值。若矩阵是复数矩阵，则对应形式中转置需要替换为共轭转置。
这一分解把原矩阵拆分为“输入方向”“缩放强度”和“输出方向”三个部分，便于从不同角度研究矩阵的性质。
1.1.2 奇异值与奇异向量
奇异值是矩阵 SVD 中对角矩阵 \(\Sigma\) 的非负对角元，反映矩阵在各个主要方向上的伸缩程度。与之对应的向量称为奇异向量，分为左奇异向量和右奇异向量，分别由 \(U\) 与 \(V\) 的列向量构成。
右奇异向量描述原空间中的重要方向，左奇异向量描述像空间中的对应方向。奇异值越大，表示该方向上的信息量或作用强度越显著。
1.2 几何解释
SVD 的几何意义十分直观：它把一个线性变换分解为两个正交变换和一个沿坐标轴的缩放过程。借助这一观点，可以更容易理解矩阵对空间的整体作用。
1.2.1 旋转与缩放
矩阵 \(V^{T}\) 可看作先对空间进行一次正交变换，类似旋转或反射；\(\Sigma\) 则在互相正交的坐标轴方向上分别进行缩放；最后的 \(U\) 再将结果映射到目标空间中的另一组正交基下。
这种“先转动、再拉伸、再转动”的结构，使得复杂矩阵变换能够分解为更易理解的基本操作。
1.2.2 低维投影含义
当只有少数几个奇异值显著大于其余值时，矩阵所对应的数据往往集中在较低维的子空间中。此时保留前几个主要奇异方向，就相当于把高维信息投影到一个更紧凑的表示中。
这种低维投影不仅能压缩数据，还能保留主要结构，因此在降维和特征提取中非常常见。
1.3 存在性与唯一性
SVD 最重要的理论特征之一，是它对相当广泛的矩阵都存在；但另一方面，它并不总是完全唯一。理解这两点有助于正确使用这一分解。
1.3.1 任意矩阵的 SVD 存在性
对任意有限维实矩阵或复矩阵，都可以构造出奇异值分解。这一结论保证了 SVD 的普适性，使其成为处理一般矩阵问题的基础工具之一。
从理论上看，SVD 的存在性来源于对 \(A^{T}A\) 或 \(A^{*}A\) 的谱分解，再进一步得到对应的奇异值与奇异向量。
1.3.2 奇异值的排序与重复性
通常奇异值按从大到小排列，以便突出主要分量。若存在重复奇异值，则在对应子空间内，奇异向量的选取往往不唯一，只要保持正交性即可。
因此，SVD 的奇异值本身具有稳定的数值意义，而奇异向量在重根情形下可能存在一定自由度。
2 数学性质
2.1 与矩阵秩的关系
SVD 能清楚揭示矩阵的秩信息，是判断矩阵有效维数的重要工具。
2.1.1 秩与非零奇异值个数
一个矩阵的秩等于其非零奇异值的个数。换言之，奇异值分解直接把矩阵的线性独立结构显式地表现出来。
这使得在数值计算中，即便矩阵并非严格满秩，也可以通过奇异值的大小判断其近似秩。
2.1.2 低秩近似
当只保留前若干个较大的奇异值及对应奇异向量时，可以得到原矩阵的低秩近似。此近似通常能以较少的参数捕捉主要信息，适合压缩和建模。
在数据中若存在明显的主成分结构，低秩近似往往能显著减少噪声和冗余。
2.2 与特征值分解的联系
SVD 与特征值分解密切相关，但适用范围更广。两者在某些特殊矩阵上可以相互对应。
2.2.1 对称矩阵情形
对于实对称矩阵，其特征值分解与 SVD 之间有直接联系。若矩阵还满足特定的正负结构，则奇异值可由特征值的绝对值给出。
在这种情况下，SVD 不仅保留了矩阵的几何信息，也与其谱性质紧密相连。
2.2.2 正半定矩阵情形
若矩阵是正半定的，那么它的特征值非负，奇异值与特征值一致。此时 SVD 与谱分解在形式上更接近，计算和解释都较为简洁。
这类矩阵在协方差分析、优化与统计建模中十分常见。
2.3 正交性与范数性质
SVD 的一个突出特点是其基向量构成正交系统，这使得相关范数和误差分析具有良好的性质。
2.3.1 左右奇异向量的正交性
左右奇异向量分别组成正交基，彼此内部满足正交归一关系。正交性保证了不同主方向之间尽量相互独立，从而方便分离各个分量的贡献。
这一性质也是 SVD 在数值稳定性方面表现良好的原因之一。
2.3.2 Frobenius 范数与谱范数
SVD 可以直接给出矩阵的 Frobenius 范数与谱范数。前者等于全部奇异值平方和的平方根，后者等于最大奇异值。
因此，奇异值不仅用于刻画结构，也用于度量矩阵大小和误差上界。
3 计算方法
3.1 经典算法
早期 SVD 计算方法多从迭代思想出发，适合中小规模矩阵的精确求解。
3.1.1 Jacobi 方法
Jacobi 方法通过一系列平面旋转逐步消去矩阵中的非对角元素，最终逼近对角化结构。将其用于 SVD 时，可通过对称化或双边旋转实现奇异值求解。
该方法概念直观，精度较高，但在大规模场景下效率通常不如现代算法。
3.1.2 QR 迭代相关方法
QR 迭代是求特征值问题的重要工具，也可间接用于 SVD 的计算。通常先将矩阵变换为更简洁的形式，再借助迭代过程逼近奇异值。
这类方法在数值线性代数中历史较长，具有较成熟的理论基础。
3.2 数值稳定算法
为提高效率与稳定性，实际计算中常先进行结构化变换，再对简化后的矩阵求分解。
3.2.1 Householder 变换
Householder 变换是一种正交反射变换，常用于把原矩阵化简为更容易处理的形状。由于它保持数值稳定，适合在高精度计算中使用。
在 SVD 相关算法中，这种变换常用于预处理阶段，以减少后续迭代的复杂度。
3.2.2 双对角化
将一般矩阵化为双对角矩阵，是计算 SVD 的关键步骤之一。双对角形式保留了矩阵的主要奇异结构，同时显著降低了后续求解难度。
在很多标准实现中，SVD 实际上就是先双对角化，再对该简化矩阵进行迭代求解。
3.3 现代高效算法
随着数据规模扩大，SVD 的计算也发展出更适合大规模环境的方法。
3.3.1 随机化 SVD
随机化 SVD 通过随机投影快速捕捉矩阵的主子空间，再在较低维空间中完成近似分解。该方法在处理超大规模稀疏矩阵或近似低秩矩阵时尤为有效。
它通常能以较低代价获得足够准确的结果，因此在工程应用中很受欢迎。
3.3.2 分布式与并行计算
对于海量数据，SVD 计算常借助并行架构或分布式系统完成。通过将矩阵按块划分并行处理，可显著降低单机负担。
这类方法尤其适合数据中心、科学计算和大规模学习任务。
4 主要应用
4.1 数据降维
SVD 是降维问题中的经典工具，能够在尽量保留主要信息的前提下减少维度。
4.1.1 主成分分析中的应用
主成分分析常借助 SVD 对中心化数据矩阵进行分解，从而得到最重要的变化方向。前几个奇异向量通常对应数据方差最大的方向。
因此，SVD 为 PCA 提供了稳定且高效的计算路径。
4.1.2 特征压缩与表示学习
在特征工程和表示学习中，SVD 可用于压缩高维特征、去除冗余，并形成更紧凑的表示。对于文本、图像或传感器数据，这种压缩往往能提升后续模型的处理效率。
它也常用于构造低维嵌入，使复杂对象更易于比较和分类。
4.2 信号与图像处理
在信号处理和图像分析中，SVD 常被用来提取主结构、抑制噪声并改善重建质量。
4.2.1 去噪
若噪声主要分布在较小奇异值对应的分量中，则截断 SVD 可以有效过滤噪声，保留主要信号。该方法尤其适合具有明显低秩特征的数据。
在图像处理中，这种思想常用于平滑纹理较弱的随机扰动。
4.2.2 压缩与重建
利用少量奇异值和奇异向量即可近似重建原始图像或信号，因此 SVD 也是一种常见的压缩手段。保留的分量越少，压缩率越高，但失真也会相应增加。
在很多应用中，可以通过调节保留阶数在压缩效果和重建质量之间取得平衡。
4.3 数值计算
SVD 在数值计算中用途广泛，尤其适合处理不稳定或欠定问题。
4.3.1 最小二乘问题
在线性最小二乘问题中，SVD 可以直接给出稳定的求解方式。它能够避免某些病态矩阵导致的误差放大问题。
当方程组没有精确解时，SVD 还能帮助找到意义明确的最优近似解。
4.3.2 病态问题求解
对于条件数较大的矩阵，直接求逆往往不稳定。SVD 通过分离各方向的缩放强弱，使得病态程度更容易分析和控制。
因此，在工程计算中，它常被视作处理不良条件问题的可靠手段。
4.4 机器学习与信息检索
SVD 在机器学习和检索系统中同样具有重要地位，尤其适用于发现潜在结构。
4.4.1 语义分析
在文本分析中，SVD 可用于从词项-文档矩阵中提取潜在语义结构。通过低秩近似，相关词语与文档之间的隐含关联会更清晰。
这类方法常用于主题发现、相似度计算和文本表示。
4.4.2 推荐系统中的矩阵补全
推荐系统中的用户-物品矩阵通常非常稀疏，SVD 思想可用于推断缺失评分或偏好。通过低秩结构假设，可以从已知数据中恢复潜在模式。
这使得系统能够在有限观测下进行较合理的个性化预测。
5 截断与近似理论
5.1 截断奇异值分解
截断 SVD 是最常见的近似形式之一，它通过只保留前若干个主导分量来简化矩阵表示。
5.1.1 低秩截断形式
设原矩阵的 SVD 为 \(A=U\Sigma V^T\)，若仅保留前 \(k\) 个奇异值及对应向量，则可得到秩不超过 \(k\) 的近似矩阵。该形式通常记作截断奇异值分解。
它在实际中既能减少存储量，也能降低计算复杂度。
5.1.2 保留主信息的原则
选择保留多少个奇异值，通常取决于累计能量、误差容忍度和任务目标。若前几个奇异值已占据总能量的大部分，则保留这些分量通常足以描述主要结构。
这一原则在压缩、去噪和降维中都很实用。
5.2 最优近似性质
SVD 的一个经典结论是：在某种误差度量下，截断 SVD 给出的低秩近似是最优的。
5.2.1 Eckart–Young 定理
Eckart–Young 定理指出，在所有秩不超过 \(k\) 的矩阵中，截断 SVD 产生的近似在 Frobenius 范数或谱范数意义下都达到最优。换言之，它提供了最佳低秩逼近。
这一结果使 SVD 成为低秩建模的理论基石。
5.2.2 误差界与逼近误差
截断 SVD 的误差与被舍弃的奇异值直接相关。通常，误差大小可以由第 \(k+1\) 个及之后的奇异值来控制。
因此，奇异值谱不仅给出数据结构，还提供了近似质量的定量评估。
6 扩展与相关概念
6.1 广义奇异值分解
广义奇异值分解是 SVD 的扩展形式，适用于更复杂的矩阵关系。
6.1.1 广义矩阵对分解
与单个矩阵分解不同，广义奇异值分解通常处理一对矩阵，并同时揭示它们之间的相对结构。它能够把某些耦合问题转化为更容易分析的标准形式。
这类分解在理论上比标准 SVD 更复杂，但表达能力更强。
6.1.2 应用场景
广义 SVD 常见于约束最优化、多模态数据分析和带权问题中。它特别适合处理两个矩阵共同决定的几何或统计关系。
在这些场景里，标准 SVD 往往不够灵活，而广义形式能提供更合适的建模框架。
6.2 局部与在线分解
当数据持续到来或不断变化时，一次性重算完整 SVD 代价较高，因此需要增量式方法。
6.2.1 增量式更新
增量式 SVD 允许在新数据加入后，基于已有分解快速更新结果，而不必完全重新计算。它适合流式数据和动态系统。
这种策略能有效节省时间，并保持较好的近似精度。
6.2.2 动态数据场景
在实时监测、在线推荐和逐步采样等环境中，数据结构可能随时间变化。局部分解方法能够跟踪这种变化，持续维护低维表示。
因此，它在需要连续响应的系统中具有明显优势。
6.3 与其他分解方法的关系
SVD 与若干常见矩阵分解之间有密切联系，但各自关注的重点并不相同。
6.3.1 QR 分解
QR 分解把矩阵表示为正交矩阵与上三角矩阵的乘积，常用于解线性方程和最小二乘问题。与 SVD 相比，QR 计算通常更快，但对病态问题的鲁棒性不如 SVD。
两者常在不同阶段配合使用。
6.3.2 LU 分解
LU 分解将矩阵拆成下三角与上三角矩阵，适合直接求解线性系统。它在结构上比 SVD 更简洁，但不直接揭示奇异值信息，也不提供最佳低秩近似性质。
因此，LU 更偏向代数求解，而 SVD 更偏向结构分析。
6.3.3 非负矩阵分解
非负矩阵分解要求分解后的因子保持非负，便于解释部件组成或主题结构。与 SVD 不同，它强调可解释性而非正交性。
在实际应用中，非负矩阵分解常与 SVD 互为补充：前者便于语义解释，后者更利于数学分析和数值稳定处理。