1 基本概念
正交投影是将对象沿着与目标子空间垂直的方向，映射到该子空间上的过程。它既是几何中的一种“落点”操作，也是线性代数中一种重要的线性变换。由于这种映射保留了“最接近”的代表点，因此在近似计算和误差分析中具有基础地位。
1.1 定义
正交投影的核心在于“投到子空间上”与“投影方向垂直”这两个条件。不同学科常从几何直观或代数结构出发给出定义，但二者描述的是同一对象。
1.1.1 几何定义
从几何角度看，正交投影是点或向量在给定直线、平面或更高维子空间上的垂足。若从原对象到目标子空间作垂线，则垂线与子空间的交点就是投影结果。这个过程强调的是距离最短，因此具有明显的几何直觉。
1.1.2 线性代数定义
在线性代数中，若向量空间配备内积，则向量到子空间的正交投影可定义为该子空间中唯一满足“残差向量与子空间正交”的向量。设目标子空间为 \(W\)，向量 \(v\) 的投影为 \(p\)，则 \(v-p\) 属于 \(W\) 的正交补。这个定义使正交投影具备严格的代数可操作性。
1.2 直观理解
正交投影常被理解为“寻找离原对象最近的子空间元素”。它并不试图完整保留原对象的全部信息，而是保留其在目标子空间中的主要成分。
1.2.1 向最近点的映射
将一个点投影到平面上，可以理解为在平面中寻找离该点最近的位置。若在平面内移动一点，距离会增大；只有垂足对应的位置才实现最短距离。这种“最近点”特征是正交投影最直观的含义。
1.2.2 垂直关系与误差分解
正交投影的另一个重要直观是误差分解。原向量可以拆分为“投影部分”和“误差部分”，其中误差部分与投影子空间垂直。这使得分析偏差、残差和噪声时更容易区分不同来源的成分。
1.3 相关术语
正交投影常与若干基本概念一起出现，这些术语帮助描述投影的对象、结果及其补空间关系。
1.3.1 投影向量
投影向量是原向量在目标子空间中的映射结果，通常也称为投影结果或投影分量。它位于子空间内部，并保留原向量在该方向上的有效成分。
1.3.2 投影子空间
投影子空间是接受投影的目标空间，可以是一条直线、一个平面，或更一般的线性子空间。它决定了投影的方向、范围以及结果所处的位置。
1.3.3 正交补
正交补是与某一子空间中所有向量都垂直的向量集合。它常用于描述投影后的残差，因为残差恰好落在正交补中。该概念在空间分解中非常关键。
2 数学表示
正交投影既可以用向量公式表示，也可以写成矩阵形式或函数空间中的算子形式。不同表达方式适用于不同问题，但本质上都反映了“保留子空间分量，去除垂直分量”的思想。
2.1 向量的正交投影
向量投影是最常见的形式，尤其适合处理点、速度、力或几何方向等对象。
2.1.1 投影到一条直线
当目标是通过原点的一条直线时，投影结果可以通过该直线的方向向量直接求得。若直线方向已知，向量在该方向上的分量就是投影。
2.1.1.1 单位向量公式
若直线方向由单位向量 \(u\) 表示，则向量 \(v\) 在该直线上的正交投影为 \( \mathrm{proj}_u(v)= (v\cdot u)u \)。 这里 \(v\cdot u\) 给出 \(v\) 在该方向上的标量分量，再乘以 \(u\) 即得向量形式。
2.1.1.2 非单位向量公式
若方向向量 \(a\) 不是单位向量，则投影可写成 \( \mathrm{proj}_a(v)= \frac{v\cdot a}{a\cdot a}a \)。 这个公式避免了先将方向向量标准化，因而在计算中更为方便。
2.1.2 投影到一个子空间
当目标是由多个基向量张成的子空间时，投影结果一般可通过正交基展开。若子空间中的基彼此正交，则投影等于各基方向投影之和。若基不正交，则通常需要先进行正交化处理或使用矩阵方法。
2.2 矩阵形式
在线性代数中，正交投影常对应一个投影矩阵。通过矩阵表示，可以把投影看成线性算子，便于与其他运算结合。
2.2.1 投影矩阵
投影矩阵是把任意向量映射到某个子空间的线性变换矩阵。它在数值计算、图像处理和优化中经常出现，尤其适合批量处理数据。
2.2.1.1 幂等性
投影矩阵满足幂等性，即 \(P^2=P\)。这表示向子空间投影一次后，再投影不会改变结果。该性质反映了投影的稳定性和“已到位”特征。
2.2.1.2 对称性
正交投影矩阵通常还满足对称性，即 \(P^T=P\)（在复数情形下对应自伴性）。对称性意味着其对应的投影方向与目标子空间满足正交关系，因此属于正交投影而非一般投影。
2.2.2 由基向量构造投影算子
若子空间由一组正交规范基 \(u_1,\dots,u_k\) 张成，则投影算子可写为 \( P = \sum_{i=1}^k u_i u_i^T \)。 对于任意向量 \(v\)，其投影为 \( Pv = \sum_{i=1}^k (v\cdot u_i)u_i \)。 这种构造方式清晰直观，适用于理论推导和算法实现。
2.3 函数空间中的投影
正交投影不仅适用于有限维向量，也适用于函数、序列等更一般的对象。只要空间具有合适的内积，就可以定义投影。
2.3.1 內积空间中的投影
在内积空间中，向子空间的正交投影仍可理解为“残差与子空间正交”的唯一元素。许多函数逼近问题都可归结为在某个基函数子空间中寻找最佳近似，这时投影提供了标准框架。
2.3.2 Hilbert 空间中的投影
在 Hilbert 空间里，完备性保证了闭子空间上的正交投影存在且唯一。投影定理说明，任一向量都可以分解为子空间部分与正交补部分，这一结论是泛函分析中的基础结果之一。
3 性质
正交投影具有一系列稳定而优雅的性质，这些性质使它在理论与应用中都十分重要。
3.1 唯一性
给定闭子空间后，向量的正交投影通常是唯一的。这种唯一性保证了结果不会因计算路径不同而改变。
3.1.1 最小距离性质
投影点是子空间中距离原向量最近的点。换言之，在所有候选点中，它使欧氏距离达到最小。这一性质也是正交投影最核心的优化意义。
3.1.2 最优逼近性质
从逼近理论看，投影向量是子空间中对原向量的最佳近似。若只能使用某个有限维子空间中的元素表示原对象，那么投影给出的就是误差最小的方案。
3.2 代数性质
正交投影在算子层面具有明显的代数结构，常与谱分解和线性算子理论联系在一起。
3.2.1 幂等算子
投影算子满足 \(P^2=P\)，因此属于幂等算子。这个性质说明投影操作具有“自我稳定”的行为，是识别投影的基本特征。
3.2.2 自伴算子
正交投影算子在实空间中常对应对称矩阵，在复空间中对应自伴算子。自伴性与正交性密切相关，也意味着该算子在内积结构下具有良好的几何解释。
3.2.3 谱性质
正交投影的谱通常只包含 0 和 1 两个特征值。特征值 1 对应子空间内部不变的分量，特征值 0 对应被消去的正交分量。这种简单谱结构使其分析起来相对清晰。
3.3 几何性质
正交投影不仅是代数对象，也是几何关系的集中体现。
3.3.1 垂直分解
任一向量通常可分解为投影部分与正交部分，两者互相垂直。这个分解在几何上对应“沿子空间方向的成分”和“偏离子空间的成分”。
3.3.2 角度关系
投影会改变向量与各方向之间的夹角，但残差与子空间保持直角关系。若原向量与子空间的夹角越小，其投影通常越接近原向量。
3.3.3 长度与距离关系
投影不会增加到子空间的距离，而只会缩短或保持不变。根据勾股关系，原向量长度、投影长度与误差长度之间构成直角三角形或其高维对应形式。
4 构造方法
正交投影可通过多种方式构造。实际应用中，常根据问题规模、数据形式和计算稳定性选择不同方法。
4.1 基于正交基的构造
当目标子空间已有正交规范基时，投影的构造最直接。
4.1.1 直接投影公式
若已知一组正交规范基，则把向量分别投到每个基向量上，再将结果相加即可。这种方法公式简洁，适合手工计算和基础推导。
4.1.2 Gram-Schmidt 正交化
若基向量并不正交，可先用 Gram-Schmidt 正交化方法将其转化为正交规范基，再进行投影。该方法在理论上清晰，在数值计算中也常作为构造正交子空间的基础步骤。
4.2 基于矩阵分解的构造
在大规模计算中，常通过矩阵分解获得投影算子，尤其适合数据矩阵和线性方程问题。
4.2.1 QR 分解
QR 分解将矩阵写成正交矩阵与上三角矩阵的乘积，其中正交矩阵的列空间可直接用于构造投影。该方法在最小二乘和数值稳定计算中十分常见。
4.2.2 奇异值分解
奇异值分解可将矩阵拆分为左右奇异向量与奇异值的组合。利用其列空间或行空间结构，可以方便地构造到这些子空间上的投影，并分析低秩近似问题。
4.3 基于优化问题的构造
正交投影也可从优化角度定义，即把“寻找最近点”写成一个最小化问题。
4.3.1 最小二乘法
最小二乘法通过最小化残差平方和来确定最佳近似解。其解往往正是某个线性子空间上的正交投影结果，因此投影理论与最小二乘紧密相连。
4.3.2 约束优化视角
在带约束的优化中，投影可用于将迭代点重新拉回可行集合。若可行集合是线性子空间或仿射子空间，则正交投影提供了自然的修正方式。
5 应用
正交投影在诸多领域中都扮演着基础角色，尤其适合处理近似、分解与降维问题。
5.1 数值分析
数值分析中，投影法是处理线性方程组和误差控制的重要工具。
5.1.1 线性方程组近似求解
当方程组规模较大或无精确解时，常通过投影将问题转化为较低维子空间中的近似求解。这样既能降低计算量，也能改善迭代过程中的稳定性。
5.1.2 误差估计
投影后的残差为误差提供了明确刻画。通过分析残差与原空间的关系，可以估计近似解的精度，并判断当前模型是否足够合适。
5.2 信号处理
在信号处理中，正交投影常用于分离不同频带成分或去除干扰。
5.2.1 频域分解
信号可分解为不同频率子空间中的分量。投影使得某些频带被保留，而其余部分被抑制，从而便于分析周期性和结构性特征。
5.2.2 噪声抑制
当噪声与有效信号属于不同子空间时，可通过投影尽量保留有效成分并削弱噪声。虽然实际场景未必完全正交，但投影思想仍是滤波设计的重要基础。
5.3 计算机图形学
图形学中常借助投影完成可视化、碰撞检测和几何定位等任务。
5.3.1 点到平面投影
点到平面的正交投影是三维图形中的基础操作。它常用于求最近点、测量高度差、进行表面定位，以及辅助物体与平面的空间关系判断。
5.3.2 三维建模中的几何计算
在三维建模中，投影可用于面片处理、法向分析和坐标转换。它帮助将复杂空间问题转化为更易处理的平面或局部子空间问题。
5.4 统计与数据分析
统计学中，正交投影是回归与降维的基础工具。
5.4.1 回归分析
线性回归可以视为把观测值投影到特征张成的子空间中。拟合值对应投影结果，残差则表示未被解释的部分，因此回归与投影之间关系密切。
5.4.2 主成分分析
主成分分析通过寻找数据方差最大的方向，将数据投影到少数主成分上，以实现降维和信息压缩。投影后的表示往往保留了主要结构，同时减少了冗余。
5.5 工程与物理
许多工程模型和物理系统都可借助投影分解不同分量，从而简化分析。
5.5.1 结构分析中的分量分解
在结构力学中，力、位移或应变常被分解为沿特定方向的分量。正交投影有助于识别有效载荷与侧向分量，并支持局部受力分析。
5.5.2 状态空间建模
在状态空间方法中，投影可用于降阶建模、子空间辨识和观测量提取。通过将复杂系统状态映射到低维子空间，可以获得更便于计算和控制的表示。
6 扩展与相关概念
正交投影周围还有若干密切相关的概念，它们从方向选择、存在条件到几何关系等方面补充了投影理论。
6.1 斜投影
斜投影是另一类常见投影，它与正交投影在方向条件上不同。
6.1.1 与正交投影的区别
斜投影不要求投影方向垂直于目标子空间，因此其残差通常不与子空间正交。相比之下，正交投影具有最短距离和对称性等更强性质。
6.1.2 应用场景比较
斜投影常出现在特定坐标变换或带方向约束的问题中，而正交投影更适合误差最小化与几何逼近。前者强调方向选择，后者强调距离最优。
6.2 投影定理
投影定理说明了在合适空间中正交投影的存在性与唯一性，是该领域的重要理论支柱。
6.2.1 有限维情形
在有限维内积空间中，对任意子空间都可以构造正交投影。若子空间是闭的，则投影点总存在且唯一，计算也相对直接。
6.2.2 无限维情形
在无限维空间里，投影定理通常要求子空间闭合，才能保证投影存在。Hilbert 空间中的这一结论尤为重要，广泛服务于泛函分析和偏微分方程理论。
6.3 相关几何对象
正交投影的讨论常伴随着垂线、距离和夹角等几何对象。
6.3.1 垂线
垂线是构造正交投影时的关键元素。它把原对象与目标子空间连接起来，并确定垂足位置。
6.3.2 距离函数
距离函数衡量点到子空间的远近，而正交投影就是使该距离达到最小的点。很多优化问题本质上都围绕距离函数展开。
6.3.3 夹角与余弦关系
向量与子空间之间的关系可通过夹角和余弦值描述。投影长度与原向量长度之间的联系，常可借助余弦分解来表达，这也是投影公式得以成立的几何基础。