1 基本定义
正定矩阵是线性代数中一类具有明确正值性质的矩阵。它通常与对称矩阵、二次型以及内积空间中的距离和角度描述紧密相关。在线性代数、优化理论和统计建模中,正定矩阵常被视为“良性”矩阵,因为它不仅具有稳定的代数结构,还能保证许多计算过程顺利进行。
1.1 实矩阵情形
在实数域上讨论正定矩阵时,最常见的对象是实对称矩阵。对于这类矩阵,正定性可以通过二次型、特征值或主子式等多种方式来刻画,其中最基本的是从任意非零实向量出发考察其二次型取值。
1.1.1 对称矩阵的正定性
若实矩阵 \(A\) 满足 \(A^T=A\),并且对任意非零向量 \(x\) 都有 \[ x^T A x>0, \] 则称 \(A\) 为正定矩阵。对称性是实矩阵正定性的核心前提,因为只有在对称情形下,二次型的性质才与矩阵本身的结构稳定对应。若矩阵不对称,则其二次型可能不再充分反映矩阵的整体性质。
1.1.2 二次型判别法
实矩阵是否正定,通常可转化为其对应二次型 \[ Q(x)=x^TAx \] 是否对所有非零向量都严格为正。若该二次型始终正值,则矩阵正定;若存在某些非零向量使其取零或负值,则不属于正定矩阵。这种判别法在研究曲面形状、二次优化模型时尤为常用。
1.2 复矩阵情形
在复数域中,正定矩阵的定义需要与复共轭相适应。此时矩阵通常要求满足 Hermite 条件,以保证相应的二次型取实值并具有正性。
1.2.1 Hermite 矩阵与正定性
复矩阵 \(A\) 若满足 \(A^*=A\),其中 \(A^*\) 表示共轭转置,则称为 Hermite 矩阵。若对任意非零复向量 \(x\) 有 \[ x^*Ax>0, \] 则称 \(A\) 为正定 Hermite 矩阵。这里的 \(x^*Ax\) 是实数,因此“>0”具有明确意义。
1.2.2 共轭转置条件
共轭转置条件保证了复二次型的对称性与实值性。若缺少这一条件,\(x^*Ax\) 一般可能为复数,正负之分便失去意义。因而在复矩阵中,正定性往往与 Hermite 性同时出现,两者共同构成定义基础。
1.3 半正定与正定的区别
正定矩阵要求二次型对所有非零向量严格大于零,而半正定矩阵只要求其非负。两者差别看似细微,但在理论和应用中影响很大,尤其体现在可逆性、分解形式和最优化性质上。
1.3.1 正半定矩阵
若对任意向量 \(x\) 都有 \[ x^TAx\ge 0, \] 则称 \(A\) 为正半定矩阵。它允许某些非零向量使二次型取零,因此其“正性”不如正定矩阵严格。很多协方差矩阵就是正半定的典型代表。
1.3.2 严格正定条件
严格正定强调的是“非零即正”。这意味着二次型不会在非零方向上退化为零,也通常预示矩阵具有更好的可逆性和数值稳定性。相较之下,正半定矩阵可能存在零特征值,因而在某些计算中会出现退化现象。
2 等价刻画
正定矩阵具有多种彼此等价的描述方式。不同刻画从二次型、谱性质和代数结构等角度揭示同一对象,便于在理论证明和实际计算中灵活使用。
2.1 二次型定义
二次型定义是正定矩阵最直接的表述方式,也是几何直观最强的方式之一。
2.1.1 任意非零向量上的取值
若矩阵 \(A\) 满足对任意非零向量 \(x\),都有 \(x^TAx>0\),则 \(A\) 正定。这一条件意味着无论沿着哪个非零方向,二次型都不会下降到零以下,因此整体上保持“向上开口”的趋势。
2.1.2 几何解释
从几何上看,正定二次型对应的曲面通常类似椭球面或向上弯曲的抛物面。其图形不会出现鞍形或平坦方向,因此常被视为局部“碗状”结构。这种性质在优化问题中非常重要,因为它往往意味着函数在某点附近具有良好的最小化行为。
2.2 特征值刻画
对于实对称矩阵或 Hermite 矩阵,正定性与特征值符号存在直接联系。谱理论为判断矩阵性质提供了简洁而强有力的工具。
2.2.1 全部特征值为正
若对称矩阵或 Hermite 矩阵的全部特征值都大于零,则该矩阵正定。反过来,正定矩阵的所有特征值也必为正。这一结论常用于理论分析,因为特征值能直接反映矩阵在各个特征方向上的伸缩效果。
2.2.2 谱分解视角
通过谱分解,矩阵可以表示为若干特征值与对应特征向量的组合。若所有特征值均为正,则二次型在每个特征方向上的贡献都为正,因此整体正定。谱分解将抽象的正定性转化为对角层面的简单判断。
2.3 主子式判别
主子式是从矩阵局部块结构出发的一种代数判别手段,特别适合对称矩阵的正定性分析。
2.3.1 顺序主子式
顺序主子式指左上角逐步扩大的各阶子矩阵的行列式。对于实对称矩阵,若每一个顺序主子式都为正,则矩阵正定。这类判别方式结构清晰,便于手工推导和小规模矩阵计算。
2.3.2 Sylvester 判别法
Sylvester 判别法指出,实对称矩阵正定当且仅当其所有顺序主子式都严格为正。该方法是正定性判定中的经典准则之一,既具有理论价值,也常用于符号计算和矩阵分析。
3 基本性质
正定矩阵不仅定义清晰,而且具有一系列稳定而有用的性质,这些性质使其在理论推导与工程计算中都十分重要。
3.1 对称性与厄米性
正定矩阵通常与对称性或厄米性绑定,这一要求并非附加装饰,而是其定义和性质成立的基础。
3.1.1 实对称正定矩阵
实数域中的正定矩阵一般默认为实对称矩阵。对称性保证二次型不依赖于交换顺序的歧义,从而使正定性具有一致解释。实对称正定矩阵在几何、数值和统计中都最常见。
3.1.2 复 Hermite 正定矩阵
在复数情形下,正定矩阵必须是 Hermite 矩阵。Hermite 性确保矩阵在共轭转置下保持不变,从而使二次型取实值并能够进行正负比较。这种结构在量子力学和复信号处理中也经常出现。
3.2 可逆性
正定矩阵具有强可逆性特征。只要矩阵正定,它就不可能退化为奇异矩阵,因此能够在方程求解和分解运算中提供良好基础。
3.2.1 行列式为正
正定矩阵的行列式一定大于零。因为其全部特征值均为正,而行列式等于特征值之积,所以结果必为正。这一性质是判断矩阵是否可能可逆的重要线索。
3.2.2 逆矩阵的正定性
若矩阵 \(A\) 正定且可逆,则其逆矩阵 \(A^{-1}\) 也正定。直观上看,正定性对应一种“正向伸缩”,而取逆只是将这种伸缩反转,仍保持正性。该性质在协方差矩阵与精度矩阵之间的关系中尤其常见。
3.3 稳定性性质
正定矩阵在加法和缩放下通常保持正定,这使其在构造新矩阵时具有良好的封闭性。
3.3.1 正定矩阵的加法性质
两个正定矩阵相加,结果仍为正定矩阵。更一般地,若在正定矩阵基础上加入一个正半定矩阵,所得矩阵通常仍保持正定,只要不会引入零方向退化。这使得正定矩阵在模型叠加时非常稳定。
3.3.2 正数倍缩放性质
正定矩阵乘以任意正数后仍是正定矩阵。因为二次型整体只被正比例缩放,不改变其正值属性。这一性质看似简单,却在规范化和参数调整中非常实用。
4 分解与表示
正定矩阵往往可以写成若干结构更简单矩阵的乘积或对角化形式。分解不仅有助于理论理解,也直接服务于高效计算。
4.1 Cholesky 分解
Cholesky 分解是正定矩阵最著名的分解之一,尤其适合数值计算。
4.1.1 下三角分解形式
若 \(A\) 为正定矩阵,则存在唯一的下三角矩阵 \(L\)(对角元通常取正),使得 \[ A=LL^T \] 或在复数情形下写作 \(A=LL^*\)。这种分解把正定矩阵表示为一个矩阵与其转置的乘积,形式简洁而稳定。
4.1.2 数值计算意义
Cholesky 分解比直接求逆或直接求特征值更高效,且在误差控制上通常更稳定。因此它被广泛用于线性方程组、最小二乘问题和概率模型中的矩阵运算。
4.2 LDLᵀ 分解
LDLᵀ 分解是另一种常见分解方式,其中 \(D\) 为对角矩阵或对角块矩阵,兼具结构清晰和计算便利的优点。
4.2.1 对角块结构
在该分解中,矩阵表示为 \[ A=LDL^T \] 或复数情形下的相应形式。这里 \(L\) 为单位下三角矩阵,\(D\) 为对角或块对角结构。对于某些情形,这种写法比 Cholesky 分解更灵活,特别适合处理中间出现的符号变化。
4.2.2 与消元法的关系
LDLᵀ 分解与高斯消元关系密切,本质上可视为在对称结构下进行的消元过程。它保留了矩阵的对称性,并能更直接反映分解中的主元信息,因此在理论推导和程序实现中都很常见。
4.3 谱分解
谱分解从特征值与特征向量角度描述正定矩阵,是理解其几何本质的重要工具。
4.3.1 正交对角化
实对称正定矩阵可被正交对角化,即存在正交矩阵 \(Q\) 使 \[ A=Q\Lambda Q^T, \] 其中 \(\Lambda\) 为对角矩阵,且对角元均为正。复 Hermite 正定矩阵则对应酉对角化。该形式直接揭示矩阵在特征方向上的作用。
4.3.2 特征向量基底表示
在特征向量构成的基底下,正定矩阵等价于若干正数缩放的组合。每个特征向量方向都被独立拉伸,这种“各向异性缩放”是正定矩阵几何意义的重要来源。
5 判定方法
实际工作中,常需要判断一个矩阵是否正定。判定方法通常依赖特征值、主子式或分解结果,视矩阵规模和应用场景而定。
5.1 通过特征值判定
特征值方法是最直接的理论判据之一。
5.1.1 数值求解方法
对于数值矩阵,可以通过特征值算法近似求出全部特征值,再检查是否全为正。不过在高维问题中,精确求特征值代价较高,因此通常结合近似算法和误差分析进行判断。
5.1.2 理论判别步骤
理论上,只要能证明矩阵的全部特征值都大于零,就可判定其正定。常见做法包括利用矩阵结构、相似变换、分解形式或已知谱界来建立正性结论。
5.2 通过主子式判定
主子式判定适用于对称矩阵,并且在小规模或符号明确的情形下尤其方便。
5.2.1 计算顺序主子式
逐阶计算左上角顺序主子式,并检查它们是否全部为正,是最直接的操作步骤。对于低维矩阵,这种方式往往比求特征值更简明。
5.2.2 Sylvester 准则应用
Sylvester 准则是主子式法的标准形式。若实对称矩阵的所有顺序主子式均为正,则矩阵正定。该准则在教材和证明中频繁出现,是正定判定的经典工具。
5.3 通过分解判定
如果矩阵能够成功分解为某些标准正定形式,也可据此判断其正定性。
5.3.1 Cholesky 分解存在性
若一个实对称矩阵存在 Cholesky 分解,则它通常是正定的。换言之,能写成 \(LL^T\) 的矩阵具备明确的正性结构,因此分解本身就是判别信号。
5.3.2 分解失败的含义
若在计算过程中 Cholesky 分解失败,通常说明矩阵不是正定的,可能是半正定、负定或不定,也可能因数值误差导致看似失败。在实际软件中,这一现象常被用作快速筛查手段。
6 相关概念与推广
正定矩阵并不是孤立概念,它与半正定、负定、不定以及复数域上的推广彼此关联,共同构成二次型分类体系。
6.1 正半定矩阵
正半定矩阵是正定矩阵的弱化版本,也是实际应用中非常常见的对象。
6.1.1 边界情形
正半定矩阵允许二次型在非零向量上取零,因此位于“正定”和“退化”之间的边界。它保留了非负性,却不一定保留可逆性。
6.1.2 退化二次型
当二次型只满足非负而不严格为正时,称其为退化或半退化情形。此时矩阵可能存在零特征值,导致某些方向上没有弯曲程度。
6.2 负定与不定矩阵
与正定相对的是负定和不定矩阵,它们在符号结构上表现出不同的行为。
6.2.1 符号相反的情形
若对任意非零向量 \(x\) 都有 \(x^TAx<0\),则称矩阵为负定。若二次型在不同方向上既能取正又能取负,则矩阵为不定。这两类矩阵与正定矩阵在性质上形成鲜明对比。
6.2.2 混合符号二次型
不定矩阵对应的二次型通常具有鞍形特征,既不像正定那样始终向上,也不像负定那样始终向下。它在优化中常意味着临界点未必是极值,而可能是鞍点。
6.3 复数域上的推广
在复数域中,正定理论通过 Hermite 矩阵得到自然推广,许多性质仍可保留。
6.3.1 Hermite 正定矩阵
Hermite 正定矩阵是复数情形中的标准对象。其二次型定义保持形式统一,同时通过共轭转置处理复数结构,适用于复内积空间分析。
6.3.2 半正定 Hermite 矩阵
若 Hermite 矩阵满足 \(x^*Ax\ge 0\),则为半正定 Hermite 矩阵。它在复协方差结构、量子态表示等领域中具有广泛意义。
7 应用
正定矩阵在应用数学和工程科学中地位突出,几乎所有涉及稳定性、距离度量和二次优化的问题都可能用到它。
7.1 最优化
在最优化中,正定矩阵常用于描述目标函数的局部曲率。
7.1.1 凸性与 Hessian 矩阵
若某函数的 Hessian 矩阵处处正定,则该函数通常具有严格凸性。正定 Hessian 意味着曲率始终向上,从而有利于唯一极小值的存在与求解。
7.1.2 局部极小值判定
在无约束优化中,若某临界点处 Hessian 正定,则该点通常是严格局部极小值。这是二阶充分条件的重要内容,也是判断极值类型的经典方法。
7.2 数值线性代数
正定矩阵在数值计算中往往表现出较好的稳定性,因此是算法设计中的优先对象。
7.2.1 迭代法中的稳定性
很多迭代算法在处理正定矩阵时收敛性更好,误差传播也更可控。正定结构还能帮助选择更合适的步长和预条件子。
7.2.2 线性方程组求解
对称正定线性方程组 \(Ax=b\) 常可用更高效的方法求解,如 Cholesky 分解或共轭梯度法。这类方法通常比一般矩阵求解更快,也更节省存储空间。
7.3 统计与概率
在统计模型中,正定矩阵经常用来表示变量之间的相关结构和离散程度。
7.3.1 协方差矩阵
协方差矩阵通常是正半定的;当变量之间没有线性依赖退化时,可能进一步成为正定矩阵。它刻画了数据在各方向上的波动情况,是多元统计分析的基础对象。
7.3.2 多元正态分布
多元正态分布的参数中,协方差矩阵必须是正半定,若要求密度形式良好且非退化,则通常需要正定。正定性保证分布在各方向上具有有效的扩散尺度。
7.4 机器学习与工程
在机器学习和工程建模中,正定矩阵常作为核函数、约束项和能量模型的核心结构。
7.4.1 核方法中的矩阵结构
核方法中形成的核矩阵通常需要满足正半定性,以保证模型对应的内积结构成立。若进一步具有正定性,则往往意味着样本间关系更丰富,数值表现也更稳定。
7.4.2 优化模型中的约束表达
在工程优化中,正定矩阵常被用于描述二次型约束、能量函数或弹性系统的刚度结构。它能够保证模型的稳定性和目标函数的良好曲率,因此是许多设计问题中的关键组成。
8 典型例子
通过具体矩阵可以更直观地理解正定性及其边界情况。
8.1 二阶矩阵示例
二阶矩阵是最便于手算和观察的情形,适合说明正定与非正定的区别。
8.1.1 对角矩阵示例
矩阵 \[ \begin{pmatrix} 2 & 0\\ 0 & 3 \end{pmatrix} \] 是正定矩阵,因为其对角元均为正,且二次型显然对任意非零向量都为正。类似地,任何对角元全正的对角矩阵都正定。
8.1.2 非对角矩阵示例
矩阵 \[ \begin{pmatrix} 2 & 1\\ 1 & 2 \end{pmatrix} \] 也是正定矩阵。它虽含有非零非对角元,但通过特征值或主子式可以验证其正定性,说明正定并不要求矩阵必须是对角形式。
8.2 构造正定矩阵
实际中,正定矩阵常通过已知矩阵加工构造而来。
8.2.1 AᵀA 型矩阵
对任意矩阵 \(A\),矩阵 \(A^TA\) 总是正半定;若 \(A\) 满列秩,则 \(A^TA\) 正定。这种构造方式在最小二乘、特征提取和数值分析中极其常见。
8.2.2 加上单位矩阵的构造
若 \(A\) 为正半定矩阵,则 \(A+\lambda I\) 在 \(\lambda>0\) 时通常正定。加上单位矩阵相当于给所有方向增加一层正的“底噪”,从而避免退化。
8.3 反例
反例有助于区分正定、半正定与不定之间的界限。
8.3.1 非正定但对称矩阵
矩阵 \[ \begin{pmatrix} 1 & 0\\ 0 & -1 \end{pmatrix} \] 是对称矩阵,但不是正定矩阵,因为它在不同方向上分别取正值和负值,属于不定矩阵。
8.3.2 奇异矩阵示例
矩阵 \[ \begin{pmatrix} 1 & 0\\ 0 & 0 \end{pmatrix} \] 不是正定矩阵,因为存在非零向量使二次型取零。它是正半定但奇异,说明正半定并不保证可逆,也不等同于正定。