1 历史与命名
1.1 高斯与塞德尔的贡献
Gauss-Seidel方法通常与卡尔·弗里德里希·高斯和菲利普·路德维希·冯·塞德尔联系在一起。高斯在早期的数值计算和最小二乘问题中，已经体现出迭代消元与逐步修正的思想；塞德尔则在19世纪系统化整理了这类逐次更新的求解策略，使其逐渐成为独立的方法。由于两者在思想形成与传播中的作用，这一算法后来常以两人共同命名。
1.2 方法名称的由来
“Gauss-Seidel”这一名称反映了它的历史渊源，也强调了方法的核心特征：以高斯式的消元思想为基础，并采用塞德尔式的逐次更新机制。中文语境中常译作“高斯-塞德尔方法”或“高斯-赛德尔方法”，不同译名主要源于音译习惯差异。
1.3 发展与应用背景
该方法随着数值分析的发展而广泛传播，尤其在计算机尚不发达、直接求解大型方程组代价较高的时期，迭代法具有明显实用价值。进入现代科学计算阶段后，Gauss-Seidel方法仍因实现简单、存储需求较低而被保留，尤其适合稀疏系统和某些离散化偏微分方程的求解过程。
2 基本原理
2.1 线性方程组的迭代求解思想
Gauss-Seidel方法的目标，是通过一系列近似解不断逼近线性方程组的真实解，而不是一步获得精确结果。它适用于规模较大、结构稀疏或直接法代价较高的问题。每一次迭代都会利用当前已知信息修正未知量，使解向满足方程组的方向逐渐收敛。
2.2 逐项更新机制
该方法最突出的特点是“立即使用最新值”。在处理未知量时，若前面的变量已经完成本轮更新，则后续变量在同一轮中会直接采用这些新值，而不是等待整轮结束。这种顺序修正方式通常比Jacobi方法更快，但也使计算过程更依赖变量的排列顺序。
2.3 与矩阵分解的关系
从代数角度看，Gauss-Seidel方法可视为对系数矩阵进行分裂后得到的迭代过程。它把矩阵分解为对角部分、严格下三角部分和严格上三角部分，并利用前两部分构造更新公式。这种视角有助于分析其收敛性，也便于将其与其他迭代算法统一比较。
3 数学表述
3.1 标准线性系统形式
设线性方程组为 Ax = b， 其中A为n阶系数矩阵，x为未知向量，b为常向量。若A的结构适合迭代处理，则可采用Gauss-Seidel方法构造一列近似解x^(k)。
3.2 迭代公式
将A按行写成方程组后，第i个未知量在第k+1次迭代中的更新可表示为： x_i^(k+1) = (1/a_ii) [ b_i - Σ_{j< i} a_ij x_j^(k+1) - Σ_{j> i} a_ij x_j^(k) ]。 其中，前半部分使用同一轮已更新的值，后半部分仍使用上一轮结果。这一定义正是该方法区别于同时更新型算法的关键。
3.3 矩阵分裂表示
设A = D - L - U，其中D为对角矩阵，L为严格下三角部分的相反数，U为严格上三角部分的相反数，则Gauss-Seidel迭代可写为： (D - L)x^(k+1) = Ux^(k) + b。 进一步整理得到： x^(k+1) = (D - L)^(-1)Ux^(k) + (D - L)^(-1)b。 这里的迭代矩阵为(D - L)^(-1)U，决定了方法的收敛特征。
3.4 误差传播形式
若x*是真解，误差记为e^(k) = x^(k) - x*，则有： e^(k+1) = (D - L)^(-1)U e^(k)。 这表明误差在每次迭代中会按照迭代矩阵的作用传播。若该矩阵的谱半径小于1，则误差会逐步衰减，迭代序列趋向于真实解。
4 算法步骤
4.1 初始化
先给定初始向量x^(0)，它可以取零向量，也可以取基于经验或先验估计的近似值。初值通常不会影响最终收敛性结论，但会影响达到给定精度所需的迭代次数。
4.2 变量顺序更新
按未知量的固定顺序逐个更新。在计算第i个分量时，前面分量采用本轮新值，后面分量仍沿用旧值。该顺序性是Gauss-Seidel方法的核心实现细节，也是其名称中“逐次”特征的来源。
4.3 迭代终止条件
常见停止条件包括：两次迭代向量差的范数足够小、残差范数低于阈值，或迭代次数达到上限。实际应用中通常同时考虑误差控制与计算成本，以避免过早停止或无效循环。
4.4 伪代码表示
可简要表示为：
- 设定初值x^(0)；
- 对k = 0,1,2,…重复；
- 依次对i = 1到n更新x_i^(k+1)；
- 计算残差或差值；
- 若满足停止条件，则输出结果，否则继续迭代。
这一流程结构清晰，便于嵌入实际程序。
5 收敛性分析
5.1 收敛的必要条件与充分条件
Gauss-Seidel方法的收敛与系数矩阵及其谱性质密切相关。一般而言，若迭代矩阵的谱半径小于1，则方法收敛；反之则可能发散。由于直接判断谱半径并不总是方便，实际分析中常借助矩阵结构给出更易检验的充分条件。
5.2 对角占优矩阵下的收敛性
当A满足严格对角占优时，Gauss-Seidel方法通常收敛。所谓对角占优，是指每一行对角元的绝对值大于该行其他元素绝对值之和。此类矩阵具有较好的数值稳定性，也常见于离散化模型中，因此该条件在应用中十分重要。
5.3 对称正定矩阵下的性质
对于对称正定矩阵，Gauss-Seidel方法具有良好的收敛表现。此类矩阵在工程计算和优化问题中非常常见，例如能量最小化、有限元离散方程等。与一般情形相比，对称正定条件不仅保证收敛，还常伴随较稳定的数值行为。
5.4 收敛速度与谱半径
收敛速度主要受迭代矩阵谱半径影响。谱半径越小，误差衰减越快，所需迭代步数越少。相较于Jacobi方法，Gauss-Seidel方法往往具有更优的收敛速度，但其实际表现仍受矩阵结构、变量排序和初值选择影响。
6 与其他迭代方法的比较
6.1 与Jacobi方法的区别
Jacobi方法在同一轮中全部使用旧值更新，因此各分量之间彼此独立，结构上更适合并行；Gauss-Seidel则边算边用新值，通常收敛更快。前者实现简洁，后者在序列化计算中往往更高效。
6.2 与SOR方法的联系
SOR方法可以看作在Gauss-Seidel基础上引入松弛因子后的改进形式。它在更新时额外控制步长，从而有机会进一步加速收敛。若松弛因子取特定值，SOR会退化为Gauss-Seidel方法。
6.3 与逐次超松弛思想的关系
逐次超松弛思想的核心，是在当前修正值上做适度放大或收缩，以改善迭代性能。Gauss-Seidel方法属于这一思想的基准形态，而SOR则是在其上加权调节的推广。二者在结构上高度相关，常一起讨论。
6.4 与直接法的对比
直接法通常通过消元、分解等一次性手段求出精确解，适合中小规模问题；迭代法则以逐步逼近为主，更节省存储并适应大规模稀疏系统。Gauss-Seidel在精度要求适中、矩阵结构良好的情况下常具优势，但对于病态问题或收敛缓慢的系统，直接法可能更可靠。
7 数值实现
7.1 编程实现要点
实现时需注意变量更新顺序、索引映射和浮点误差控制。由于每次更新都依赖当前最新值，因此代码中应避免误把新旧向量混用。若采用面向对象或矩阵库，通常要明确区分“当前迭代”与“下一迭代”的数据来源。
7.2 稀疏矩阵处理
Gauss-Seidel方法特别适合稀疏矩阵，因为只需访问非零元素即可完成大部分运算。实际编程中常用压缩存储格式，如CSR或CSC，以减少内存占用并提高访问效率。对于偏微分方程离散后形成的大规模系统，这一点尤为关键。
7.3 并行化的限制与改进
由于该方法的更新具有强顺序依赖，标准Gauss-Seidel难以直接大规模并行化。为提高并行性能，常采用分块、颜色分组或异步更新等改进思路。尽管如此，与天然可并行的Jacobi方法相比，它在并行环境下的适应性通常较弱。
7.4 停止准则与误差评估
工程实现中常用残差范数作为终止依据，因为它能较直接反映当前解对原方程组的满足程度。也可使用相邻迭代差作为辅助指标，以判断迭代是否趋于稳定。若问题尺度较大，还需结合相对误差而非绝对误差进行评估。
8 应用领域
8.1 线性代数计算
在一般线性代数任务中，Gauss-Seidel方法用于求解大规模线性方程组、近似解线性系统，以及作为更复杂算法中的子步骤。它常出现在预处理、分解近似或迭代框架中。
8.2 偏微分方程离散求解
许多偏微分方程在差分或有限元离散后，会转化为大型稀疏线性系统。Gauss-Seidel方法因此成为常用求解器之一，尤其适合稳态扩散、泊松方程等问题。其逐点更新特性与网格结构相结合，往往具有较好的实现效果。
8.3 工程仿真中的应用
在结构分析、热传导、电路网络和流体近似计算中，Gauss-Seidel方法经常用于处理由离散模型生成的代数方程。它的优点是实现简单、内存占用低，适合对精确度和实时性有折中需求的工程场景。
8.4 优化与科学计算中的应用
该方法还可作为某些优化算法的基础模块，例如在坐标更新思想中体现“逐变量修正”的策略。科学计算中，Gauss-Seidel也常用作多重网格法、预条件技术或分块求解框架中的组成部分。
9 优缺点
9.1 优点
Gauss-Seidel方法结构直观，编程实现较为简单；对稀疏矩阵友好，内存需求低；在许多实际问题中比Jacobi方法收敛更快。对于具有良好结构的系统，它是一种经济而实用的迭代工具。
9.2 局限性
该方法对变量顺序较敏感，并且并行化难度较大。若矩阵条件较差、谱性质不佳或初值过远，迭代可能很慢，甚至发散。此外，对某些强耦合系统，其收敛效率未必理想。
9.3 适用场景
它适合大型稀疏线性系统、对角占优矩阵、对称正定矩阵，以及由网格离散产生的规则结构问题。若需要较低存储开销，并且可接受迭代逼近过程，Gauss-Seidel通常是合理选择。
9.4 常见失败情形
当矩阵不满足有利的收敛条件、方程组病态严重、变量顺序设置不当时，方法可能表现不佳。若将其用于需要高精度快速收敛的场合而缺乏预处理，也容易出现迭代次数过多的问题。
10 扩展与变体
10.1 阻尼Gauss-Seidel方法
阻尼版本在原始更新值与旧值之间加入权重，以减缓过强修正带来的振荡。它在某些不稳定或接近发散的系统中更稳健，属于对基本方法的温和调整。
10.2 并行Gauss-Seidel思想
并行化改进通常通过分块、分层或图着色方式减少变量之间的顺序依赖。这样可以在保留部分Gauss-Seidel优点的同时，提高多核或分布式环境下的执行效率。不过，这类方法往往需要额外的结构分析。
10.3 块Gauss-Seidel方法
块Gauss-Seidel将未知量分成若干组，每次更新一个子块而不是单个变量。它适合具有明显分区结构的系统，也常用于大规模工程问题。相较于逐点更新，块处理有时能更充分利用矩阵结构并改善收敛性。
10.4 非线性Gauss-Seidel方法
在非线性问题中，类似思想可推广为逐个变量或逐个子问题地迭代修正。此时更新步骤不再是简单线性公式，而可能需要求解局部非线性方程。该类方法在非线性优化和非线性离散方程求解中具有一定价值。