1 逐次近似の概要
1.1 基本概念
1.1.1 反復写像としての定式化
逐次近似は、未知の対象に対して「推定値を入力とし、更新した推定値を出力する」写像を用意し、それを繰り返すことで解へ近づける考え方である。典型的には、不動点問題として表現される。具体的には、更新写像 \(G\) を用いて \[ x_{k+1}=G(x_k) \] の形で近似列を構成し、ある点 \(x^\*\) が \(x^\*=G(x^\*)\) を満たすとき、その不動点が求める解に対応する。解くべき元の問題が方程式や最適化で与えられていても、適切な変換によりこの反復構造へ落とし込むことで統一的に扱える。
1.1.2 初期値と更新則の役割
収束の可否は、更新則の性質と初期値に強く依存する。更新則が「どれだけ誤差を縮める性質をもつか」を決める一方、初期値はその性質が有効に働く領域に入っているかを左右する。更新則が同じでも初期点が異なれば収束速度や停滞の有無が変わるため、反復の設計では初期化と更新則を一体のものとして捉える必要がある。さらに、実装では浮動小数点による丸め誤差や計算の打ち切りがあるため、更新則の理論的性質だけでなく、数値的に破綻しない形へ組み替えることも重要になる。
1.2 典型的な問題設定
1.2.1 方程式の解の探索
方程式 \(F(x)=0\) の解を求める場面では、反復写像を \[ x_{k+1}=x_k - M^{-1}F(x_k) \] のように設計することが多い。ここで \(M\) は単純化や計算容易化のために導入される近似（あるいは前処理）で、更新則の選択が収束性と計算量を決める。特に非線形方程式の場合、更新則は線形近似や勾配情報を取り込むことで誤差を減らしにいく構造になる。
1.2.2 最適化と固定点探求
最適化では、目的関数 \(f(x)\) を最小化するために勾配や近接構造を利用する。無制約最小化で一次条件が \(\nabla f(x)=0\) に対応するとき、最適解はある意味で勾配方程式の解である。したがって最適化反復は、勾配に基づく固定点反復、あるいは反復形式に書き換えた近接写像の反復として表せることが多い。拘束がある場合には、制約条件を反復の更新則に埋め込むか、投影や近接写像として導入することで逐次近似が成立する。
1.3 他分野との関係
1.3.1 数値解析における位置づけ
逐次近似は数値解析の中心的な道具であり、線形代数、常微分方程式、偏微分方程式、最適化など多くの分野で共通の言語として現れる。とくに「問題を固定点へ変換し、その更新が誤差をどの程度抑えるか」を見る視点は、理論解析（収束条件、誤差評価）と実装（停止基準、丸め誤差対策）を同時に扱える点で有用である。
1.3.2 機械学習・最適化との接点
機械学習では、損失関数の最小化を反復的に行う過程が頻繁に出てくる。勾配降下やその派生は逐次近似の典型例であり、更新則の設計（学習率、正則化、運動量、近接操作）によって挙動が決まる。理論面では大域・局所収束や収束速度の議論が導入され、実務面では計算資源に合わせた打ち切りやミニバッチ化などが運用上の工夫として扱われる。
2 収束性の理論
2.1 収束の定義と誤差
2.1.1 真の解との誤差
2.1.1.1 準距離・ノルムによる誤差評価
| 反復列 \(x_k\) が解 \(x^\*\) に収束するかは、誤差を測るための距離概念に依存する。実用ではノルムや準距離を用い、誤差を \(\|x_k-x^\*\|\) のように評価する。準距離を用いる場合でも、反復が十分近い領域で誤差の縮小が保証されれば収束の議論が可能になる。どのノルムを採用するかは、誤差の意味づけ（例：成分ごとの大きさの偏り）と数値評価の安定性に影響する。 |
|---|
2.1.2 相対誤差と絶対誤差
| 誤差の尺度として、絶対誤差 \(\|x_k-x^\*\|\) と相対誤差 \(\|x_k-x^\*\|/\|x^\*\|\) がよく用いられる。目的や入力のスケーリング次第では相対誤差が有意義になり、零近傍を含む場合は分母が不安定になるため工夫が必要である。実装では真の解が未知であることが多いので、代理として残差や更新量を使う設計が一般的になる。 |
|---|
2.2 一般的な十分条件
2.2.1 自然な不動点の条件
更新則 \(x_{k+1}=G(x_k)\) に対し、不動点が存在し \(x^\*=G(x^\*)\) を満たすことがまず前提になる。加えて、その不動点の周辺で \(G\) が誤差を縮める性質、たとえばリプシッツ条件のもとで \[
| \|G(x)-G(y)\|\le q\|x-y\| |
|---|
\] が成り立つと、収束が保証される。ここで \(q<1\) が「更新がどれだけ収縮的か」を表し、誤差が幾何級数的に減る議論へ繋がる。
2.2.2 自己写像と有界性
単に収縮性があっても、初期値が有効領域に入っていなければ反復は崩れる。そこである集合 \(D\) を取り、写像 \(G\) が \(D\) から \(D\) へ写す（自己写像）ことが重要になる。また反復列がこの集合内に留まるための有界性（あるいは局所的な閉包性）が議論される。実務上は、初期化によってこの条件を満たすように設計するか、収束していない兆候が見えたときにステップ制御や再初期化を行う。
2.2.3 楕円性・凸性に基づく保証（最適化の場合）
最適化においては、目的関数の凸性や勾配のリプシッツ連続性、強凸性などの性質が収束保証の土台になる。特に強凸性は解の一意性や誤差—目的値ギャップの関係を強め、更新の設計により線形収束以上の挙動を導きやすい。拘束付きの設定では、制約集合の凸性や近接写像の良設定性が同様に効いてくる。これらの条件は政治・宗教・領土といった論点とは無関係な数学的性質として定式化され、分析の再現性を支える。
2.3 収束速度
2.3.1 一次収束と線形収束
線形（一次）収束は誤差が一定の比で減るタイプの収束である。収束率 \(q\in(0,1)\) があるとき \[
| \|x_{k+1}-x^\*\|\le q\|x_k-x^\*\| |
|---|
\] のように評価でき、誤差の対数を取るとほぼ直線的に減少する。収束が遅いと感じられる場合、更新則の縮小率が悪い、あるいは初期値が有効域の外にある可能性があるため、収束速度の改善は更新設計や前処理に直結する。
2.3.2 二次収束（ニュートン型など）
ニュートン法のような手法では、適切な滑らかさと初期値の近さの条件のもとで二次収束が現れる。典型的には \[
| \|x_{k+1}-x^\*\|\le C\|x_k-x^\*\|^2 |
|---|
\] の形になり、誤差が二乗で縮むため、解に近づくにつれて急激に精度が高まる。ただし二次収束は局所性が強く、遠い初期値では大域的な破綻が起こり得るため、線形寄りの安定化策（減衰や信頼領域）と併用されることが多い。
2.3.3 超一次収束の考え方
超一次収束は、二次より高いべきで誤差が減る状況を指す。具体的な指数は手法により異なるが、局所的に十分良い近似ができているときに高精度化が加速する点で二次収束と同様に局所性がある。収束速度の解析は、更新写像の高次微分に依存する場合が多く、理論的に美しい一方で実装では丸め誤差の壁に当たるため、実効的な速度は計算条件にも左右される。
3 代表的な逐次近似手法
3.1 固定点反復
3.1.1 反復写像の構成
固定点反復は最も基本的な枠組みであり、元問題 \(F(x)=0\) から更新写像 \(G\) を構成する工程が中心になる。構成の仕方には複数の選択肢があり、単純化の度合い、計算コスト、そして収縮性の有無がトレードオフになる。たとえば方程式の両辺を入れ替えるだけの「素朴な」変形は、しばしば収束しない更新を作ってしまう。したがって \(G\) が適切な領域で収縮的になるよう、変数変換や係数の導入によって性質を調整する。
3.1.2 収束条件の読み替え
固定点反復では、収束条件は更新写像の性質へ直接翻訳される。リプシッツ定数が小さいこと、ある領域で自己写像であること、不動点が存在することが主要条件として現れる。最適化由来の更新では、勾配や近接写像の非拡大性（ある種の距離を縮めない性質）から、弱い意味での収束が導かれることもある。いずれにせよ、元の問題の性質を \(G\) に投影して扱うのが要点となる。
3.2 線形方程式に対する反復解法
3.2.1 ジャコビ法・ガウスザイデル法
線形方程式 \(Ax=b\) に対し、反復解法では行列 \(A\) を分解して更新を行う。ジャコビ法は \(A\) を対角成分と残りに分け、各成分を前回の値だけで更新する方式である。ガウスザイデル法はさらに直近に更新された成分を直ちに利用し、同じ計算量の範囲で通常はより速い収束が期待される。収束は行列の構造、特にスペクトル半径や対称性、対角優位性などに関連づけて判断される。
3.2.2 共役勾配法の考え方（関連性）
共役勾配法（CG）は線形反復の中でもエネルギー最小化や直交性を利用する代表的手法で、単純な固定点反復とは性格が異なるが、反復で誤差を抑えるという基本観点は共通する。CGは対称正定値の系で特に有効で、初期残差から作る探索方向が共役性を満たすため、数値的に効率良く誤差を縮める。関連性としては、「反復を更新の軌道設計として捉える」視点が挙げられる。
3.3 非線形方程式の反復法
3.3.1 ニュートン法
ニュートン法は非線形方程式 \(F(x)=0\) に対して、ヤコビ行列 \(J_F(x)\) に基づく線形化から更新を導く。一般に \[ x_{k+1}=x_k - J_F(x_k)^{-1}F(x_k) \] で与えられ、解に十分近いと二次収束が期待できる。計算上はヤコビ行列の評価と逆行列相当の解法が必要になるため、問題の規模や構造に応じて線形方程式ソルバを使う、あるいは近似ヤコビアンを用いる工夫が行われる。
3.3.2 偽位置・割線法の考え方
偽位置法（ブレント法のようなハイブリッドを含むこともある）や割線法は、導関数（またはヤコビ行列）の計算コストや不安定性を避けるために、差分近似や区間情報に基づいて更新する。割線法はヤコビ行列の代わりに過去2点の差から関係を推定し、ニュートン法の派生として見ることができる。収束速度はニュートン法に比べて落ちることが多いが、実装負担が軽くなる利点がある。
3.4 最適化問題への拡張
3.4.1 勾配降下法と逐次更新
勾配降下法は無制約最適化で広く用いられる反復手法で、目的関数の勾配に沿って値を下げる方向へ進む。基本形は \[ x_{k+1}=x_k-\alpha_k\nabla f(x_k) \] であり、ステップ幅 \(\alpha_k\) の選択が収束の安定性を左右する。固定の学習率で行う場合もあるが、一般には線形近似の妥当性を確保するためにラインサーチや減衰則が併用される。反復は目的値の降下や勾配の減少を指標として評価される。
3.4.2 近接勾配法
近接勾配法は、滑らかな部分と非滑らかな部分に目的関数を分解できるときに有効になる。非滑らかな項を直接扱うのではなく、近接写像（ある種の最小化問題の解）として反復に組み込むことで、スパース性などの性質を促すことができる。更新は勾配による通常の降下と、近接演算による制約・正則化の反映を組み合わせた形になるため、反復近似としての構造が明確になる。
4 実装上の要点と運用
4.1 停止基準と評価指標
4.1.1 残差にもとづく停止
| 反復が目標を満たしているかは、問題設定に応じた残差で測るのが自然である。方程式 \(F(x)=0\) なら \(\|F(x_k)\|\) が残差であり、最適化なら KKT条件の残差や勾配ノルムが代理指標になることが多い。残差が十分小さくなった時点で終了する基準は広く使われるが、スケーリングの影響を受けるため、絶対値だけでなく相対尺度や併用指標で堅牢性を高める。 |
|---|
4.1.2 近似解の変化量にもとづく停止
| 真の解が未知でも、近似の更新がほとんど変わらなくなれば進展が止まっている可能性がある。そこで \(\|x_{k+1}-x_k\|\) を停止判定に用いる方式がある。更新量が小さくても残差が大きい場合は停滞していることがあるため、残差型と併用する運用が望ましい。計算資源の制限が厳しいときには、更新量基準を主に用いて早期打ち切りすることもある。 |
|---|
4.2 初期値・パラメータ設計
4.2.1 初期値の選び方
初期点は収束性の前提を満たすかどうかに直結する。線形系ではスペクトル構造により初期が選びやすい場合もあるが、一般には問題ごとに推奨される初期化が存在する。機械学習の文脈では学習済みモデルからの転移など、経験に基づく選び方が多いが、理論面では「局所収束が保証される領域へ入れる」ことがポイントになる。
4.2.2 緩和係数・ステップ幅の調整
更新が発散しそうなとき、緩和やステップ調整は実用上の鍵になる。例えば勾配法では学習率を小さくすれば安定性が増すことが多いが、収束速度は落ちる。過大なステップは反復が跳ね回り、過小は停滞につながるため、ラインサーチや信頼領域に基づく適応的選択がよく用いられる。また固定点反復でも更新に緩和係数を掛ける（緩和固定点法）ことで収縮性を改善できる場合がある。
4.3 数値安定性と誤差要因
4.3.1 浮動小数点誤差の影響
有限精度では、誤差は丸めの蓄積として反復に入り込み、ある段階以降は理論的に減るはずの誤差が減らなくなる。特に高精度化が進む領域では、残差計算や差分による更新で桁落ちが起こり得る。停止基準を厳しすぎる設定にすると、丸め誤差が支配して無駄な反復が増えるため、機械イプシロンや計算スケールを考慮した閾値設定が重要になる。
4.3.2 条件数と感度
問題の条件の良否は、入力誤差や計算誤差が解へどれほど増幅されるかを示す。条件数が大きい系では、更新が理論上は正しくても数値誤差により精度が頭打ちしやすい。したがって反復設計では、前処理や変数スケーリングなどで実効的な条件を改善し、感度の悪さを軽減することが実務の要点になる。
4.4 高速化・改良の工夫
4.4.1 事前条件化の考え方（反復の補助）
事前条件化は、反復の中で線形演算の性質を改善することで収束を速める手法である。線形方程式では前処理行列を導入して等価な問題に言い換え、スペクトルが好ましい形になるよう調整する。結果として固定点反復や共役勾配などの反復の縮小率が改善し、同じ精度に到達するまでの反復回数が減る。条件化の設計は、計算コストと改善効果のバランスが支配的になる。
4.4.2 加速法（最小二乗的な更新など）
加速は、単純な逐次更新に「より賢い次の推定」を組み込むことで、収束を前倒しする考え方である。たとえば過去の残差や更新履歴を用いて最小二乗的な整合を取る手法は、誤差成分を効果的に打ち消し、収束の見かけの次数を上げることがある。理論的にはどの成分がどれだけ減るかが解析され、実装ではメモリや計算量の制約のもとで適用範囲が決まることが多い。