1 基本概念
最小二乗問題は、与えられた観測データに対して、ずれの二乗の総和が最も小さくなるように未知量を定める手法である。測定誤差を含む実データでは、すべての条件を厳密に満たす解が存在しないことが多く、その代わりに「最もよく合う」解を選ぶ枠組みとして広く利用される。数学、統計、工学、計算科学の各分野で基礎的な位置を占める。
1.1 定義
典型的には、観測値とモデルの予測値との差を残差と呼び、その残差の二乗和を最小にする未知パラメータを求める。関数を直接推定する場合もあり、その際は選んだ表現形式の中で誤差が最小となるものを探す。線形か非線形かによって扱い方は異なるが、中心となる考え方は共通している。
1.2 誤差と残差
誤差は真の値と観測値との差を指し、残差は観測値とモデルが与える値との差を表す。真値は通常不明であるため、実際の計算では残差を用いて適合度を評価する。残差が小さいほどデータとの一致は良好とみなされるが、単純な大きさだけでなく分布や偏りも重要である。
1.3 二乗和を用いる理由
二乗を用いると、正負のずれが打ち消し合わず、全体のずれを一つの尺度で測りやすい。さらに、微分可能であるため解析や最適化に適しており、計算手法の設計も比較的容易になる。大きな誤差がより強く反映される性質もあり、近似の精度を重視する場面で有効である。
2 線形最小二乗問題
線形最小二乗問題では、未知量に対してモデルが線形に表される。代表的には、複数の観測からなる方程式系が過剰決定となる場合に、全体のずれが最小となる解を求める。行列表示により構造が明確になり、理論と計算の両面で扱いやすい。
2.1 行列による定式化
線形最小二乗問題は、一般に行列Aとベクトルbを用いて、Ax ≈ bを満たすxを求める形で表される。ここでAは係数行列、xは未知ベクトル、bは観測ベクトルである。目的は、残差ベクトルb - Axの長さ、すなわちその二乗ノルムを最小にすることにある。
2.2 正規方程式
最小二乗解は、条件が整えばAの転置を用いた正規方程式AᵀAx = Aᵀbを満たす。これは目的関数を微分して得られる必要条件であり、線形代数の標準的な枠組みで解を導く。もっとも、AᵀAは元の行列より条件が悪化しやすいため、数値計算では注意が必要である。
2.3 幾何学的解釈
最小二乗解は、観測ベクトルを列空間へ近似的に写す操作として理解できる。データ点の集合に最も近い部分空間上の点を選ぶことに対応し、誤差はその部分空間に垂直な成分として残る。こうした見方は、解の性質やアルゴリズムの理解に役立つ。
2.3.1 射影としての最小二乗解
最小二乗解は、bをAの列空間へ直交射影した点に対応する。射影されたベクトルは、もとのデータを表す空間の中で最も近い近似であり、残差は射影先の空間から外れた成分になる。この解釈により、近似誤差の意味が直感的に捉えやすくなる。
2.3.2 直交性条件
最小二乗解では、残差ベクトルがAの列空間に直交する。言い換えると、残差はモデルの変化方向にこれ以上改善できない状態を表している。この直交条件は正規方程式と同値であり、解の判定や理論的説明に頻繁に用いられる。
3 解法
最小二乗問題の解法は、行列の規模、構造、求める精度によって選ばれる。小規模から中規模では直接法が便利であり、大規模問題では反復法が有力となる。実用上は、理論的な正確さだけでなく、計算量や丸め誤差への強さも重視される。
3.1 直接法
直接法は、有限回の操作で解を求める方法である。行列分解や消去を利用し、比較的安定に解へ到達できることが多い。問題のサイズが極端に大きくない場合や、高い精度が必要な場合に選ばれやすい。
3.1.1 ガウス消去法
ガウス消去法は、連立方程式を上三角形に変形してから後退代入で解く標準的手法である。最小二乗では、正規方程式に適用する形や、拡張された行列に対して用いる形がある。ただし、条件の悪化が起こりやすいため、慎重な実装が求められる。
3.1.2 コレスキー分解
コレスキー分解は、対称正定値行列を下三角行列とその転置の積に分解する方法である。正規方程式の係数行列AᵀAが正定値であれば利用でき、計算効率が良い。もっとも、数値的にはAᵀAの性質が不安定さを招くことがあるため、適用には配慮が必要である。
3.2 反復法
反復法は、初期値から少しずつ解を改善していく方法である。大規模なデータや疎な行列では、全体を直接分解するよりも効率的な場合が多い。途中で打ち切って近似解を得ることもでき、実務上の柔軟性が高い。
3.2.1 最急降下法
最急降下法は、目的関数の勾配が最も減少する方向へ順次進む方法である。実装は比較的単純だが、収束が遅くなることがある。特に谷の形が細長い問題では、進み方が効率的でない場合がある。
3.2.2 共役勾配法
共役勾配法は、対称正定値の線形系に対して有効な反復法である。各反復で互いに共役な方向を用いるため、最急降下法より少ない回数で収束しやすい。大規模な最小二乗問題では、前処理と組み合わせて広く利用される。
3.3 数値安定性
数値安定性は、計算誤差が結果にどの程度影響するかを示す重要な性質である。最小二乗では、行列の条件数が大きいと小さな誤差が増幅されやすい。実務では、正規方程式よりもQR分解や特異値分解が選ばれることがあり、安定性を重視した手法設計が行われる。
4 応用
最小二乗法は、観測データからモデルを推定する多くの場面に現れる。単なる数値計算の技法にとどまらず、予測、補正、再構成、学習の基礎として機能する。分野ごとに解釈は異なるが、いずれも「ずれをできるだけ小さくする」という発想を共有する。
4.1 回帰分析
回帰分析では、説明変数と目的変数の関係を数量的に表すために最小二乗が用いられる。線形回帰はその代表例で、係数の推定によりデータの傾向を把握できる。統計学では、推定量の性質や仮説検定と結びつけて分析されることが多い。
4.2 曲線当てはめ
曲線当てはめは、離散データに対して滑らかな曲線や関数を近似的に合わせる操作である。多項式、指数関数、スプラインなど、さまざまなモデルが対象となる。測定値の補間や近似式の作成に用いられ、工学計算や実験データの整理で重要である。
4.3 信号処理
信号処理では、観測信号から雑音を抑えたり、隠れた成分を推定したりする際に最小二乗が利用される。フィルタ設計、推定、スペクトル解析などで現れ、信号の再構成にも関わる。限られた観測から元の情報を復元する問題と相性がよい。
4.4 機械学習
機械学習では、損失関数として二乗誤差を採用するモデルが多い。回帰タスクでは予測値と正解値の差を小さくする目的で使われ、学習アルゴリズムの基礎となる。最小二乗の考え方は、統計的推定と最適化の接点としても重要である。
5 理論的性質
最小二乗問題の理論は、解がいつ存在し、どのような条件で一意に定まるかを明らかにする。さらに、誤差が入力や観測の乱れにどう反応するか、非線形の場合にどのような困難が生じるかも研究対象となる。これらは応用の信頼性を支える基盤である。
5.1 解の存在と一意性
線形最小二乗では、一般に少なくとも一つの解が存在する。列が一次独立であれば解は一意になり、そうでない場合は複数の最小二乗解が生じうる。必要に応じて、最小ノルム解を選ぶことで代表的な解を定める。
5.2 過剰決定系
過剰決定系は、未知数よりも方程式の数が多い系である。一般にはすべての条件を同時に満たせないため、最小二乗によって最適な妥協点を求める。観測値に冗長性がある場合でも、この性質によりノイズの影響を平均化しやすい。
5.3 誤差解析
誤差解析では、観測誤差や丸め誤差が解に与える影響を調べる。条件数が大きい問題では、わずかな入力の変化が解を大きく動かすことがある。理論的評価と実験的検証の両方を通じて、計算結果の信頼度が判断される。
5.4 非線形最小二乗問題
非線形最小二乗問題では、残差が未知量の非線形関数になる。解析解が得にくいため、反復的に近似解を更新する方法が中心となる。ガウス・ニュートン法やレーベンバーグ・マルカート法が代表的で、初期値の選び方が収束性に大きく影響する。