1 最小二乗近似の概観
1.1 目的と基本原理
最小二乗近似は、観測値とモデルが作る予測値との差である残差の情報を用い、残差を二乗して合計した量（残差二乗和）が最小になるようにモデルのパラメータを決める手法である。二乗を用いることで、残差の符号による相殺を抑え、誤差の大きい部分の影響を相対的に強める。結果として、連続値の推定や近似において、安定かつ扱いやすい最適化問題として定式化できる点が利点となる。
実務では、ノイズを含む測定から直線・曲線などの形を持つモデルを当てはめ、予測や誤差評価に役立てる目的で広く用いられる。理論面では、仮定の下で確率的推定（最尤推定）と整合しやすく、推定量の性質（一致性や効率性の議論）にもつながる。
1.2 残差と二乗和の意味
残差は、観測データの値からモデルが与える推定値を差し引いた量として定義される。各観測について残差を作り、それらを二乗して足し合わせたものが残差二乗和である。二乗和は、単位やスケールの影響を受けつつも、非負の尺度として目的関数に自然に組み込まれる。
この目的関数の最小化は、「モデルがデータに最も近い」という直観を数学的に表現する。特に、誤差が大きい点がある場合、その点の二乗寄与が増えるため、単に平均的に合うだけでなく、全体として妥当な近似を実現しやすい。
1.3 最小二乗解の一意性
最小二乗問題の解の一意性は、モデルが張る空間（設計行列の列空間）と観測の関係で決まる。一般に、解が一つに定まるか、あるいは同じ二乗和を与えるパラメータ群が存在するかは、行列のランクに依存する。
ランクが十分に高く、モデルがパラメータに対して識別可能であれば、最小二乗解は一意になる。一方で、設計行列がランク落ちしている場合、同じ予測（したがって同じ残差二乗和）を与えるパラメータが複数存在し得る。このときは疑似逆行列などを用いた規約により代表解を定めるのが典型である。
2 数学的定式化（線形の場合）
2.1 線形モデルと設計行列
2.1.1 モデルの表現（ベクトル・行列）
線形最小二乗は、パラメータベクトル \(\beta\) に対して予測が線形に依存する形で表される。観測が \(n\) 個、パラメータが \(p\) 個であるとき、設計行列 \(X\) を用いて予測ベクトルは \(X\beta\) と書ける。観測ベクトルを \(y\) とすると、モデルは \(y \approx X\beta\) という形になる。
設計行列の各行は1つの観測に対応し、列は各パラメータの寄与のパターンを表す。たとえば、切片項を含めるには設計行列に定数列を加える。単純な回帰から、特徴量を多項式や基底関数で拡張した場合まで、この表現は共通して使われる。
2.1.2 残差ベクトルの構成
| 残差ベクトル \(r\) は \(r = y - X\beta\) と定義される。最小二乗の目的関数は残差の二乗和、すなわち \(\|r\|^2 = r^\top r\) である。ここで \(\|\cdot\|\) はユークリッドノルムを表す。 |
|---|
| 目的関数 \(\|y - X\beta\|^2\) を最小化することは、幾何学的には「ベクトル \(y\) を列空間 \( \mathrm{col}(X)\) に直交射影する」という操作に対応する。よって、解の性質や計算手順は、線形代数の射影と密接に結びつく。 |
|---|
2.2 正規方程式
2.2.1 勾配による導出
| 目的関数 \(f(\beta)=\|y - X\beta\|^2\) は \(\beta\) に関して二次形式である。これを \(\beta\) で微分し、勾配を零と置くことで停留条件が得られる。 |
|---|
| 導出の要点は、\(\|y-X\beta\|^2=(y-X\beta)^\top (y-X\beta)\) を展開して整理し、\(\nabla_\beta f(\beta)= -2X^\top (y-X\beta)\) を得ることである。停留条件 \(\nabla_\beta f(\beta)=0\) より、正規方程式 |
|---|
\[ X^\top X \beta = X^\top y \] が得られる。ランクが十分に高い場合、左辺行列が可逆であるため一意に \(\beta\) が計算できる。
2.2.2 正規方程式の幾何学的解釈
幾何学的には、正規方程式は残差が列空間に直交することを意味する。すなわち、最小化によって得られる解 \(\hat{\beta}\) では、残差 \(y-X\hat{\beta}\) が \(\mathrm{col}(X)\) の任意のベクトルに直交する。
この条件は、最小二乗が列空間への射影と等価であることを示す。射影先の点は \(X\hat{\beta}\) として現れ、\(\hat{\beta}\) 自体はパラメータの冗長性（ランク落ち）があると一意でなくても、予測 \(X\hat{\beta}\) は一意に定まることがある。
2.3 解の条件と自由度
2.3.1 行列ランクによる分類
解の存在は通常の条件下で保証されるが、解の一意性や安定性はランクに左右される。\(X^\top X\) の可逆性は \(X\) の列ランクと関係し、列ランクが最大（\(p\)）であれば一意解が得られる。
一方、\( \mathrm{rank}(X) < p \) であれば、正規方程式の解は複数存在し得る。目的関数は \(\beta\) の一部に対して同じ予測を与える方向（ヌル空間方向）で平坦になるためである。代表解を与えるには疑似逆行列による最小ノルム解が用いられる。
2.3.2 最小二乗の評価指標
最小二乗では、残差二乗和が計算結果の主要な指標になる。モデルの当てはまりの尺度としては、残差二乗和に加えて、観測数と有効パラメータ数を踏まえた平均二乗（例：分散推定のための指標）が利用される。
また、説明力の指標としては決定係数に相当する量が用いられることもある。これらの指標はいずれも、最小二乗で得られる予測がどれだけ観測のばらつきを説明できたか、あるいは残差としてどれほど残ったかを数値化するためのものである。
3 計算手法と数値安定性
3.1 QR分解による計算
| QR分解は、行列 \(X\) を直交成分 \(Q\) と上三角行列 \(R\) に分解し、最小二乗を安定に解くための代表的手法である。具体的には \(X = QR\) とし、目的関数 \(\|y - X\beta\|\) を直交変換で保存しながら簡単な問題に帰着する。 |
|---|
| この過程では、残差のノルムが \(\|Q^\top y - R\beta\|\) として扱えるため、最後に上三角系の解法により \(\beta\) を求められる。正規方程式を直接解く方法は \(X^\top X\) を作る段階で数値誤差が増幅されることがあり、QR分解はそのリスクを抑える選択として用いられる。 |
|---|
3.2 特異値分解（SVD）と疑似逆行列
特異値分解（SVD）は \(X = U\Sigma V^\top\) と分解し、特異値 \(\Sigma\) の大きさに基づいて縮退や条件の悪さを明確化する。最小二乗問題は、SVDを用いることで疑似逆行列 \(X^+\) を計算し、代表解 \(\hat{\beta}=X^+ y\) として表せる。
SVDの利点は、ランク落ちの状況でも計算が破綻しにくい点にある。小さな特異値に対応する成分を適切に扱うことで、過度な増幅を抑えた解が得られる。さらに、解の安定性や感度（データの摂動に対する変化）を評価する観点でも、条件数に関係する情報が得られる。
3.3 正則化を含む安定化
3.3.1 リッジ回帰（Tikhonov正則化）
| 正則化は、解が不安定になる状況や過剰適合を抑えるために、目的関数に追加項を導入する考え方である。リッジ回帰は典型例で、残差二乗和にパラメータの二乗ノルム \(\|\beta\|^2\) を重み付きで加える。 |
|---|
\[
| \min_\beta \|y - X\beta\|^2 + \lambda \|\beta\|^2 |
|---|
\] ここで \(\lambda\) は正則化強度を表す。
この追加項により、解は一意化されやすくなり、数値的にも安定性が向上する。幾何学的には、通常の最小二乗解を求める代わりに、パラメータ空間での制約が緩い方向へ誘導する効果を持つ。特徴量が相関し強く縮退する場合に特に有効とされる。
3.3.2 過学習と対策
過学習は、データに対して適合しすぎた結果、未知データでの性能が低下する現象である。最小二乗そのものは学習時の残差を減らすだけであり、モデルの柔軟性が高い場合には、偶然の揺らぎも説明してしまうリスクが生じる。
対策としては正則化、特徴量の選択や縮約、検証用データによるモデル選択などがある。リッジ回帰のような手法は、パラメータの大きさにペナルティを与えることで、過剰に複雑な当てはめを抑制する方向に働く。結果として一般化性能の改善が期待される。
4 応用分野と拡張
4.1 多項式近似・カーブフィッティング
多項式近似は、最小二乗を用いてデータ点に滑らかな多項式を当てはめる代表的な応用である。設計行列には多項式の基底（例：\(1,x,x^2,\dots\)）が組み込まれ、係数が \(\beta\) として推定される。
カーブフィッティングの場面では、次数の選択が重要になる。次数が低すぎれば系統的な誤差が残り、高すぎれば小さな揺らぎまで拾って不安定になる。そこで、正則化や、スプラインなど多項式以外の基底を用いる工夫が併用されることが多い。
4.2 回帰分析（推定と解釈）
回帰分析では、最小二乗によってモデル係数を推定し、予測や説明の両面に活用する。説明の解釈は統計的仮定（誤差分布や独立性など）と結びつくため、最小二乗が提供するのはまず「係数推定値」であり、そこからどのような解釈が妥当かは追加の前提に依存する。
それでも、線形回帰の係数が入力変数の変化に対する応答の方向を示す、といった整理は多くの分野で共通する枠組みである。予測性能の評価には残差の分布、外挿の注意、検証手法などが用いられる。
4.3 一般化最小二乗法
4.3.1 重み付き最小二乗
一般化最小二乗法は、誤差の分散が等しくない、あるいは誤差同士が相関しているといった状況に対応する。誤差の共分散行列が既知または推定できるとき、各成分の信頼度を反映するために重みを導入し、重み付き残差二乗和を最小化する。
典型的には、共分散の逆行列に基づいて残差を重み付けすることで、情報量の多い観測をより重視し、ばらつきの大きい観測の影響を抑える。これにより、条件が満たされる場合に推定の妥当性が高まりやすい。
4.4 補間との関係
4.4.1 厳密補間と最小二乗の違い
補間は、与えられたデータ点をすべて正確に通すように関数を構成する方法である。厳密補間は、測定に誤差が含まれる場合には過度にデータの揺らぎを反映しやすく、一般化性能を損ねることがある。
一方、最小二乗は誤差を許容し、平均的な整合を取りながら残差を最小化する。補間が「点を通す」ことを優先するのに対し、最小二乗は「誤差の総量」を最小化することで、ノイズ下での推定として現実的な選択肢になる。用途に応じて両者の使い分けが行われる。