1 概要
最小二乗法は、観測値と理論モデルの差を数量化し、その差の二乗和が最小となるように未知のパラメータを定める推定法である。データに最もよく合う直線や曲線を求める際の基本手法として知られ、統計学だけでなく、工学計測、物理実験、経済分析などでも広く用いられる。
この方法の利点は、計算規則が明快で、行列計算と相性がよい点にある。一方で、外れ値の影響を受けやすいことや、誤差構造に関する前提が結果に強く関わることから、適用時には条件の確認が重要になる。
1.1 定義
最小二乗法は、観測データに対するモデルの予測値と実測値との差を残差と呼び、その残差の二乗の総和を最小化することで推定を行う方法である。未知数が一つの場合も複数の場合も扱え、モデルが線形であっても非線形であっても適用できる。
1.2 基本的な考え方
二乗を用いるのは、正負の誤差が相殺されるのを避け、ずれの大きさを強く反映させるためである。大きな誤差ほど評価関数に大きく寄与するため、データ全体への適合度を一つの数値で表しやすい。
この考え方は、平均的な傾向を捉えるのに向いている。個々の点に完全一致することよりも、全体としてもっとも整合的な説明を与えることを重視する。
1.3 利用される場面
最小二乗法は、実験データから直線や曲線を推定する場面でよく使われる。たとえば、測定器の校正、軌道や運動の近似、需要予測、価格と数量の関係分析などが典型例である。
また、信号処理や画像解析のように、雑音を含む観測から元の構造を復元する場面でも応用される。実務上は、簡便な推定法としてだけでなく、より高度な統計モデルの基盤にもなっている。
2 理論的基礎
最小二乗法の理論は、誤差の扱い、評価関数の構成、そして幾何学的な見方によって支えられている。これらを理解すると、なぜこの方法が広く用いられるかが明確になる。
2.1 誤差と残差
誤差と残差は似た語だが、意味は異なる。一般に誤差は真の値と観測値との差を指し、残差は観測値とモデルによる当てはめ値との差を指す。最小二乗法では、後者が計算対象になる。
2.1.1 残差の定義
残差は、各観測点について実測値から推定値を引いた量として定義される。各点ごとのずれを表すため、残差の分布を見ることで、モデルの適否や偏りを確認できる。
2.1.2 誤差の仮定
基本的な理論では、誤差の平均がゼロに近く、互いに独立で、分散が一定であることがしばしば仮定される。これらの条件が整うと、推定結果の性質を解析しやすくなる。
ただし、実際のデータでは仮定が完全には満たされないことも多い。そのため、前提の妥当性を点検しながら使う姿勢が重要である。
2.2 二乗和最小化
最小二乗法の中心は、残差の二乗和を目的関数として扱い、それを最小にする点を探すことである。これにより、複数の観測を総合した最適な折り合いが得られる。
2.2.1 評価関数
評価関数は、残差の二乗をすべて足し合わせた値である。線形モデルでは、この関数はパラメータに関して凸な形をとることが多く、最小点の探索が比較的安定する。
2.2.2 最適化の考え方
最小化は、微分を用いて停留点を求める方法や、行列演算を使う方法で実行される。問題の規模が小さい場合は解析的に解けることもあるが、大規模データでは反復計算が用いられる。
2.3 幾何学的解釈
最小二乗法は、データ点とモデル空間の距離を最小にする操作として見ることができる。こうした見方は、抽象的な代数計算を直感的に理解する助けになる。
2.3.1 射影としての解釈
線形最小二乗では、観測ベクトルをモデルが張る部分空間へ射影する操作として解釈できる。最適解では、残差ベクトルがその部分空間に直交する。
2.3.2 ユークリッド空間での意味
ユークリッド空間では、最小二乗解は距離の意味で最も近い点に対応する。したがって、この方法は「最短距離の近似」として捉えることもできる。
3 線形最小二乗法
線形最小二乗法は、パラメータに対して線形なモデルを対象とする。理論が整備されており、実用上もっとも基本的である。
3.1 単回帰
単回帰は、説明変数が一つだけの最小二乗法である。直線関係を仮定するため、最も簡潔な回帰モデルの一つとされる。
3.1.1 直線当てはめ
直線当てはめでは、散布図に対して最もよく合う直線を求める。傾向の把握や予測の初歩的な手段として、教育や実務の両面で広く使われる。
3.1.2 傾きと切片の推定
直線モデルでは、傾きが変数の増減に対する応答を表し、切片が基準点での値を示す。最小二乗法は、これら二つの係数を同時に推定する。
3.2 重回帰
重回帰は、複数の説明変数を用いる拡張形である。現実の現象では、単一の要因だけで説明できない場合が多く、この形式が有効になる。
3.2.1 説明変数の拡張
説明変数を増やすと、モデルはより多くの情報を取り込める。もっとも、変数が増えれば常に精度が上がるわけではなく、過剰適合や多重共線性への注意が必要となる。
3.2.2 行列表現
重回帰は、行列を使うと簡潔に表せる。設計行列、応答ベクトル、係数ベクトルを用いることで、推定問題を統一的に記述できる。
3.3 正規方程式
正規方程式は、線形最小二乗の解を求めるための中心的な条件式である。これにより、最小化問題が連立方程式へと変換される。
3.3.1 導出
正規方程式は、評価関数を係数で微分し、その勾配をゼロとおくことで導かれる。結果として、設計行列の転置と応答の積を含む方程式が得られる。
3.3.2 解の条件
解が一意に定まるには、設計行列が十分な階数を持つ必要がある。列が線形従属である場合には、解が複数存在したり、安定に定まらなかったりする。
3.4 数値計算
実際の計算では、理論式をそのまま使うよりも、数値的に安定な手法が重視される。データ量の増大に伴い、計算効率も重要になる。
3.4.1 連立一次方程式の解法
連立一次方程式の解法としては、消去法、分解法、逐次近似法などが用いられる。特に大規模問題では、行列分解を活用した方法が一般的である。
3.4.2 計算誤差への配慮
丸め誤差や桁落ちは、結果の精度を左右する。数値計算では、条件数の大きさやデータの尺度を確認し、安定性の高いアルゴリズムを選ぶ必要がある。
4 拡張と応用
最小二乗法は、単純な線形当てはめにとどまらず、より複雑な推定問題へ拡張されている。重みや制約を導入することで、現実のデータ特性に合わせやすくなる。
4.1 非線形最小二乗法
非線形最小二乗法は、パラメータに非線形なモデルを扱う。指数関数、対数関数、飽和型の曲線などを近似する際に有用である。
4.1.1 反復法
非線形の場合、解は一度で求まらないことが多く、反復法が利用される。初期値から出発し、推定値を少しずつ更新して最小点へ近づける。
4.1.2 線形化による近似
非線形モデルでも、ある点の近傍では一次近似によって線形問題として扱える。これにより、線形最小二乗の枠組みを繰り返し適用できる。
4.2 重み付き最小二乗法
重み付き最小二乗法では、各観測に異なる重みを与える。信頼度の高いデータを強く反映させたいときに用いられる。
4.2.1 重みの役割
重みは、観測ごとの重要度や不確かさの違いを表現する。大きな重みを与えた点は、推定結果により強く影響する。
4.2.2 不均一分散への対応
誤差の分散が一定でない場合、通常の最小二乗では効率が低下することがある。重みを適切に設定すると、ばらつきの異なるデータをより妥当に扱える。
4.3 制約付き最小二乗法
制約付き最小二乗法は、解に条件を課しながら最小化を行う。物理法則や設計条件を反映させたい場合に利用される。
4.3.1 等式制約
等式制約では、係数の和や特定の関係式を満たすように解を求める。ラグランジュの未定乗数法などが代表的な処理法である。
4.3.2 不等式制約
不等式制約では、変数が負にならない、一定範囲に収まるといった条件を加える。こうした条件は、実装上の安定性や解釈の自然さを高める。
4.4 応用分野
最小二乗法は、理論的な道具であると同時に、実務での標準的な推定技術でもある。分野ごとに目的は異なるが、共通してデータの近似と予測に役立つ。
4.4.1 統計学
統計学では、回帰モデルの推定や仮説検定の前処理として用いられる。観測された関係を定量化する基本的な枠組みを提供する。
4.4.2 工学
工学では、制御、信号処理、構造解析、計測較正などに応用される。雑音を含む現実的なデータから安定した推定を行う場面で特に有効である。
4.4.3 物理学
物理学では、実験データから法則の係数を求めたり、理論曲線に観測結果を合わせたりするために使われる。誤差の見積もりと相性がよい点も重要である。
4.4.4 経済学
経済学では、需要関数や成長モデルの近似、計量分析の基礎手法として用いられる。複数要因の影響を整理し、経験的関係を記述するのに適している。
5 性質と評価
最小二乗法の評価では、推定量の理論的性質と、実際の当てはまりの良さの双方が問題になる。数理的な妥当性と実用上の性能を分けて考えることが大切である。
5.1 推定量の性質
推定量の性質は、その方法がどの程度信頼できるかを示す。代表的な指標として、不偏性、一致性、効率性が挙げられる。
5.1.1 不偏性
不偏性は、推定値の期待値が真の値に一致する性質である。理想的な条件のもとで、最小二乗推定量はこの性質を持つことが多い。
5.1.2 一致性
一致性は、標本数が増えるほど推定値が真の値へ近づく性質である。大規模データを扱う際には、長期的な安定性の指標となる。
5.1.3 効率性
効率性は、同じ条件下で分散が小さいことを意味する。ほかの推定法と比べて、最小二乗法が優れた精度を示す場合がある。
5.2 誤差評価
誤差評価は、モデルがデータをどの程度説明しているかを確認する作業である。推定値そのものだけでなく、適合の質を測る指標が必要になる。
5.2.1 決定係数
決定係数は、モデルが観測変動をどのくらい説明できたかを示す代表的な指標である。値が大きいほど、当てはまりがよいと解釈される。
5.2.2 標準誤差
標準誤差は、推定のばらつきや予測の不確かさを表す。係数の信頼性を確認するうえで、実務上の重要性が高い。
5.3 他手法との比較
最小二乗法は多くの推定法の基準となる一方、用途によっては別手法のほうが適することもある。比較を通じて、長所と限界が見えてくる。
5.3.1 最尤法との関係
最尤法は、データが得られる確率を最大にする考え方である。誤差が正規分布に従う場合、最小二乗法と深い関係を持つ。
5.3.2 正則化との関係
正則化は、推定の安定化のために罰則項を加える方法である。多変数で不安定になりやすい問題では、最小二乗法を補強する役割を果たす。
5.3.3 ロバスト推定との比較
ロバスト推定は、外れ値や仮定違反に対して影響を受けにくい推定法である。最小二乗法は感度が高い分、データの異常値が少ない状況で力を発揮しやすい。