1 加重回帰の概要
1.1 加重回帰の定義
加重回帰は、回帰分析で目的変数の予測誤差（残差）に対して、各観測に重要度を与える枠組みである。通常の最小二乗法では残差の二乗を全観測で同程度に扱うが、加重回帰では重みを掛けて寄与度を調整する。これにより、観測ごとに誤差の大きさや信頼性が異なる状況で、推定の妥当性や予測精度を改善できる。
1.2 通常の回帰（最小二乗）との関係
通常の回帰（最小二乗法）は、加重回帰の特別な場合として捉えられる。すなわち、すべての観測の重みが等しい（定数倍を含め等価）なら、加重付き目的関数は通常の二乗誤差最小化と一致する。したがって、加重回帰は「残差の尺度」を観測単位で再設計する拡張と見なせる。
1.3 重みの意味と直感
重みは「その観測をどれだけ強く当てにするか」を表す。誤差が小さい（測定精度が高い、条件が安定している）観測ほど重みを大きくし、誤差が大きい観測ほど重みを小さくすることで、推定は信頼できる情報に引き寄せられる。直感的には、誤差のばらつきが大きい点を同じ強さで最小化に反映させると解が歪むが、加重によってその影響を抑えることができる。
2 数理的な枠組み
2.1 加重最小二乗法
2.1.1 重み付き目的関数
観測データとして、目的変数を \(y_i\)、説明変数を \(x_i\)、係数ベクトルを \(\beta\) とし、モデルを線形回帰 \[ y_i \approx x_i^\top \beta \] で表す。加重最小二乗法では、残差 \(r_i=y_i-x_i^\top\beta\) の二乗に重み \(w_i\ge 0\) を掛け、次を最小化する。 \[ \min_\beta \sum_{i=1}^n w_i (y_i-x_i^\top\beta)^2. \] 重みが大きい観測は残差の抑制に強く影響し、重みが小さい観測は目的関数への寄与が弱くなる。重みが全て同一なら通常の最小二乗に戻る。
2.1.1.1 行列・ベクトル表現
行列形式では、設計行列 \(X\in\mathbb{R}^{n\times p}\)、応答ベクトル \(y\in\mathbb{R}^n\)、係数 \(\beta\in\mathbb{R}^p\) を用いる。重み行列を対角行列 \[ W=\mathrm{diag}(w_1,\dots,w_n) \] とすると、目的関数は \[ (y-X\beta)^\top W (y-X\beta) \] で表される。ここで \(W\) が対角であることは、重みが観測ごとに独立に与えられる設定を意味する。
2.1.2 正規方程式と解の導出
目的関数を \(\beta\) で微分し零に等置すると、加重付きの正規方程式が得られる。具体的には \[ X^\top W X\,\hat{\beta} = X^\top W y \] となり、\(X^\top W X\) が可逆なら \[ \hat{\beta}=(X^\top W X)^{-1}X^\top W y \] が解となる。これが加重最小二乗推定量である。
2.2 尤度・誤差分散との対応
2.2.1 分散既知の場合の考え方
誤差項 \(\varepsilon_i\) が平均 0、分散 \(\mathrm{Var}(\varepsilon_i)=\sigma_i^2\) を持ち、独立で分布形が正規に近いと仮定する。観測方程式 \(y_i=x_i^\top\beta+\varepsilon_i\) に対し、尤度最大化（あるいはベイズ推定の一部条件）を行うと、目的関数は \[ \sum_{i=1}^n \frac{(y_i-x_i^\top\beta)^2}{\sigma_i^2} \] に対応する。したがって重みは概ね \[ w_i \propto \frac{1}{\sigma_i^2} \] となる。分散が小さい点ほど分母が小さくなるため、その点の残差二乗がより強く最適化に反映される。
2.2.2 分散未知の場合の扱い
誤差分散 \(\sigma_i^2\) が未知である場合は、重みを事前に固定できない。実務では、(1) 分散の形（例：平均に比例して分散が増える等）を仮定し推定する、(2) 初期推定で残差から分散構造を学習し、重みを更新する反復手法（いわゆる反復重み付き最小二乗に相当）を用いる、(3) 分散を直接モデル化する枠組みへ拡張する、などが行われる。重み推定の誤りは推定量の分散やバイアスに影響し得るため、不確実性評価や妥当性検証が重要になる。
3 重みの設定と実務上の論点
3.1 代表的な重みの選び方
3.1.1 分散に基づく重み
最も標準的な発想は、異分散に対応するため \(w_i\propto 1/\sigma_i^2\) を用いる点にある。測定装置の校正情報から分散を得られる場合、または過去データから分散の見積りが可能な場合には、重みを比較的整合的に設定できる。分散推定が不安定な領域では、重みが極端になり過学習的な挙動を誘発するため、後述のロバスト化や上限設定などと組み合わせることが多い。
3.1.2 サンプルの信頼度に基づく重み
分散が数値として得られない場合でも、「信頼できる観測であるか」を示す指標から重みを設計できる。たとえば、信号対雑音比、品質管理の合格度、測定回数（平均化されるほど分散が下がるとみなせる）、データ収集条件の良否などを重みに反映する。重みは単なる工学的調整に留まらず、推定がどの程度各情報を重視するかという意思決定を数理的に実装する役割を担う。
3.1.3 欠測や不均衡への配慮
観測が欠測する場合、残ったデータがランダムに欠けている保証がないと、単純な重み付けだけでは根本解決にならないことがある。それでも、たとえば層別集計の偏りを補正するために、データが代表しうる母集団の割合に基づく重み（サンプリング重み）が用いられることがある。加重の目的は「残差のばらつき調整」だけでなく「データの偏りの緩和」にも拡張されるため、前提条件を明確にすることが必要である。
3.2 重みの推定・校正
3.2.1 重みのモデル化
重みの取り扱いを設計する際、重み自体を一定値とみなすのか、説明変数や予測値の関数として変化させるのかを決める。分散モデルを \(\sigma_i^2=g(x_i;\theta)\) のように表し、推定された分散に反比例させる方法がある。また、品質指標から直接 \(w_i=h(q_i)\) の形で写像することも可能である。いずれの場合も、重みの単位やスケールが最終的な学習へ与える影響を理解し、数値範囲が極端にならないような変換が望ましい。
3.2.2 クロスバリデーションでの調整
重み選択はハイパーパラメータ設計の側面を持つ。たとえば \(w_i\) を \(1/(\sigma_i^2+\tau)\) のように安定化するための緩和項 \(\tau\) を導入することがある。このとき \(\tau\) の値や重み変換の設計は、学習データの一部を用いてクロスバリデーションにより選択するのが一般的である。目的は、単なる当てはまりではなく、予測誤差や頑健性を両立する重み付けを見つけることである。
3.3 外れ値と重みの相性
3.3.1 極端な重みの影響
外れ値は残差が大きくなることで推定に影響を与えるが、重みが同時に極端だと影響の方向が強まる。たとえば、外れ値に対しても重みが大きく設定されると、推定はその点へ過度に引き寄せられ、係数が不安定になる可能性がある。逆に、信頼できない観測に重みを極小にすると、誤差構造の学習が偏り、別の領域で当てはまりが悪化することがある。
3.3.2 ロバスト性の観点
ロバスト回帰は、外れ値の存在下で推定の暴走を抑えることを目的とする。加重回帰と組み合わせる場合、残差に応じて重みを更新する考え方が用いられることがある（誤差が大きい観測ほど重みを下げる等）。ただし、更新規則は恣意的になり得るため、学習の安定性、分散推定との整合、過度な情報遮断の回避を検討する必要がある。
4 推定・評価・応用
4.1 推定手法と計算上の工夫
4.1.1 正則化との併用
高次元で \(p\) が大きい場合、加重付きの通常解は分散が大きくなったり、行列が条件悪化を起こしたりする。そこでリッジ回帰（L2正則化）やラッソ（L1正則化）などの正則化を加重目的関数に組み込むことがある。正則化は主に過学習の抑制と数値安定性の改善に寄与し、重み付けによる情報の偏りを緩和する効果も期待できる。
4.1.2 数値安定性の確保
\(X^\top W X\) の条件数が大きいと、係数推定が丸め誤差に敏感になる。対策としては、重みを適切な範囲にスケーリングする、正規方程式ではなく分解（QR分解など）を用いる、あるいは反復法と前処理を利用する、といった手法がある。さらに、重み行列 \(W\) の対角要素にゼロが含まれる場合は、対応する観測が目的関数から除外されることになるため、データ処理の整合性を確認する。
4.2 評価指標
4.2.1 重み付きの誤差尺度
評価では、学習時と同様の重みで誤差を測る設計がしばしば選ばれる。たとえば重み付き平均二乗誤差（weighted MSE）として \[ \frac{\sum_i w_i (y_i-\hat y_i)^2}{\sum_i w_i} \] のような量が用いられる。これにより、信頼度の高い観測の誤差をより重視した性能評価が可能となる。なお、評価データの重みが学習時の重みと一致しない場合、比較の意味が変わるため注意が要る。
4.2.2 不確実性の見積もり
加重推定では係数の分散や予測区間の算出にも工夫が必要になる。誤差分散構造と一致した重みを用いるほど、理論的な推定分散は導出しやすい。実務では、残差からのばらつき推定やブートストラップ、サンドイッチ推定量の考え方などが利用されることがある。不確実性の見積りは意思決定に直結するため、重み設定の前提が破れた場合の感度を確認することが望ましい。
4.3 応用領域の例
4.3.1 実験計測データの補正
実験では、装置や条件の違いにより測定誤差が観測ごとに異なる。加重回帰は、測定分散の推定に基づいて各測定の寄与度を調整し、補正式の係数を安定化させる用途で用いられる。校正点やサブ測定の品質に差がある場合にも、信頼度を反映した推定が可能になる。
4.3.2 時系列における信頼度の反映
時系列では、時間帯や外生条件に応じて観測の信頼度が変動することがある。たとえばセンサの劣化や通信品質の揺らぎにより、特定区間はノイズが増える場合がある。加重回帰により信頼度の低い区間の影響を抑え、全体としてより一貫した推定を行える。ただし時系列では自己相関などの依存構造も問題になり得るため、必要に応じて独立仮定を超えた拡張を検討する。
4.3.3 予測モデルの学習設計
機械学習の文脈では、損失関数を重み付きで設計して学習の焦点を調整する。たとえば誤差の種類（過小予測のコストが大きい等）を反映し、観測やサンプルの寄与を変えることで、ビジネス上の目的に沿った予測を狙うことがある。加重回帰はその基礎として位置づけられ、損失設計・評価指標・検証手続きの整合を取ることで実務的な効果が出やすくなる。評価の観点では、一般化性能を確保しつつ、重み付けが引き起こすバイアスを点検することが重要である。