1 決定係数の概要
1.1 定義と基本式
1.1.1 全変動と残差変動
決定係数(R²)は、回帰モデルの当てはめによって、目的変数の観測値に含まれるばらつきのうちどれだけを説明できたかを数量化する指標である。基準となるのは、目的変数の平均まわりの全変動であり、モデルによって説明されなかった部分は残差として把握される。全変動は「観測値と平均の差」の二乗和として、残差変動は「観測値と予測値の差」の二乗和として定式化できる。
R²は全変動に占める残差変動の割合を用いて構成され、残差が小さいほど大きな値になる。
1.1.2 相対的な説明力としての解釈
R²の解釈は、「モデルが説明した変動」と「全体の変動」の比として与えられる。したがって絶対的な予測誤差そのものを直接表すのではなく、平均的な基準(目的変数の平均)に対して、モデルの予測がどれだけ改善しているかを相対評価する性格を持つ。説明の度合いが高いほど、残差が平均基準よりもよく抑えられていることになる。
ただし、この相対評価はデータのばらつきやモデルの自由度に影響されやすく、比較の前提条件をそろえる必要がある。
1.2 表記と呼称
1.2.1 R²(決定係数)と関連指標
決定係数は一般にR²と表記され、回帰分析の説明力の指標として広く知られる。同種の文脈で用いられる指標には、調整済み決定係数や、誤差分散に基づく平均二乗誤差(MSE)などがある。これらは同じ目的変数と誤差情報を共有しつつ、評価の観点や比較における補正の有無が異なる。
関連指標を併用することにより、「当てはまり」だけでなく「汎化」を含む多面的評価が可能になる。
1.2.2 分散説明率としての位置づけ
決定係数は、目的変数の分散のうち、回帰モデルにより説明される割合として理解される。回帰が目的変数の変動を平均基準より良く追跡できているほど、説明される分散の比率が高くなる。この見方は、統計学習における分解(分散の寄与の整理)と整合的であり、モデルの適合度を直観的に把握しやすい。
一方で、分散という枠組みが前提とするデータ生成の性質や、スケールの影響などは考慮が要る場合がある。
2 計算方法と手順
2.1 回帰モデルにおける算出
2.1.1 通常の回帰(最小二乗)の場合
決定係数は、全変動と残差変動の関係から計算される。全変動は、観測値と観測平均との差の二乗和であり、残差変動は、観測値とモデルの予測値との差の二乗和である。R²は、全変動に対する説明されていない割合(残差変動の割合)を基に定義されるため、予測が観測に近づくほど残差変動が減少し、R²は増える傾向になる。
計算の流れとしては、まず目的変数の平均を求め、次に各データ点の予測値を得て残差を計算し、最後に全変動と残差変動の比からR²を算出する。
2.1.2 重回帰での寄与の扱い
重回帰では説明変数が複数存在するため、「各変数の寄与」をR²だけで直接分解することは通常の枠組みでは容易でない。R²はモデル全体が作り出す予測の質を要約する指標であり、係数の大きさや統計的有意性と一致するとは限らない。したがってR²を用いる場合、解釈は「変数群をまとめたときの説明力」というレベルにとどめるのが適切である。
変数ごとの寄与を論じたい場合は、差分モデル(変数を入れ替えた比較)や、分解手法など別の枠組みが必要になる。
2.2 データ準備と前提
2.2.1 分析対象データの範囲
R²を計算する際、評価対象として用いるデータ範囲(学習に使ったデータか、検証用に分けたデータか)が結果の意味を左右する。学習データに対して算出すると当てはまりが過大評価される可能性があるため、性能評価としては検証データや交差検証の枠組みで算出する運用が一般的である。
また、外れ値が含まれる場合は二乗誤差が強く影響されるため、対象範囲を決める際は前処理の方針と整合させる。
2.2.2 切片の有無と影響
回帰モデルに切片を含めるかどうかは、全変動の基準(目的変数の平均)と残差の定義の前提に影響する。切片を適切に含めない構成では、モデルが平均を再現する機会が変わり、R²の解釈が直観から外れる場合がある。一般に、R²の標準的な解釈を維持するには、目的変数の平均まわりで誤差を整理できる設定が望ましい。
そのため、実装時は切片の扱いと評価手順をセットで確認することが重要になる。
2.3 実装上の注意
2.3.1 端点値・外れ値の影響
決定係数は残差を二乗するため、極端に大きい誤差を生む観測点の影響が増幅される。端点値や外れ値が存在すると、モデル全体のR²が大きく上下することがあり、単純な比較が誤解につながり得る。外れ値の扱い(保持、除外、頑健推定への切替)を検討する際は、R²だけで結論を出さず、誤差分布の確認や検証指標も併用するのが望ましい。
2.3.2 欠損値やスケーリングの扱い
欠損値がある場合、学習と評価で同じ前処理(補完、除外基準など)が適用されなければ、R²の比較は成立しにくい。特に交差検証では、折り分けの内側で補完を行い、外側のデータには学習情報が漏れないようにする必要がある。
また、目的変数や説明変数のスケーリングは学習過程に影響することがあるが、R²の計算自体は目的変数の尺度と整合している必要がある。目的変数を変換する場合は、評価の解釈が「変換後の量」に対する説明力である点を明確にする。
3 解釈のしかた
3.1 値の範囲と一般的な意味
3.1.1 0に近い場合の意味
R²が0付近のとき、モデルは目的変数の平均に基づく単純な基準と比べて、説明による改善が小さい可能性を示す。つまり、残差変動が全変動に対して大きく、予測が観測のばらつきを十分に捕捉できていない状態と解釈されやすい。
ただし、評価データや前処理の状況によっては、0近傍でも一定の構造を捉えている場合があるため、過度に単純化せず追加指標で確認することが望ましい。
3.1.2 1に近い場合の意味
R²が1に近いとき、残差変動が全変動に対して小さく、モデルの予測が観測にかなり一致していることを意味する。学習データに対して得られた値であれば、当てはまりの良さを強く示す一方で、検証データに対しても同程度であれば汎化性能が高い可能性がある。
したがって、1に近いという事実だけで汎化の保証を結論づけるのではなく、評価設定(学習か検証か)を併せて読む必要がある。
3.2 直感的な読み取り
3.2.1 説明力と予測精度の違い
決定係数は説明力の比率として読まれるが、実務では「予測精度」と完全に一致するわけではない。たとえば、誤差の分布が非対称である、あるいはある領域での誤差が偏っていても、二乗誤差全体が基準改善になっていればR²は改善することがある。反対に、絶対誤差が小さくても分散構造と整合しない場合は、R²が相対評価として伸びないことがある。
このためR²は、予測の全体像を捉える補助的な指標として扱うと解釈のズレが起きにくい。
3.2.2 当てはまりの良さと一般化性能
学習データに対するR²と、検証データに対するR²はしばしば異なる。学習で当てはまりが高くても検証で伸びない場合、過学習の兆候となる。一般化性能の評価としてR²を使うなら、交差検証やホールドアウトによる推定値を採用し、学習時の最適化と切り離して評価することが重要になる。
同時に、R²が高い場合でも、特定の条件や範囲に強く依存している可能性があるため、実データの使用状況に照らして妥当性を検討する。
3.3 陥りやすい誤解
3.3.1 説明変数追加による見かけの改善
説明変数を増やすと、学習データ上では残差が減りやすく、R²が上昇する方向に働く。結果として、モデルがより複雑になっているにもかかわらずR²だけを見て「良くなった」と判断してしまう危険がある。特に学習データ上のR²は、自由度増加による見かけの改善を受けやすい。
そのため比較では、調整済み決定係数や、検証データに対するR²を用いて過学習を抑制する必要がある。
3.3.2 比較可能性(同条件での評価)の重要性
R²の値同士を比較する際、学習・検証の分割方法、前処理、目的変数の扱い、切片の有無など条件が揃っていないと意味が薄れる。たとえば、評価データの分布が異なる状況では、分散の大きさや誤差の基準が変わり、相対評価の比較が成立しにくい。さらに、データ点数やモデルの構造が大きく異なると、自由度の違いも影響する。
従って比較は、同一の評価プロトコルと同じ尺度・前処理の下で実施し、報告条件を明確にすることが重要である。
4 関連指標と代替評価
4.1 調整済み決定係数
4.1.1 自由度による補正の考え方
調整済み決定係数は、モデルの説明変数(自由度)の増加がR²を押し上げやすい性質を踏まえ、説明変数数に応じて補正を行う指標である。学習が改善しているか、単に複雑化によって当てはまりが良く見えているだけかを、より公平に判断しようとする発想に基づく。
一般に、変数追加による効果が本当に残差改善として現れていない場合、調整済みR²は大きくは伸びにくい。
4.1.2 モデル比較での使いどころ
モデル比較では、候補の中での優劣を同一データ分割・同一評価条件で測ることが前提となる。調整済み決定係数は、その前提が満たされるときに、複雑度を考慮した比較の補助として使いやすい。特に線形回帰や一般的な回帰モデルのように、係数数が明確に定義できる場合に適している。
ただし、外れ値や前処理の影響、データ分割の違いによる揺らぎは残るため、単独指標ではなく検証指標と合わせて判断する。
4.2 相関係数と決定係数の関係
4.2.1 単回帰における関係
単回帰(説明変数が1つ)の文脈では、決定係数は相関係数の二乗と結び付く形で理解できることがある。回帰直線がデータの傾向をどれだけ捉えているかを、直線的関連の強さとして同時に表すためである。したがってR²は、当てはまりの強度が相関の強さに対応しているように見える。
ただし、この関係は主に単変量の枠組みで直観的に成立しやすく、多変量ではそのまま単純には適用できない。
4.2.2 多変量での注意点
多変量回帰では、相関係数を直接対応させることが難しくなる。説明変数が複数ある場合、目的変数と各説明変数の個別相関だけでは、モデル全体の予測力を十分に表せないためである。さらに、説明変数間の相互関係(共線性など)があると、相関ベースの直感は崩れやすい。
そのため多変量では、相関指標の解釈は補助的に留め、R²や誤差指標を評価軸として扱うのが一般的である。
4.3 予測性能を測る指標
4.3.1 平均二乗誤差とその派生
平均二乗誤差(MSE)は、残差の二乗を平均した量であり、誤差の大きさを直接表す指標である。決定係数は全変動との比であり相対評価であるのに対し、MSEは尺度を含む絶対量として解釈できる点が異なる。派生として平方根平均二乗誤差(RMSE)があり、誤差の単位が元の目的変数に近くなるため、報告の直感性が高まりやすい。
実務では、R²で説明力を確認しつつ、MSEやRMSEで誤差の規模を把握する組合せが有用である。
4.3.2 学習データと検証データの使い分け
予測性能の評価では、学習に用いたデータと、評価に用いるデータを分けることが基本となる。学習データで算出した指標は、モデルが学習した結果として当てはまりが良く見えがちである。一方、検証データ(または交差検証の各フォールド)で得た指標は、未知データに対する挙動を反映しやすい。
この使い分けを徹底することで、R²の過信やMSEの誤った解釈を避けられる。
4.4 実務での評価フロー
4.4.1 交差検証による確認
交差検証は、データを複数の分割により学習と評価へ振り分け、指標を繰り返し推定する方法である。R²を採用する場合も、交差検証の平均やばらつきを見ることで、特定の分割に依存した偶然性を抑えやすい。特にデータ数が限られている場合には、推定の安定性が重要になる。
また、モデル候補の比較では、同じ交差検証設定の下で指標を計算し、比較の公正性を確保する。
4.4.2 結果報告時の留意事項
報告では、R²の算出が学習データなのか検証データなのかを明確にする必要がある。さらに、データ前処理(欠損処理、スケーリング)、評価対象の分割方式、切片の扱い、外れ値への対応方針など、前提が分かる情報を付すと解釈可能性が高まる。調整済みR²やMSE、RMSEなど併用指標を示すことで、説明力と誤差の規模を同時に読み取れる。
加えて、指標の数値だけでなく、得られた値のばらつき(交差検証の分散など)を添えると、確からしさの程度を伝えやすい。