1 線形モデルの概要
1.1 定義と基本式
線形モデルとは、目的変数を説明変数の線形結合で表し、その係数をデータから推定する統計モデルの総称である。最も基本的には、観測値を \(y_i\)、説明変数を \(x_{ij}\) とし、未知係数を \( \beta_j \) とすると、モデルは \[ y_i = \beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip} + \varepsilon_i \] の形で書かれる。ここで \(\varepsilon_i\) は誤差項であり、モデルが完全に決定論的ではないことを表す。
この枠組みでは、「線形」とは係数に関して線形であることを指す。目的変数が説明変数の非線形変換を通じて現れていても、その変換後の変数に対して係数が線形なら、広い意味で線形モデルの範疇に含められることが多い。
1.2 用途と代表的な例
線形モデルは、予測、効果（関連）の推定、モデル比較、仮説検定など幅広い用途に用いられる。回帰分析の中心的存在であり、データに対して解釈可能な形で関係を記述できる点が利点である。
代表例としては、単回帰（説明変数が1つ）から多変量回帰（説明変数が複数）までが挙げられる。例えば、身長と体重の関係、広告費と売上の関係、気温や湿度と電力需要の関係など、連続量の関連を扱う場面で頻出である。カテゴリ変数を含む場合も、後述する設計行列（ダミー変数）を用いることで同じ基本式に整理できる。
1.3 線形性の意味（モデル化の考え方）
線形性は「モデルの形」を規定する。具体的には、説明変数が1単位変化したとき、目的変数が係数の大きさに応じて一定の方向へ変化するという、一定の増減を仮定することに相当する。たとえば、連続変数 \(x\) に対しては、\(\beta_1\) が \(x\) の変化に伴う平均的な傾きとして解釈される。
ただし、現実の現象が必ず線形な関係を持つとは限らない。線形性は仮定であり、適合度や残差の挙動を通じて妥当性を点検する必要がある。そのため、線形性が疑わしい場合には、多項式回帰や特徴量展開、相互作用項といった拡張で柔軟性を確保する方針が取られる。
2 モデルの構成要素
2.1 変数の種類
線形モデルは、目的変数と説明変数、そして誤差項から構成される。変数の性質により、設計（変数変換や符号化）が異なる。
2.1.1 目的変数
目的変数 \(y\) は、モデルが説明・予測しようとする対象である。典型的には連続値（測定量）として扱われることが多く、その場合は誤差の分布仮定や等分散性の前提が重要になる。目的変数が二値や順序尺度である場合には、線形モデルの枠組みだけで扱うのではなく、一般化線形モデルへ接続する考え方が通常となる。
一方で、目的変数が連続であれば、平均（条件付き期待値）を線形結合として表す解釈が中心になり、推定の意味付けが明確になる。
2.1.2 説明変数（連続・カテゴリ）
説明変数には連続量とカテゴリ（質的）変数が含まれる。連続変数はそのまま係数のスケール解釈に直結する。カテゴリ変数は、そのままでは数値の順序意味がないため、通常はダミー変数により符号化する。基準カテゴリを1つ選び、残りのカテゴリを相対的に表すことで、係数が「基準に対する差」として解釈できるようになる。
カテゴリ変数が複数ある場合には、各カテゴリの組み合わせを扱う際に注意が必要であり、設計行列の列が適切に構成されているかが推定結果の解釈を左右する。
2.2 誤差項と確率的仮定
誤差項 \(\varepsilon_i\) は、観測されない要因や測定誤差など、モデルでは説明できない変動を表す。推論（検定・信頼区間）を成立させるには、誤差の確率的性質に関する仮定が必要になる。
2.2.1 独立性の扱い
独立性とは、観測ごとの誤差が相互に関連しないと仮定する考え方である。独立性が成立しない場合（時系列のように時間的相関がある、空間的に近い地点で誤差が類似する等）には、標準誤差の推定が歪み、検定結果が過度に楽観的または保守的になることがある。
実務では、相関構造を明示するモデル化や、頑健な分散推定といった対応が検討される。線形モデルの「形式」は維持しつつ、推論の部分を調整する方針が採られることが多い。
2.2.2 分散とホモスケダスティシティ
ホモスケダスティシティは、誤差分散が観測や説明変数の値に依存しないという仮定である。これが破れると、最小二乗推定値そのものは一部の条件下で一貫性を保つとしても、標準誤差や信頼区間が適切でなくなる。
分散が説明変数の大きさに応じて増減する場合には、分散の非一定性を考慮した推定（重み付けや頑健分散推定など）が望まれる。診断段階で残差の分散の変化を点検することが、妥当性評価の中心となる。
2.3 切片と係数の解釈
切片 \(\beta_0\) は、すべての説明変数が基準（例：ダミーの基準カテゴリ、連続変数が0）となるときの平均的な目的変数値を表す。係数 \(\beta_j\) は、他の説明変数を固定したうえで、対応する説明変数が1単位変化したときの目的変数の平均変化量を意味する。
ただし、ダミー変数が含まれる場合は「1単位変化」が現実の文脈に合わないことがあるため、解釈は基準カテゴリとの比較として行うのが通常である。また説明変数の尺度（単位系）によって係数の値と意味が変わるため、単位やスケールへの意識が解釈を支える。
3 推定と推論
3.1 最小二乗法（通常最小二乗）
最小二乗法は、観測値とモデル予測の差（残差）を二乗し、その総和が最小になるように係数を決める手法である。目的は残差平方和の最小化であり、計算が体系化されている点が強みである。
3.1.1 行列による定式化
行列形式では、目的変数をベクトル \(y\)、係数を \(\beta\)、設計行列（説明変数を列として並べた行列）を \(X\) と書く。するとモデルは \(y = X\beta + \varepsilon\) と表せる。通常最小二乗では、残差平方和 \((y - X\beta)^\top (y - X\beta)\) を最小にする \(\hat{\beta}\) を求める。
解は \(X\) の列が十分に独立であるという条件のもとで \[ \hat{\beta} = (X^\top X)^{-1}X^\top y \] として与えられる。実務では直接逆行列を計算するより、分解（QR分解など）で数値安定性を確保する方法が一般的である。
3.1.2 一般化最小二乗の位置づけ
一般化最小二乗は、誤差分散が一定ではなく、かつ相関がある状況を想定して拡張した枠組みである。誤差の共分散行列が \( \Sigma \) として既知または推定可能であれば、残差平方和の与え方を調整して、分散の大きい観測を相対的に重くしすぎないようにする。
通常最小二乗は、誤差共分散が対角かつ同一分散である場合に一般化最小二乗へ一致する。したがって、両者の関係は「誤差構造への感度」を理解するうえで重要である。
3.2 仮説検定
仮説検定は、係数やモデル全体の有意性をデータに基づき判断する手段である。検定の信頼性は、前提（分散・独立性など）と、検定統計量の分布の近似がどれほど妥当かに依存する。
3.2.1 回帰係数の検定
単一係数または線形式制約に対し、「その係数が0である（効果がない）」といった仮説を検定する。代表的には、係数推定値と標準誤差から作る t 統計量に基づく方法が用いられる。多変量の状況では、複数係数にまたがる制約を同時に扱う F 検定がしばしば用いられる。
ここで重要なのは、検定が意味する「効果がない」の定義がモデルの設計と変数の含め方に依存する点である。共変量をどこまで調整しているかが結論の解釈に影響する。
3.2.2 モデル全体の検定
モデル全体の検定は、説明変数が全く寄与しない（切片のみ）といった仮説を対象にする。典型的な手法は F 検定であり、説明変数を入れることで残差平方和が有意に減ったかを評価する。
全体の検定は探索的な目安として有用だが、どの変数が寄与しているかまでは直接示さない。そのため個別の検定や係数の推定値の解釈と合わせて用いられることが多い。
3.3 信頼区間と推定の不確実性
信頼区間は、係数や予測量の推定がどの程度の不確実性を含むかを示す。線形モデルでは、係数推定値の分散（分散推定）に基づいて区間を構成できる。
また、平均応答の信頼区間と、個々の新規観測の予測区間は性質が異なる。前者はモデルが推定する平均の不確実性を対象にし、後者は誤差項のばらつきも含むため幅が広くなるのが一般的である。
3.4 過学習とモデル選択
過学習は、訓練データでの当てはまりが良くても、新しいデータでは性能が落ちる現象である。線形モデルでも、説明変数の数が多い、特徴量展開が過度、カテゴリの符号化が細かすぎる、といった状況で起こりうる。
モデル選択では、データに対する当てはまりと複雑さのバランスを取る。単純な比較では不十分なことがあり、情報量規準や交差検証のように汎化性能を意識した指標が用いられる。
4 評価・診断・拡張
4.1 当てはまりの指標
当てはまりの指標は、データに対してモデルがどれほど適合しているかを測る。線形モデルでは残差平方和に基づく指標が中心になる。
4.1.1 決定係数と調整済み決定係数
決定係数 \(R^2\) は、平均モデル（切片のみ）からどれだけ残差平方和が減ったかを説明する指標である。一般に 0 から 1 の範囲に現れ、値が高いほど当てはまりが良いと解釈される。
ただし \(R^2\) は説明変数を増やすと単調に改善しやすいという性質がある。そこで調整済み決定係数は、自由度（説明変数の数）を考慮して過剰な複雑化を抑える方向で定義される。
4.1.2 情報量規準の考え方
情報量規準は、対数尤度（または残差平方和に関連する量）と、モデルの複雑さに対する罰則を組み合わせてモデルを選ぶ考え方である。代表例として AIC、BIC が知られる。
直感的には、「当てはまりの改善が、複雑さの増加に見合うか」を確かめる役割を持つ。どの規準を使うかで、複雑さへのペナルティの強さが異なるため、目的（予測重視か解釈重視か）と整合する選択が求められる。
4.2 残差診断
残差診断は、モデルの仮定（形、分散、独立性など）が破れていないかを確認する工程である。係数の数値だけでは見抜けない問題を検出できる。
4.2.1 残差プロット
残差プロットは、残差のパターンを可視化して系統的なズレを探す手法である。例えば、横軸に予測値やある説明変数を取り、縦軸に残差を取ると、線形でない形状（曲線的パターン）や、分散の増減（扇状の広がり）が見えやすい。
また、残差がランダムに散らばっているか、特定の領域で偏っていないかを確認することが重要になる。診断の結果は拡張方針（変数変換、追加特徴量、分散構造の変更）に直結する。
4.2.2 外れ値と影響点
外れ値は、他の観測と比べて残差が大きい点を指す。影響点は、残差が大きいだけでなく、その点が推定結果（係数）を強く動かす観測を意味する。
外れ値と影響点は別概念であり、外れ値でも影響が小さい場合や、その逆もありうる。診断では、適切な指標や追加の検討（測定誤り、データ収集条件の違い、理論的な妥当性）を通じて扱いを判断する。
4.2.3 多重共線性の検出
多重共線性は、説明変数同士が互いに強く関連しており、係数推定が不安定になる状態である。結果として、係数の標準誤差が大きくなり、有意性が不安定になることがある。
検出には、相関係数の確認だけでなく、分散拡大係数（VIF）のような指標が用いられる。共線性が見つかった場合には、変数の整理、代表変数への集約、特徴量の再設計、正則化の導入などが検討される。
4.3 効率的な推定のための工夫
推定を安定化し、解釈と予測の両方を改善するための工夫がある。数値計算の観点と、データのスケール設計の観点が混在するため、両者を意識して選択する。
4.3.1 標準化とスケーリング
標準化（平均0、分散1など）やスケーリングは、説明変数の単位差による数値的不均衡を緩和する。線形モデルそのものの予測性能が必ずしも変わるわけではないが、係数の相対比較や、最適化手法を用いる拡張（正則化）での挙動に影響することがある。
また、カテゴリ変数は連続変数と同じスケーリングの扱いにしないことが多い。変換の方針は変数の種類に合わせて決める必要がある。
4.3.2 正則化（概要）
正則化は、係数に罰則を課して過剰な複雑さを抑え、推定の安定性や汎化性能を改善する考え方である。たとえば L2 系（リッジ回帰）や L1 系（ラッソ）では、係数の大きさやスパース性を制御できる。
線形モデルの最小二乗推定は罰則なしのケースとみなせる。正則化は特に、多数の候補特徴量がある状況や多重共線性が強い状況で効果が期待される。係数の解釈は通常最小二乗とは異なるため、目的（予測性能、変数選択、安定性）を踏まえた利用が望ましい。
4.4 拡張の系譜
線形モデルは単純な形だけで終わらず、実データの非線形性や複雑な関係に対応するために拡張されてきた。拡張は「どの仮定を緩め、どの性質を維持するか」を意識して行う。
4.4.1 多項式回帰・特徴量展開
多項式回帰は、説明変数に対して二乗や三乗などの項を追加し、曲線的な関係を表現する方法である。特徴量展開は、一般に任意の変換によって新しい説明変数を作ることを含み、多項式はその一例に位置づく。
展開後の係数は線形に推定できるため、「線形性」の要件は保たれる。一方で、高次になるほど過学習リスクが増すため、診断とモデル選択のプロセスがより重要になる。
4.4.2 相互作用項の導入
相互作用項は、ある説明変数の効果が他の変数の値によって変わる状況を表す。例えば \(x_1\) と \(x_2\) の積 \(x_1x_2\) を追加すると、単純な加算モデルでは捉えにくい「条件付きの効果」が表現できる。
相互作用の追加は解釈にも直結するため、仮説に基づいて入れるか、検討範囲を絞って探索するのが望ましい。無秩序な追加は複雑化を招く。
4.4.3 分類・非線形への接続（関連づけ）
分類や非線形性が問題になる場合、線形モデルの考え方を核として別のモデルへ接続することが多い。分類では、目的変数が連続でないため、確率モデルを用いる一般化線形モデルの考え方が自然な延長となる。
非線形への接続としては、線形モデルで表現できる範囲を拡げる工夫（特徴量展開、相互作用）を先に試し、それでも不十分な場合にニューラルネットワークや木構造モデルのような手法へ発展させる流れがある。ただし実務では、まずは残差診断と仮定チェックを通じて、どの方向の拡張が妥当かを判断することが多い。