1 概要
1.1 定義
モデル選択とは、複数の候補モデルの集合の中から、与えられた目的と観測データに対して最も適したモデル（またはモデルの組合せ）を選ぶための体系的手続きである。目的は予測性能の向上に限らず、推定の妥当性、説明のしやすさ、計算資源の制約、外れ値やデータ欠損への耐性なども含む。
モデル選択は、学習データに対する適合度のみを最大化する行為ではなく、未知のデータへの一般化を見据えた評価と意思決定として理解される。したがって、モデルの複雑さと性能のトレードオフを管理することが中核にある。
1.2 目的
主な目的は、(1) 過学習の抑制、(2) 妥当な汎化性能の確保、(3) 解釈可能性や実務要件に合致するモデルの選定、(4) 計算コストの適切化である。例えば統計モデリングでは、推定量の妥当性や推論の基盤としての安定性が重視される。一方、機械学習では予測精度と再現性が前面に出る。
また、目的関数が単一ではない場合が多い。予測誤差を最小化しつつ、パラメータ数を抑え、解釈可能な形を維持し、計算時間を制限する、といった同時最適化が実務上の課題となる。
1.3 歴史的背景
モデル選択の考え方は、統計学における仮説比較や回帰モデルの選択、情報量規準による評価などを通じて発展してきた。古典的な回帰では、説明変数の追加・削除による競合を背景に、系統的な選択規則が整備されていった。
その後、一般化性能を意識した理論的枠組みが広がり、検証誤差の推定（交差検証など）や正則化（罰則付き推定）が実用的手段として定着した。近年ではベイズ的手法やモデル平均化が注目され、単一モデルの選別だけでなく、不確実性を含む形での意思決定へと拡張されている。
2 基本概念
2.1 候補モデル
2.1.1 モデルクラス
候補モデルは、表現力の異なる複数のモデルクラスから構成される。例として、線形回帰と非線形回帰、異なる確率分布を仮定する統計モデル、正則化の有無や次数の違う多項式モデルなどが挙げられる。モデルクラスは、変数の取り方だけでなく、誤差分布、リンク関数、依存構造（時系列や空間構造）などにも関わる。
選択の第一歩は、目的に照らして「比較可能な候補」を定義することである。候補が過度に雑多だと評価が難しく、逆に狭すぎると真に適切なモデルが集合に含まれない可能性が高まる。
2.1.2 パラメータ数
モデル複雑さの直感的指標として、パラメータ数がよく用いられる。パラメータが多いほど柔軟にデータへ適合できる一方、推定の不安定さや汎化性能の低下を招くことがある。そのため、情報量規準や正則化は「適合の良さ」だけでなく「自由度の増加」に伴うペナルティを導入する。
ただしパラメータ数が必ずしも複雑さに比例するわけではない。たとえば同数のパラメータでも推定の感度が異なることがあり、実際には有効自由度や学習アルゴリズムの性質が効いてくる。
2.2 適合度と汎化性能
2.2.1 学習誤差
学習誤差は、モデルが当てはめられたデータに対する予測誤差（あるいは損失）の大きさである。典型的には学習データに対して最適化されるため、学習誤差が小さいほど「よく当てはまっている」ように見える。
しかし学習誤差だけでは一般化性能を保証しない。柔軟なモデルほど学習データを記憶する傾向があり、評価対象が未知データである場合、学習誤差の最小化は過学習につながり得る。
2.2.2 検証誤差
検証誤差は、学習に直接使わなかったデータ（検証集合など）で評価した誤差である。交差検証では複数の分割により検証誤差の平均や分散を推定することで、偏りを減らしながら汎化性能の見通しを得る。
検証誤差が低いモデルは、未知データに対しても良好に機能する可能性が高い。もっとも検証データの選び方や評価指標の設定によって結果が変動するため、評価手続きの設計が重要になる。
2.3 過学習と過少適合
2.3.1 複雑さの影響
モデルの複雑さが増えると、学習データへの適合度は改善しやすい一方、未知データでの誤差が増加する場合がある。この現象は、複雑さが情報だけでなくノイズも捉えてしまうことに起因する。
過学習は高分散・低バイアスとして現れやすく、過少適合は低分散・高バイアスとして現れやすい。したがって、モデル選択の実務では複雑さの上限を意識しつつ、評価によって適切な領域を選ぶ必要がある。
2.3.2 バイアスと分散
バイアスは、モデルの仮定が真の関係を捉えきれていないことによる系統的誤差である。分散は、データの揺らぎに対して推定結果がどれだけ変わるかに関係する。一般に、複雑なモデルはバイアスを下げやすいが分散を上げやすい。
モデル選択の核心は、このトレードオフを望ましい方向へ調整することである。情報量規準や正則化は、学習データへの適合と推定の安定性のバランスを、理論と実務の双方に接続しようとする枠組みとして位置付けられる。
3 モデル選択の基準
3.1 情報量規準
3.1.1 赤池情報量規準
赤池情報量規準は、尤度に基づく適合度と、モデルの有効自由度（またはパラメータ数）に対するペナルティを組み合わせた基準である。目的は、データへの当てはまりを保ちつつ、複雑さの過剰な上昇を抑える点にある。
実装上は、候補モデルごとに赤池情報量規準を計算し、最小の値を与えるモデルを選ぶことが多い。サンプルサイズが小さい場合の補正版が用いられることもある。
3.1.2 ベイズ情報量規準
ベイズ情報量規準は、赤池情報量規準と同様に尤度と複雑さのペナルティを組み合わせるが、ペナルティの大きさが異なる。一般に、ベイズ情報量規準はより複雑なモデルに厳しめの罰を与える傾向がある。
この性質により、標本が十分大きい状況では真のモデルへの収束性に関する利点が議論されることがある。ただし前提（モデルの正則性など）によって挙動が変わるため、実データでは検証誤差との併用が望ましい。
3.1.3 汎化情報量規準
汎化情報量規準は、未知データに対する汎化性能をより直接的に反映しようとする考え方に基づく。特に、通常の正則条件が成り立たない場合でも比較可能な枠組みとして位置付けられることがある。
情報量規準が有効に働くためには、モデル仮定の整合性や推定の安定性が関係する。汎化情報量規準はその観点から、実用上の解釈と適用可能性を広げる方向の指標として扱われる。
3.2 交差検証
3.2.1 交差検証の種類
交差検証には複数の方式がある。代表例として、k分割交差検証ではデータをk個に分け、順番に1分割を検証用として用いる。ランダム分割による方法や、時系列データ向けに時間順を保った評価（たとえば前進窓）もある。
分類と回帰では指標や分割の工夫が異なる場合がある。分類ではクラス比率を保つ層化分割が検討され、回帰では外れ値や分布の偏りを考慮した設計が求められる。
3.2.2 分割方法
分割方法は検証結果のばらつきや推定の偏りに影響する。ランダムに分けると訓練と検証の分布が一致しやすい一方、時間依存や人ごとの相関があるデータでは漏洩（情報の混入）を招きやすい。
層化分割やグループ分割（同一対象に関する観測を同一折にまとめる）など、データ構造に合わせた設計が必要になる。これにより評価の信頼性が高まり、選択したモデルの再現性が向上する。
3.2.3 評価指標
交差検証では損失や評価指標を指定して性能を比較する。回帰では平均二乗誤差や平均絶対誤差、分類では精度、適合率、再現率、ROC曲線下面積などが用いられることが多い。
目的に対して指標の意味が適切かどうかは重要である。たとえば「少数クラスを見逃さないこと」が主目的なら、精度よりも再現率やF値のような指標が適合する場合がある。指標選択はモデル選択の結果を左右する。
3.3 仮説検定
3.3.1 尤度比検定
尤度比検定は、入れた条件（制約）によるモデルと、より自由なモデルの間で尤度の差を比較する手続きとして用いられる。帰無仮説では制約付きモデルが真であるとし、制約を外した改善が偶然の範囲を超えるかを判断する。
モデル選択として用いる場合、複雑さを増やす効果が統計的に支持されるかどうかを検討する枠組みになる。ただし前提条件や推定の不確実性が結果に影響するため、実務では追加の妥当性確認が行われる。
3.3.2 入れ子モデルの比較
入れ子モデルとは、小さいモデルが大きいモデルの特殊な場合として表せる関係にあるモデルのことを指す。この関係があると検定や近似分布が扱いやすくなり、理論的な評価が可能になる。
一方、候補モデルが非入れ子の場合には同じ枠組みが直ちに適用できないことがある。そのため、モデル構造に応じて適切な比較手段を選ぶ必要がある。
3.4 ベイズ的基準
3.4.1 周辺尤度
周辺尤度は、モデルのパラメータを事前分布で積分し、データが観測された確率をモデル単位で評価する量である。候補モデルの比較においては、周辺尤度が大きいほどデータに整合的と解釈される。
周辺尤度は事前分布の影響を受けるため、事前の設定が結論に反映される。したがって、事前分布の妥当性や感度分析が実務上の重要論点となる。
3.4.2 事後確率
事後確率は、ベイズ則により更新されたモデルの確率である。事前確率と周辺尤度の組合せで求まり、複数モデルの相対的な支持度を確率として扱える。
事後確率に基づくモデル選択では、単一モデルの選択だけでなく、確率に応じた重み付けによる推定（後述のモデル平均化）へと自然につながる。不確実性を数値で表現できる点が特徴である。
4 手法
4.1 正則化
4.1.1 りっじ回帰
りっじ回帰は、係数の二乗ノルムに罰則を課すことで、係数の大きさを抑えながら学習を行う手法である。多重共線性が強いときに推定の安定性が改善されることがある。
正則化強度（罰則の係数）を適切に選ぶことが性能を左右する。モデル選択としては検証誤差や情報量規準、ベイズ的尺度などを用いて強度を決定することが多い。
4.1.2 らっそ回帰
らっそ回帰は、係数の絶対値に対する罰則を課す手法である。二乗罰則とは異なり、係数の一部がちょうどゼロになる性質（疎性）を持ちやすい。
このため、変数選択の性格が強くなる場合がある。どの変数を残すかは正則化強度に依存するため、モデル選択の枠組みと整合する形で検証により強度を調整するのが一般的である。
4.1.3 弾性ネット
弾性ネットは、りっじとらっその罰則を組み合わせた正則化である。二乗罰則による安定性と、絶対値罰則による疎性の両方を狙う設計として用いられる。
実務では、混合比や正則化強度の選び方が鍵となる。複数のハイパーパラメータを伴うため、交差検証などで体系的に探索することが多い。
4.2 特徴量選択
4.2.1 前進選択
前進選択は、最初に最も効果のある特徴量を選び、その後は残りの中から最も改善するものを順に追加していく手法である。探索は段階的に進むため、計算が比較的軽い場合がある。
ただし局所的な選択に依存しやすく、組合せとして最適な特徴集合がある場合でも見落とす可能性がある。性能が頭打ちになった時点で停止規則を設けることが多い。
4.2.2 後退消去
後退消去は、最初に全ての特徴量を入れ、効果が小さいものから順に削除していく方式である。前進選択と対称的だが、こちらも局所的な挙動になり得る。
特徴量が多い場合、全てを最初に投入することが計算上重くなることがある。したがってデータ規模や学習アルゴリズムの特性を踏まえて選ぶ必要がある。
4.2.3 両方向選択
両方向選択は、追加と削除を組み合わせて特徴集合を更新する考え方である。すでに選ばれた特徴量が後の段階で不要になる場合に、削除によって補正できる可能性がある。
ただし探索空間が広くなり、計算コストが増えることがある。モデル選択としては、検証結果と計算時間のバランスを取った運用が求められる。
4.3 モデル平均化
4.3.1 ベイズモデル平均化
ベイズモデル平均化は、候補モデルの後成分（事後確率）で重み付けし、推定量や予測を統合する枠組みである。単一モデルの選択による偶然性や境界の不安定さを緩和しやすい。
統合結果はモデル不確実性を反映するため、予測分布の幅が調整される。事前分布や計算手順の設計が重要で、実装では近似（サンプリングや変分）を伴う場合が多い。
4.3.2 アンサンブル学習
アンサンブル学習は、複数のモデルを学習し、それらの予測を平均や投票などで統合することで性能を改善する方針である。ベイズモデル平均化と異なり、必ずしも確率的モデルの枠組みに限られない。
一般に、個々の学習器が異なる誤りの仕方をするときに統合効果が出やすい。交差検証と組み合わせることで性能評価の妥当性を確保しやすい。
5 評価と比較
5.1 予測精度
予測精度はモデル選択で最も直接的に比較される要素である。損失関数に基づく数値（誤差率、平均誤差など）で評価することが多いが、外れ値やクラス不均衡に注意が必要になる。
また、同じ誤差でも損失の形が異なると最適モデルが変わり得る。目的が「大きな外れを特に避けたい」なら、平均二乗系よりもロバストな指標が適することがある。
5.2 解釈可能性
解釈可能性は、モデルが意思決定や説明にどの程度役立つかを表す。線形モデルや決定木のように構造が理解しやすいものが好まれる場面がある一方、精度最優先で高次の非線形モデルを用いることもある。
解釈可能性の評価には複数の観点が含まれる。係数の意味、特徴量の寄与の大きさ、出力がどの程度安定しているかなどである。モデル選択では、精度の優位だけでなく説明責任に関わる要素も同時に考慮される。
5.3 頑健性
頑健性は、データの変動、ノイズ、欠損、外れ値などに対して性能がどれほど保たれるかを示す。交差検証の分割設計や、外れ値に敏感な損失の選択は頑健性に影響する。
また、分布外データ（学習時と異なる環境）への耐性も頑健性の一部として扱われることがある。そのため、前処理（スケーリング、欠損処理、外れ値処理）の妥当性も含めて評価する必要がある。
5.4 計算コスト
計算コストは学習時間、推論時間、メモリ使用量などから評価される。大規模データや厳しいリアルタイム要件では、最良の予測精度を得るモデルでも実装が困難になることがある。
モデル選択では、探索戦略（グリッド探索、ランダム探索、ベイズ最適化など）と評価回数が計算負荷に直結する。したがって性能だけでなく実行可能性を基準に組み込むことが重要である。
5.5 再現性
再現性は、同じデータと設定から概ね同様の結論が得られるかを指す。ランダム性を含む学習では、乱数種やデータ分割の影響が結果に反映されるため、手続きの明確化が必要になる。
再現性を高めるには、交差検証の分割固定、ハイパーパラメータ探索の手順の記録、前処理の一貫性、計算環境の条件の管理などが挙げられる。モデル選択の比較研究では特に重要な要件となる。
6 応用分野
6.1 統計モデリング
統計モデリングでは、仮定（分布、リンク、誤差構造）と推定の整合性を重視しながら、モデル選択を通じて妥当性を高める。情報量規準、尤度比検定、検証誤差の推定などが組み合わされることが多い。
さらに、推定したパラメータの解釈や不確実性評価に基づき、モデルの選択が意思決定に結びつく。したがって、単なる予測性能だけでなく推論の信頼性が関心の中心となる。
6.2 機械学習
機械学習では、検証誤差に基づく選択が中心になりやすい。正則化やハイパーパラメータ調整、特徴量設計と連動してモデル選択が実行される。
大規模な候補空間に対しては、探索効率の良い手法や早期停止、計算資源に適応した検証設計が採用される。アンサンブル学習や確率的推定を組み合わせることで、性能と安定性を両立させる設計が行われる。
6.3 実験科学
実験科学では、理論モデルと観測の対応を評価する文脈でモデル選択が用いられる。候補となる仮説の選別により、データの説明力を高めるだけでなく、実験条件の設計や次の測定計画にも影響が及ぶ。
検証のためには、実験誤差や系統誤差の扱いが重要である。交差検証や情報量規準をそのまま適用できない場合もあるため、誤差構造を踏まえた評価枠組みが必要となる。
6.4 計算科学
計算科学では、シミュレーションや近似モデルの精度と計算量のバランスが重要になる。格子解像度、モデル次数、数値安定化の強度などが候補として扱われ、計算結果の妥当性を確保するために選択が行われる。
この領域では、計算コストが非常に大きいため、候補の絞り込みと効率的評価が欠かせない。モデル不確実性を見積もり、予測区間を含めて提示する設計も行われる。
7 注意点
7.1 データ依存性
モデル選択の結果はデータの分布に強く依存する。学習データに含まれる偏りが強い場合、たとえ検証で良好でも別条件では性能が落ちることがある。
また、分割の仕方によって検証結果が変動する。データ量が限られる場合は特に、評価の分散が大きくなり、選択の安定性が損なわれやすい。
7.2 評価指標の選び方
評価指標が目的と一致していないと、選ばれるモデルは最適になりにくい。例えば、誤差の平均を最小化する設定でも、実務では極端値の扱いが重要になる場合がある。
指標を選ぶ際には、意思決定の損失構造、許容される失敗の種類、コストの非対称性などを反映させる必要がある。指標設計はしばしば「モデル選択の暗黙の目的関数」になる。
7.3 多重比較の問題
候補モデルを多数試すと、見かけ上の良さが偶然により選ばれやすくなる。これは多重比較に近い状況を作り、検証誤差が楽観的に見える危険がある。
対策としては、検証用データの分離を徹底する、ネストされた交差検証を用いる、情報量規準やベイズ的枠組みによって複雑さを抑制する、といった工夫が挙げられる。
7.4 モデル不確実性
モデル不確実性は「どの候補を選んだとしても誤差がある」だけでなく、「選択自体がデータに依存して揺れる」性質を含む。差が僅差の候補間では選択の妥当性が弱くなることがある。
このため、単一の最良モデルに固定するのではなく、モデル平均やアンサンブル、事後確率に基づく統合などによって不確実性を扱う方針が有効になることがある。予測区間や信頼性の提示も合わせて考慮される。
8 関連項目
8.1 推定
推定は、未知パラメータや潜在変数の値をデータから求める操作である。モデル選択は推定の前段として働き、推定された量の性質（分散、バイアス、解釈可能性）に影響を及ぼす。
推定方法の選択自体も候補モデルの一部として扱われ、推定誤差とモデル誤差が分離して評価される場合がある。
8.2 予測
予測は、将来の観測や未知の入力に対する応答を推定することを指す。モデル選択は予測性能を高める目的で用いられることが多く、検証手続きや指標設計が密接に関係する。
予測の形は点推定に限らず、確率的予測（分布の提示）へ拡張できる。モデル平均化はその確率的予測と相性がよい。
8.3 仮説選択
仮説選択は、複数の理論的説明や構造仮説のうち、データに最も整合的なものを選ぶ考え方である。回帰の変数選択や構造選択も、仮説の比較として解釈できる。
モデル選択と仮説選択は方法論を共有するが、後者は理論との整合やメカニズムの支持に焦点が当たりやすい。
8.4 ベイズ推論
ベイズ推論は、事前分布とデータに基づいて事後分布を更新し、不確実性を確率として扱う枠組みである。モデル選択においては周辺尤度や事後確率を通じてモデル間の比較が行える。
またベイズ推論はモデル平均化とも結びつき、単一の選択に依存しない統合推定へ発展することがある。