1 過少適合の概要
1.1 定義と基本的な特徴
過少適合（かそつがんぷつ、underfitting）とは、学習したモデルがデータ中の規則性を十分に捉えられないため、訓練データに対しても検証データに対しても誤差が大きく、性能が伸びにくい状態を指す。典型的には、学習した関数がデータの持つ構造を過度に単純化し、予測の表現力が不足している。
この状態では、学習を進めても改善が限定的になりやすい。加えて、評価指標の差が小さい場合でも「両者とも低い（精度が出ない）」ことが特徴として観測されることがある。つまり、過少適合は単に汎化が悪いというだけでなく、そもそも当てはめが弱いことを含む。
1.2 発生要因（モデルの複雑さ不足など）
1.2.1 学習の自由度と表現力の関係
過少適合の中心的要因は、モデルの学習自由度（パラメータ数や仮説空間の広さ）が、データが必要とする複雑さに対して不足している点にある。たとえば、非線形な関係を表すのに線形モデルしか用意されていない場合、どれだけ学習を最適化しても関係を正確に近似できず、残差が大きく残る。
自由度が低いモデルでは、関数形がデータの構造に合いにくく、表現できるパターンの種類が限られる。結果として、訓練誤差が最小化しても十分に小さくならず、推論時の誤差も高止まりしやすい。
1.2.2 学習データの性質（ノイズ・少量性など）との相互作用
過少適合はモデル側だけでなく、データ側の性質とも相互に影響を受ける。学習データが少ない場合、モデルを強く制約すると（たとえば大きな正則化を課すと）適合に必要な柔軟性がさらに失われる。逆に、ノイズが多い場合は本来学習が難しく、モデルの側で適切な柔軟性を確保できないと、平均的な傾向だけに寄ってしまい過少適合に見えることがある。
また、特徴量設計が不適切で、関連する情報が表現に反映されていない場合も、実質的に利用可能な表現力が減る。データが十分に複雑でも、前処理や特徴量の設計がその複雑さを捉えられないと、モデルが学べる構造が限定される。
1.3 過学習（過適合）との対比
過学習（過適合）は、訓練データへの適合は高いが、検証データでは性能が落ちる状態である。対照的に過少適合では、訓練誤差自体が下がりにくく、検証誤差も総じて高いままになりやすい。
ただし実務では境界が単純でないことがある。たとえば、検証データに含まれる分布のずれにより、過学習があっても訓練誤差との関係だけで判断しづらい場合がある。したがって、学習曲線、指標の上下関係、モデル挙動の整合性を総合して解釈することが重要である。
2 診断方法
2.1 学習曲線による判定
2.1.1 訓練誤差と検証誤差の傾向
過少適合の典型的な学習曲線では、学習が進んでも訓練誤差が十分に下がらず、検証誤差も同様に改善が限定的である。つまり、両者の誤差がともに高止まりする傾向が観測される。
このとき、学習データ量を増やしても性能が大きく伸びない、あるいは改善幅が相対的に小さいことが多い。特にモデルの表現力が構造に対して足りない場合、データを増やしても必要な関数形へ到達できず、改善が頭打ちになりやすい。
2.2 評価指標と分布の見方
数値の平均だけでなく、予測の分布や残差の形も診断に有用である。たとえば回帰では残差に系統的な偏りが残りやすい。具体的には、特定の入力領域で一貫して過大または過小予測になり、誤差がランダムに散らない。
分類では、確率出力が十分に分離せず、クラス間の重なりが大きい状態が観測される場合がある。さらに、閾値操作により性能がわずかにしか改善しない場合、モデルが特徴に対して表現を作れていない可能性が示唆される。
2.3 モデル挙動からの手がかり
モデル挙動として、学習ステップを増やしても指標が改善しにくい、あるいは勾配や更新量が早期に小さくなり一定の挙動に入ることが手がかりになる。特に固定の特徴量や簡素なモデル構造で訓練していると、学習の途中で停止するのではなく、そもそも到達できる精度が低い。
また、同じ最適化条件でもモデルサイズや表現の幅を増やすと性能が改善するなら、過少適合である可能性が上がる。逆に、複雑化しても改善がほとんどない場合は、データ品質や前処理、ラベル整合性といった別の要因を疑う必要がある。
3 改善策
3.1 モデルの複雑さを増やす
3.1.1 特徴量の追加・表現の拡張
過少適合の改善では、まず入力表現を見直し、データの構造に近い特徴を作ることが有効である。非線形性を捉えるには、たとえば多項式的な特徴の導入、交差特徴の生成、あるいは埋め込み表現の利用が選択肢になる。
特徴量拡張は単に数を増やすだけでなく、対象領域の仮説に基づく変換やスケーリングの設計が重要になる。適切に設計された表現が与えられると、モデルはより短い学習で有意な規則性に近づき、訓練誤差の低下が期待できる。
3.1.2 アーキテクチャや次数の見直し
線形モデルが原因で非線形性が表せない場合、カーネル法、非線形基底、ニューラルネットなどの手段で関数族を拡張することが考えられる。決定木では深さや葉数の増加、アンサンブルでは木の数や構成の見直しが該当する。
ニューラルネットでは層数や隠れユニット数、正則化のバランスを再調整することで表現力を高められる。ただし複雑化は過学習も招き得るため、改善の指標を訓練と検証の双方で確認しながら段階的に行うのが一般的である。
3.2 正則化とハイパーパラメータ調整
3.2.1 正則化強度の考え方
正則化は過学習の抑制に役立つ一方、強度が過度だとモデルが必要な自由度を使えず、過少適合につながることがある。リッジ回帰やラッソのような手法では、ペナルティ係数を強めるほどパラメータが抑制され、表現の柔軟性が減る。
したがって、正則化係数は「検証で最良になる点」を探索する対象として扱うべきである。訓練誤差が十分に下がらない場合は、正則化が強すぎないかを疑い、範囲を振り直すことで改善の余地が見えることがある。
3.2.2 学習率・最適化設定の影響
過少適合に見える現象の一部は、最適化の不調で説明できる場合がある。学習率が小さすぎると探索が進まず、学習曲線上で訓練誤差が下がりにくくなる。一方で大きすぎると発散や振動が起き、十分に学べない状態になることがある。
最適化アルゴリズム（モメンタム、適応学習率など）、バッチサイズ、初期化、学習スケジュールも影響する。したがって、モデルの複雑さだけでなく、学習プロセスが適切に収束しているかを確認してから診断を確定するのが望ましい。
3.3 データ面での対策
3.3.1 データの拡充と前処理
データ拡充は過少適合の改善に寄与しうる。入力の多様性が不足していると、モデルが学べるパターンが限定され、結果として必要な関数近似が成立しにくい。特に特徴量のスケールや欠損処理が不適切だと、モデルが情報を利用できず、適合の進みが鈍ることがある。
前処理では、正規化、標準化、欠損補完、外れ値の扱い、カテゴリ変数のエンコードなどが該当する。適切な整形により信号対雑音比が改善すれば、同じモデルでも訓練誤差が下がりやすくなる。
3.3.2 ノイズ低減とラベル品質の改善
ラベルの誤りや計測ノイズが多い場合、モデルはデータの規則性を学びにくくなる。結果として、必要以上に単純な説明に寄ってしまい、過少適合に類似した挙動になることがある。ノイズ低減としては、ラベル検証の追加、アノテーションガイドの改善、矛盾データの除去などが考えられる。
ただし、ノイズを過剰に削ると情報が欠落し、別の問題を生むこともある。データ監査と検証指標の変化を追跡し、改善が汎化性能に結び付くかを確認する手順が重要である。
4 理論的背景
4.1 バイアスと分散の観点
統計的学習の観点では、予測誤差は主にバイアス（系統的なずれ）と分散（データの揺らぎへの敏感さ）で捉えられる。過少適合は一般にバイアスが大きい状態として理解される。モデルがデータ生成過程を十分に表現できないため、平均的にも誤差が残りやすい。
一方で過学習は分散が大きい状態とされることが多い。したがって過少適合の改善では、過度な制約を緩めてバイアスを下げる方向が中心となり、同時に分散の増加が過剰にならない範囲で調整することが求められる。
4.2 汎化誤差の分解
汎化誤差とは、学習後に未知データへ適用したときの誤差を指す。理論的には、最小化した訓練誤差と、それを未知データへ持ち越す際に生じるギャップ（容量や複雑さに関連する項）に分けて考える枠組みがある。
過少適合では、容量不足に起因して訓練誤差そのものが大きくなり、分解のうちの「表現できなさ」に相当する部分が優位になる。つまり汎化ギャップが小さくても、ベースラインの達成度が低いため、総合的な汎化誤差は下がりにくい。
4.3 統計学習におけるモデル選択の考え方
モデル選択では、複雑さと汎化性能のバランスをとることが目的となる。経験的には検証誤差を用いることが多いが、理論的にはモデル容量の指標（仮説空間の大きさに関する概念）を通じて、過度な自由度がリスクを高める可能性が議論される。
過少適合の場合、容量が小さすぎるため選択が逆方向に偏っていることが多い。たとえば探索空間に含まれる候補が単純すぎたり、正則化が強すぎたりする状況では、検証誤差が十分下がらず、選択結果としてバイアスが残りやすい。
5 事例と具体例
5.1 線形モデルでの過少適合例
5.1.1 非線形関係の見落とし
ある回帰問題で、真の関係が入力の非線形関数に従うにもかかわらず、線形回帰だけで学習すると過少適合になりやすい。訓練データに対しても直線で説明できないため、残差が特定のパターン（例えば入力が大きい領域で体系的に大きくなる等）を示す。
このとき特徴量の工夫や基底の拡張（多項式特徴など）を行うと、訓練誤差が下がり、検証精度も改善する可能性がある。改善が見込める場合、初期の単純化が原因だったことが裏付けられる。
5.2 決定木・ニューラルネットでの過少適合例
5.2.1 早期に収束してしまうケース
決定木で最大深さを極端に小さくしたり、葉数を制限しすぎたりすると、分割が粗くなりすぎてデータ構造を捉えられない。学習が早く落ち着く一方で誤差は高いままになりやすい。
ニューラルネットでも、層数やユニット数が不足していると、勾配降下が進んでも学習可能な表現が限られる。その結果として訓練誤差が減り切らず、検証側も同様に伸びにくい。さらに正則化や学習率が過度に制限的だと、更新が抑えられて似た現象が起こる。
5.3 実務での判断フロー
実務では次のような順序で確認することが多い。まず訓練と検証の誤差を学習曲線で確認し、両方が高い状態か、あるいは訓練だけが低いかを見分ける。両者が共に改善しにくい場合は過少適合の可能性を優先する。
次に、最適化設定を見直し、学習が十分に進んでいるか（学習率、収束性、バッチ、早期停止の妥当性）を確認する。これらが妥当であれば、モデル容量や特徴量の表現を段階的に増やす。最後にデータの整合性やラベル品質を点検し、外れ値や欠損などの前処理が妥当かを確かめる。
6 関連概念
6.1 正則化（リッジ回帰・ラッソ等）
正則化はモデルの複雑さを抑え、過学習を防ぐための枠組みである。リッジ回帰は係数の二乗に罰を与えることで滑らかさを促し、ラッソは絶対値に罰を与えるため係数を縮小しつつ一部をゼロにし得る。
過少適合の文脈では、正則化強度が過度に設定されていないかが焦点になる。適切な値はデータとモデルによって異なるため、検証指標に基づく選択が一般的である。
6.2 学習曲線・クロスバリデーション
学習曲線は、学習が進むにつれて訓練誤差と検証誤差がどう変化するかを可視化する方法である。過少適合では、訓練誤差が低下し切らないという観点で解釈される。
クロスバリデーションは、データ分割のばらつきを抑えつつ汎化性能を推定する手法である。過少適合かどうかを判断する際、特定分割に依存した誤判定を減らせるため有用となる。
6.3 アンダーフィットとその周辺用語
アンダーフィットは過少適合と同義として扱われることが多く、モデルがデータの規則性を学び切れていない状態を表す。周辺では、容量不足、表現力不足、バイアス過大といった言い換えが用いられることがある。
また、入力表現の貧弱さや特徴量設計のミスマッチを含めて説明する場合もあり、単に「モデルが弱い」という一文だけでは原因を特定できない点が特徴である。診断ではモデル、最適化、データの各要素を横断して評価する必要がある。