1 アンダーフィットの定義と特徴
訓練性能と検証性能の関係
アンダーフィットは、モデルがデータの持つ構造や関係性を十分に学習できず、学習対象の指標が十分に改善しない状態を指す。典型的には、訓練データ上の誤差と検証（汎化）上の誤差がともに高止まりし、両者の差も小さくなりやすい。つまり、訓練で得られる学習効果が弱く、モデルの表現が現実のパターンに届いていない可能性が高い。
学習曲線に表れる典型パターン
学習が頭打ちになる場合
学習曲線では、反復回数（エポック）や学習ステップを増やしても指標が伸びず、ある水準で頭打ちになることがある。このとき、訓練側の改善も限定的であり、損失や誤差が十分に下がらない。頭打ちは、学習が途中で詰まっているというより、そもそもモデルが表現しきれていない、あるいは更新の仕方が目的に合っていないといった要因と結びつくことが多い。
すべてのデータで誤差が高い場合
訓練・検証のいずれにおいても誤差が高いまま推移する場合がある。訓練データに対しても再現度が低いため、「学習できていない」性質が前面に出る。結果として、検証指標は改善せず、予測精度が十分に確保されない。アンダーフィットでは、単なる偶然のばらつきというより、学習の到達度が根本的に不足しているケースが含まれる。
オーバーフィットとの対比
バイアスと分散の観点
アンダーフィットは概してバイアス（系統的な誤差）が大きい状態として整理される。モデルが単純すぎたり、正則化が強すぎたりして、データの複雑さを取り込めないため、予測は平均的な形に寄りやすい。一方でオーバーフィットは分散（データ依存の揺らぎ）が大きくなり、訓練では良いが検証で悪化する傾向が強い。両者は、学習曲線の形や訓練・検証の差の出方として観察されやすい。
よくある誤解（「学習が遅い」等）
「学習が遅いからアンダーフィット」と捉えられることがあるが、これは必ずしも正しくない。学習の速度が遅いだけなら、時間をかければ損失が下がり始める可能性がある。一方でアンダーフィットは、一定の学習を行っても訓練指標が低下しにくく、根本の表現力不足や制約過多が疑われる。判別には、学習曲線がどの方向に動くか、どの指標で頭打ちしているかを見ることが重要になる。
2 原因の整理
モデル表現力の不足
最も典型的な原因は、モデルの容量や表現の柔軟性が足りないことである。線形回帰のような単純な仮定しか置いていない場合、非線形な関係を表すのが難しくなる。ニューラルネットワークでも層数が少なすぎる、隠れユニット数が小さすぎる、あるいは注意機構や分岐がない設計などにより、必要な特徴量変換を学べないことがある。モデルがデータの複雑さに見合わないと、訓練側の誤差も下がりにくくなる。
正則化の過度な適用
正則化係数（強さ）の影響
正則化は過学習を抑えるために有効だが、強すぎると更新が過度に制限され、学習が浅くなる。たとえばL2正則化係数を大きくし過ぎると、重みが必要以上に小さく保たれ、表現が平坦になる。結果として、データを説明するための係数が育たず、訓練・検証双方の性能が伸びない状態が生じうる。
ドロップアウトや早期終了の考え方
ドロップアウトは学習時にユニットを落とすことで汎化を高める手段だが、ドロップ率が高すぎると有効な情報伝達が弱まり、学習が進みにくくなることがある。早期終了も同様で、検証指標が改善しにくい段階で停止してしまうと、最適到達前の地点で学習が打ち切られる。ここでは「過学習を避けたい」という意図が「学習不足」を招く形になる。
学習手順の不適切さ
学習率・学習回数不足
学習率が小さすぎるとパラメータ更新が進まず、十分な改善に到達しない。また、学習回数（エポック数やステップ数）が不足していると、探索が途中のままになる。どちらも「到達が遅い」だけに見える場合があるため、訓練損失が継続的に下がっているか、改善が止まっているかを併せて確認する必要がある。改善方向が一貫していない場合、単なる回数不足だけでは説明できないことがある。
損失関数や目的のミスマッチ
損失関数がタスクの性質に合っていない場合、最適化の目標がズレるため学習が停滞しやすい。回帰で分布の外れ値に極端に弱い損失を用いたり、分類でクラス不均衡に対する配慮がない損失を用いたりすると、更新が有効に機能しないことがある。さらに、ラベルの定義が目的と整合していない場合も同様に、再現性の高い学習が成立しにくい。
データ側の要因
特徴量の情報不足
入力に含まれる情報が不足していると、どれほどモデルが工夫されていても説明可能な限界が生じる。たとえば、予測に必要な要因を特徴量として観測できていない、あるいは相関が弱い表現しか持たない場合がある。この場合、モデルを大きくしても訓練の改善が限定的になり、誤差が残りやすい。
前処理の不備
スケーリング不足、符号化の不整合、欠損値処理の方針の不適切さなどは、特徴の意味を崩し学習を困難にする。極端な外れ値が未処理で残っていれば学習が安定しにくい。カテゴリ特徴でのエンコード方法が不適切だと、モデルが関係を見いだせない。前処理はデータの幾何を変えるため、アンダーフィットに似た症状として現れることがある。
ラベル品質やノイズの影響
ラベルに誤りが多い、あるいは観測ノイズが大きいと、学習の上限が下がる。誤った教師信号に引っ張られるため、訓練指標が改善しても検証で頭打ちしやすくなる場合があるが、アンダーフィットとして現れることもある。特に、ラベルノイズが構造的に偏っていると、モデルが正しいパターンを学ぶ前に目標自体が揺らいでしまう。
3 診断方法
学習曲線（トレーニング／検証）の確認
診断の第一歩は、訓練と検証の両方の曲線を見ることである。訓練損失が高止まりし、検証損失も同様に下がらない場合はアンダーフィットの疑いが強い。逆に訓練は改善するが検証が伸びない場合は過学習寄りになる。さらに、学習曲線の形がいつから変化するか（頭打ちの時期）も手がかりとなる。改善が期待できる段階で打ち切っていないか、学習率設定が妥当かなども合わせて判断する。
残差解析による手がかり
残差の系統的パターン
回帰では、予測と実測の差である残差がランダムに散らばらず、ある変数の範囲で常に正または負に偏ることがある。この場合、モデルが特定の関係を捉えられていない可能性が示唆される。残差のパターンが滑らかで構造的だと、表現力不足や特徴量設計の不適合を疑いやすい。逆に残差が十分にランダムなら、誤差の大部分は観測ノイズや説明不能な要因である場合もある。
分布の偏り
残差分布が対称にならない、裾が極端に重い、分散が入力に応じて変化する（ヘテロスケダスティシティ）なども診断材料になる。分散の不均一が大きい場合、損失や前処理の設計が不適切で、学習が安定しにくいことがある。分布の形はアンダーフィットと過学習を単独では区別しにくいが、モデルが必要な変換を学べていない兆候として有用になる。
バッチごとの挙動と安定性
反復回数に対する改善の有無
ミニバッチ学習では、各ログで訓練損失がどの程度下がっているかを細かく追うことができる。反復を重ねても平均的な改善が見られない、あるいは特定の時点から再現性なく停滞するなら、最適化や学習設定が適合していない可能性がある。改善が遅いだけなのか、そもそも学習が進まないのかを区別するため、移動平均や分位点を併用して評価することが多い。
学習のばらつき
同じ条件で複数回学習したときのばらつきが大きい場合、学習率が不適切、正則化の作用が強すぎる、あるいはデータ処理が不安定であるなどが考えられる。ただしアンダーフィットでは平均的に誤差が高い傾向が残るため、ばらつきの大きさと誤差水準の両方を同時に観察するのが望ましい。安定性は学習が有効に進む条件と密接に関係する。
交差検証での評価
フォールド間での一貫性
交差検証では、各フォールドでの性能がどれほど似通っているかを確認できる。アンダーフィットでは、訓練不足に起因するため、フォールド間でも大きな差が出にくいことがある。一方で過学習では、特定フォールドで訓練側の特徴に強く依存し、差が拡大する場合がある。もちろんデータ分布の偏りが大きいと例外もあるため、分散の原因を切り分ける姿勢が重要になる。
指標の解釈（回帰・分類）
回帰では平均二乗誤差、平均絶対誤差、決定係数など、分類では精度、適合率、再現率、損失関数値など、目的に応じた指標の読み方が必要になる。アンダーフィットは一般に全般的な誤差増として現れるため、単一の指標だけでは不足することがある。たとえば分類で精度が低くても、クラスごとの再現率がどの程度落ちているかを見れば、学習の偏りの有無を判断しやすい。
4 対策と改善の進め方
モデルの複雑さを調整する
ネットワーク規模や深さ
表現力不足が疑われる場合は、層数や隠れユニット数を増やすなどして容量を拡張する。ただし過大にすると別の問題が顕在化しやすいので、段階的に変更し、学習曲線と検証指標の変化で効果を確認する。深さの増加は表現の合成能力を高める一方で最適化の難度も上がるため、正則化や学習率の同時調整が必要になることがある。
木の深さ・分割数の見直し
決定木や勾配ブースティングでは、木の深さ、分割の粒度、リーフ数などの制約が表現力を左右する。制約が強すぎると、近似が粗くなってアンダーフィットになりやすい。逆に深さを伸ばしすぎると過学習へ移りやすいため、検証曲線の形を見ながら段階調整する。分割数の上限を緩める場合も同様に、学習の挙動を継続観察する。
正則化と学習条件の再調整
正則化係数の探索
正則化の強さが過剰でないかを確認するため、係数を複数水準で探索する。探索により、訓練誤差が下がり検証も改善する範囲を見つけられることがある。重要なのは、「検証指標が改善すること」だけでなく、訓練側の到達度が適切に改善しているかも見る点である。訓練の改善がないまま正則化を弱めても効果が薄いなら、別要因の可能性が残る。
学習率スケジュールの調整
学習率を一定にするか、段階的に減衰させるか、ウォームアップを設けるかなど、スケジュールは収束挙動に影響する。学習率が小さすぎるなら、初期値の見直しや増加によって十分な更新が得られる可能性がある。反対に大きすぎる場合は発散や振動の兆候が出るため、損失の形と勾配の安定性を手がかりに調整する。
早期終了の再検討
早期終了は、改善が見られない場合に計算を節約できる一方で、改善の遅い状況を見逃すことがある。忍耐度（patience）を伸ばす、監視対象の指標を変更する、あるいは学習が一定期間は継続する「下限エポック」を設けるなどが実務上の手当てになる。これらにより、誤って未学習のまま終了するリスクを下げる。
特徴量・前処理の見直し
特徴量設計（統計量、表現、エンコード）
特徴量は、目的変数との関係を引き出すための変換と考えられる。統計量の集約、相互作用項の導入、連続値の表現方法の見直し、カテゴリ変数のエンコード方式の調整などが選択肢になる。現状の特徴が線形性を強く仮定し過ぎている場合、非線形な関係を捉えるための表現を追加することで改善が見込める。特徴量設計では、変更の影響を検証するために比較実験を小さく刻むことが推奨される。
スケーリングや欠損処理
スケーリングは、勾配ベース学習の挙動を安定化させる。標準化や正規化の方針を統一し、推論時にも同じ変換を適用することが前提となる。欠損値処理も同様で、単純補完、欠損フラグの付与、モデル内での学習的処理など、データ生成の事情に応じた方法が必要になる。処理方針が不整合だと、モデルが有効な規則性を学べなくなり得る。
データ拡張の活用（適用領域に応じて）
画像や音声などでは、幾何変換や強度変換、ノイズ付加などのデータ拡張が汎化を助けることがある。これにより学習データの多様性が増し、モデルが表現を安定化させる場合がある。ただし拡張が目的と関係のない変化を含むと、教師信号の整合性が崩れ、逆効果になる。適用領域の特性を踏まえ、意味の保持を優先して設計する必要がある。
ハイパーパラメータ最適化の実務
グリッドサーチ／ランダムサーチ
グリッドサーチは候補点を全組み合わせで評価できるが、探索空間が広いと計算量が増える。ランダムサーチは広い範囲を少ない試行で探索でき、無駄な組み合わせを減らしやすい。アンダーフィット対策では、正則化、学習率、モデル容量に関するパラメータを中心に候補を絞り、学習曲線と検証指標の両方を根拠に判断することが多い。
ベイズ最適化や指標設計の工夫
ベイズ最適化は、過去の評価結果から次に試す候補を賢く選ぶ手法である。少数回の試行で改善の見込みが高い領域を掘り当てることが期待できる。さらに指標設計として、単に精度のみを使わず、速度や安定性、クラス別の扱いなどを評価に含めることがある。これにより、アンダーフィットだけでなく実運用上の品質も同時に担保しやすくなる。
改善の評価手順
反復サイクルと記録
改善は一度の調整で完結することが少なく、試行錯誤の反復が前提になる。変更点、再現条件、評価指標、学習曲線の要約を体系的に記録し、どの設定がどの変化を生んだかを追えるようにする。特に、モデル容量、正則化、学習率といった主要要素を同時に変える場合は、因果の切り分けが難しくなるため、変更範囲を制御する設計が重要になる。
汎化性能の確認ポイント
最終的には、未知データでの性能が維持されるかを確認する必要がある。交差検証での平均とばらつき、独立したテストセットでの指標、閾値設定が必要な場合は誤差分布や校正の状態などを点検する。アンダーフィットが解消された場合、訓練誤差の低下に加えて検証指標の改善が観察されることが多い。一方で改善が訓練側に偏るなら過学習方向へ移った可能性もあるため、両者の整合を確認し続けることが望ましい。