1 学習不安定性の概念
1.1 定義と範囲
学習不安定性とは、学習過程においてモデルまたはエージェントの挙動が安定せず、訓練中の精度が一貫して改善しない、あるいは損失が振動・発散・急激な悪化を示す状態を指す。分類上は、単なる「最適化がうまくいかない」だけでなく、同一条件でも結果が揺れやすい、学習が段階的に崩れる、あるいは特定の統計量が極端な挙動を繰り返すといった振る舞いを含む。
範囲は、教師あり学習における回帰・分類、自己教師あり学習、強化学習、生成モデルなど広い。とくに勾配に基づく学習則が数値計算として実装される以上、理論的な収束性が保証されにくい条件や、実装上の丸め誤差・バッチ構成の影響が強く現れる場合に顕在化しやすい。
1.2 典型的な症状
1.2.1 損失の発散
損失の発散は、学習ステップが進むにつれて損失が下がらず、むしろ急増し、極端な値で頭打ちにならずに続く現象である。しばしば勾配の大きさが増大し、更新量が過剰になることに結びつく。発散の兆候は、早い段階から損失が急カーブを描く場合もあれば、学習率・正規化統計・混合精度などの条件が整うまで表面化しない場合もある。
1.2.2 損失の振動
損失の振動は、改善と悪化が周期的または不規則に繰り返され、短い区間では下がるが次の区間で戻る、といった状態を指す。原因としては、学習率が高すぎる、最適化の粘性が不足する、あるいはデータ分布の切り替えや正規化統計の更新が不安定に作用することがある。振動は「最適解の近傍でのオーバーシュート」だけでなく、「不適切な損失設計により勾配が方向を変えやすい」ことでも起こり得る。
1.2.3 性能の行ったり来たり
損失が大きくは破綻していなくても、精度や評価指標が訓練途中で上がったり下がったりする場合がある。たとえば、検証損失は低下しているのにメトリクスが乱高下する、あるいは逆に損失は改善しているが実際の性能が伸びないといったケースである。これは、クラス不均衡、ラベル品質の揺らぎ、データ拡張の強度の不整合、あるいは正則化の作用が段階的に変化していることなどが関係する。
1.3 発生する学習設定
1.3.1 教師あり学習
教師あり学習では、損失関数と出力層の組合せ、クラス分布、ラベルの誤り、入力のスケール、正規化の運用が安定性に直結する。分類では不適切な損失やクラス重みが振動・偏りを生むことがあり、回帰では外れ値が勾配を支配して発散につながることがある。特に深いモデルでは、初期値や活性化の選択が学習の進み方を左右する。
1.3.2 強化学習
強化学習では、報酬の遅延、方策の更新によるデータ分布の動的変化、探索の設計が不安定性を増幅させる。価値推定の誤差が方策学習へ波及し、更新が連鎖的に過大になると、学習全体の挙動が崩れやすい。ターゲットの移り方やターゲットネットワークの更新頻度、バッファからのサンプリング設計も観測される揺らぎと関係する。
1.3.3 自己教師あり学習
自己教師あり学習では、前段の表現学習が下流タスクへ転移される前提のため、学習の局所最適に強く影響される。とくに、表現が意味的に使いにくい状態へ収束する、いわゆる縮退が起こると、損失は下がっているにもかかわらず表現品質が上がらない場合がある。データ拡張の整合性や、目的関数の温度・正規化係数などが不安定性に寄与しやすい。
2 原因の整理
2.1 最適化・数値要因
2.1.1 学習率の不適切さ
学習率はパラメータ更新の尺度を決めるため、不安定性の主要因になりやすい。設定の誤りは、損失の発散や振動として直接現れやすく、初期の数百ステップで症状が出ることも多い。
2.1.1.1 学習率が大きすぎる場合の挙動
学習率が大きいと、損失面上での移動が過剰になり、最適解を飛び越えて更新方向が反転しやすい。結果として損失が急増するか、あるいは改善と悪化を繰り返す。さらに、勾配の大きさがステップごとに変動する場合は、短期間で数値範囲を超えて発散が進行することもある。
2.1.1.2 学習率が小さすぎる場合の停滞
学習率が小さすぎると、更新が微小になり、勾配の方向がノイズに埋もれて有効な進行が見えにくくなる。損失は徐々に下がることもあるが、一定時間経過後に頭打ちしやすい。振動ではなく停滞として観測されるため、「不安定」より「学習が進まない」という印象になりがちだが、原因としては学習率のスケールが適合していない点が共通する。
2.1.2 勾配消失・勾配爆発
深いネットワークでは勾配が層を通過する過程で縮小または増幅し、学習が成立しなくなることがある。勾配消失では下位層が更新されず、表現が十分に学習されない。勾配爆発では前述の発散に繋がり、損失が急に増える、学習ログにNaNが出る、重みが極端に増大するなどの形で現れやすい。活性化関数、初期値、正規化層、ネットワーク構造のいずれも影響する。
2.1.3 初期値依存性
初期値は対称性の破れや、損失面のどの領域から探索を始めるかを左右する。初期が不適切だと、勾配の統計が偏り、早い段階で不利な領域に入る。結果として、同じ学習設定でも再学習のたびに収束速度や最終性能が大きく異なり、「再現しない」ケースに発展する。
2.2 モデル・表現要因
2.2.1 深いネットワークの学習難度
深さは表現力と引き換えに最適化の難しさを増やす。層が増えることで勾配経路が複雑化し、更新が伝わりにくくなる。残差接続などの工夫がない場合、誤差伝播が不安定になりやすい。さらに、計算グラフの規模が大きいと数値誤差の蓄積も増えるため、設計と実装の双方が安定性に影響する。
2.2.2 正規化層や活性化関数の影響
正規化層（例：バッチ正規化、層正規化）は学習を安定化し得る一方、運用を誤ると逆効果になる。推論モードと学習モードの切り替えミス、統計量の計算頻度、バッチサイズの不足などが原因で、出力分布が揺れやすくなる。活性化関数も同様で、飽和しやすい関数は勾配消失を招く可能性がある。
2.2.3 損失関数の形状（平坦部・急峻部）
損失面が平坦すぎると有効な勾配が得にくく、学習が遅れる。逆に急峻な領域が頻繁に現れると、更新が過大になり振動や発散を誘発する。加えて、損失のスケールや正則化項の相対比が適切でない場合、主たる勾配源が意図せず正則化側に偏ったり、逆に目的関数が暴走したりすることがある。
2.3 データ・環境要因
2.3.1 データ分布の偏り
学習データが偏っていると、モデルは支配的なパターンに最適化され、少数派の特徴に関する損失が過度に下がらない、あるいは更新が不安定になることがある。学習中のデータシャッフルや、分散するデータソースの統合比率によっても、バッチごとの統計が変動しやすくなる。分布のズレは特にミニバッチ学習で目立つ。
2.3.2 ラベルノイズと外れ値
ラベルノイズは目的関数の整合性を崩し、学習が方向を失わせる。回帰で外れ値があると損失が大きくなり、勾配が過剰になることで発散リスクが上がる。分類では誤ラベルが誤った決定境界を強制し、振動や性能の行ったり来たりとして観測されることがある。ノイズの多寡やパターンは、どの層の更新に影響するかを左右する。
2.3.3 ミニバッチ構成の偏り
ミニバッチごとにクラス比率や特徴量の分布が大きく変わると、正規化層の統計や勾配が揺れ、損失が振動しやすくなる。小さなバッチサイズでは特にこの影響が増大する。さらに、複数データローダや分散学習での割当が偏ると、同一エポックでも実質的なデータ見え方が異なり、不安定性が顕著になる。
2.4 学習手順・実装要因
2.4.1 バッチ正規化の運用ミス
バッチ正規化では学習時と推論時に統計の扱いが異なる。学習中にモード切り替えが誤る、あるいは検証時に正しい統計を使わないと、損失やメトリクスが一貫しない。加えて、バッチサイズが小さい環境では推定誤差が増え、出力の揺らぎが学習へ逆流することがある。
2.4.2 乱数シードと再現性
乱数シードの管理が不十分だと、初期値、データシャッフル、ドロップアウトのマスク、混合精度の挙動などが変わり、結果が揺れる。再現しないこと自体は不安定性と同義ではないが、探索のどこかで破綻しやすい場合には、シードの違いが顕著な差として現れやすい。再現性の欠如は原因切り分けを難しくするため、観測対象として重要である。
2.4.3 混合精度や実装上の数値誤差
混合精度学習では、計算の一部が低精度で行われるため、オーバーフローやアンダーフローが起きると損失が急変することがある。勾配スケーリングの設定、損失スケールの更新戦略、オプティマイザ実装の整合性が影響する。数値誤差は特定の層や特定の入力統計で顕在化しやすく、同じ設定でもエポック境界で症状が出ることがある。
3 診断と観測
3.1 監視すべき指標
3.1.1 損失と評価指標の時系列
損失曲線と評価指標の同時観測により、最適化上の問題か、汎化の問題かの切り分けが進む。発散は損失の単調急増として見えやすい一方、振動や性能の行ったり来たりは短周期の上下として現れることが多い。学習と検証のギャップも重要で、一般化が破綻しているのか、単なる過学習かを区別できる。
3.1.2 勾配ノルムの推移
勾配ノルムは、学習率や数値不安定の間接的指標となる。急激な増大は勾配爆発や過剰更新の兆候であり、極端な縮小は勾配消失や飽和のサインになりやすい。勾配の分布（例：層ごとのノルム）まで見ると、問題箇所の特定が容易になる。
3.1.3 重みの変化量
重みの更新量やノルムの変化は、実際にどの程度移動が起きているかを反映する。損失が改善していないのに更新量だけが大きい場合は、誤った勾配方向に強制されている可能性がある。逆に更新量が小さいのに損失が下がらない場合は、学習率が小さすぎる、あるいは正則化が強すぎるなどの要因が疑われる。
3.2 診断の進め方
3.2.1 学習率レンジの検証
最初の切り分けとして、学習率を系統的に変えた短い試行が有効である。大きすぎる領域では発散や振動が早期に現れ、小さすぎる領域では学習が進まない。この関係を把握することで、以降の対策が「更新量の是正」なのか「モデル側の問題」なのかを判断しやすくなる。
3.2.2 ミニバッチごとのばらつき確認
ミニバッチ単位で損失や勾配統計を記録し、ばらつきが大きい箇所を確認する。特定のバッチでのみ損失が急増するなら外れ値やラベル品質、あるいはデータローダの偏りが疑われる。分布が時間とともに変わる設定では、バッチ構成の変化に合わせて統計量が揺れていないかを確認する。
3.2.3 小規模再現テスト
同じコードで縮小したモデル・データ量・ステップ数により、問題が再現するかを調べる。再現するなら学習手順や損失設計、数値計算の問題が濃厚になる。再現しないなら、大規模データ特有の偏りや学習率スケーリング、正規化統計の推定誤差などが関与している可能性が高い。小規模テストは原因探索のコストを下げる。
3.3 原因切り分けのチェックリスト
まず、発散か振動か、停滞かをログから分類する。次に、学習率、オプティマイザ設定、正規化層のモード、勾配クリッピングの有無、混合精度のスケーリング設定を優先度高く確認する。続いて、データ面ではシャッフル方式、バッチ構成、ラベル品質、外れ値処理の有無を点検する。最後に、初期値や乱数シードを固定した試行で再現性を確かめ、モデル構造上の勾配経路の問題がないかをレビューする。チェックは「最初に確実に効く領域」から進めると効率が高い。
4 対策と安定化手法
4.1 学習率・スケジューリング
4.1.1 学習率ウォームアップ
学習率ウォームアップは、訓練序盤に学習率を段階的に上げることで、初期の不安定な更新を抑える手法である。特に正規化統計がまだ安定しない時期や、深いネットワークで勾配が立ち上がる局面で効果が期待できる。ウォームアップ期間が長すぎると学習が遅れ、短すぎると発散を防げないため、短い検証で適切な長さを決める。
4.1.2 学習率減衰とスケジューラ
学習の進行に合わせて学習率を下げると、更新が過剰になりにくくなり振動が抑制される。減衰方式は段階的、指数的、あるいは指標に応じた可変など複数ある。選択では、損失の曲線の形と結びつけて判断し、早期に下げすぎると停滞を招くためバランスが必要になる。
4.1.3 手動調整の考え方
手動調整では、「一度に複数要素を変えない」ことが重要である。学習率だけを変え、ログ指標の変化を見ることで、問題の主因が更新量にあるかを推定できる。次に、スケジューラの形を学習率の変化に加える場合は、ベースラインの挙動が把握できた後に行う。対策の順序を決めると、再現性のある改善が得やすい。
4.2 最適化手法の工夫
4.2.1 勾配クリッピング
勾配クリッピングは、勾配のノルムが一定値を超えた場合に更新を制限することで、勾配爆発を抑える。特に混合精度や深い構造で数値的に跳ねやすい場合に有効である。クリッピングしすぎると学習が鈍るため、閾値は観測した勾配分布に合わせて決めるのが望ましい。
4.2.2 オプティマイザ設定の見直し
オプティマイザの係数（例：モメンタム、二乗勾配の減衰）やεの扱いが不適切だと、実効更新が想定とずれる。適応的手法では学習率以外の内部スケールが支配するため、学習率だけを調整しても症状が残ることがある。設定変更は段階的に行い、ログから更新量の方向と大きさの整合を確認する。
4.2.3 適応的学習率とその注意点
適応的学習率は、勾配の大きさに応じて更新を調整するため、手動調整を軽減できる。だが、内部統計が不安定になると逆に揺れが増えることがある。データの外れ値や正規化統計の揺れが強いと、適応係数が追従しきれず、振動や停滞に繋がる。学習率ウォームアップやクリッピングと組み合わせて挙動を観測するのが実務的である。
4.3 正則化・正規化
4.3.1 重み減衰
重み減衰はパラメータの過度な成長を抑え、過学習や数値的な暴走を抑える。最適化の挙動にも影響するため、強すぎると学習が進まない。損失のスケールと正則化の相対比を見ながら調整し、損失が下がらない原因が正則化過多かどうかを切り分ける。
4.3.2 ドロップアウトとその使い所
ドロップアウトは過学習の抑制に加え、勾配のノイズを適度に導入することで局所的な過適合を避ける。だが、学習不安定性が既に存在する状況で強度を過大にすると、振動が増えることがある。特にバッチ正規化と組み合わせる場合は相互作用があるため、評価指標の安定性を見ながら慎重に設定する。
4.3.3 バッチ正規化・層正規化
正規化層は内部共変量の変動を抑え、学習の滑らかさを高める。ただし、バッチサイズが小さい環境では統計推定の誤差が増え、逆に揺れを引き起こすことがある。その場合は層正規化の採用や、正規化の位置・種類の見直しが候補になる。運用としては学習・推論モードの整合、統計更新の挙動をログで確認する。
4.4 データ改善
4.4.1 外れ値処理
外れ値は損失を支配し、勾配の分散を押し上げて不安定化する。外れ値の検出と除去、ロバスト損失への置換、特徴量のスケーリング改善などが対策になる。回帰では損失の選択が特に重要で、二乗誤差が支配する状況を避ける設計が有効なことが多い。
4.4.2 ラベル平滑化
ラベル平滑化は、分類の正解分布を一点に固定せず、少量の曖昧さを導入して過学習を抑える。ラベルノイズがあるときにも過度な自信を抑制し、更新方向の極端化を緩和し得る。強すぎると正答の信号が薄れるため、ノイズの程度に応じて係数を設定する。
4.4.3 サンプリング戦略の調整
クラス不均衡や偏りが強い場合、サンプリングを調整してミニバッチの統計を安定させる。たとえば、少数クラスの確率を上げる、バッチ内に多様性を持たせる、あるいは難例を過度に固定しないなどがある。分散学習では割当の偏りも生じるため、各プロセスでの見え方が均衡しているかも確認対象になる。
4.5 タスク別の安定化（補助的整理）
4.5.1 強化学習での不安定性対策
強化学習では、ターゲット計算や更新頻度が学習の安定性に大きく関係する。価値推定の更新を滑らかにする仕組み（ターゲットネットの更新遅延、バッファのサンプリング設計）、報酬スケーリング、探索方策の温度調整などが候補となる。評価は学習ログだけでなく、実行時の方策性能にも基づいて判断することが望ましい。
4.5.2 生成モデルでの不安定性対策
生成モデルでは、損失の性質により勾配の振動やモードの偏りが生じやすい。学習率設定、正規化や正則化の強度、目的関数の温度・重み係数のチューニングが重要になることが多い。観測としてはサンプル品質の指標と、学習曲線の形を併用し、単に損失が下がっているだけの縮退を見逃さない工夫が必要である。
4.6 失敗からの立て直し手順
4.6.1 まず疑うポイント
まず疑うのは、学習率やスケジューラの不整合、正規化層の運用、混合精度の設定、そしてデータ前処理の整合である。次に、損失関数とラベルの整合（出力とターゲットの形、型、スケール）を確認する。最後に、モデル構造と初期値、乱数管理を見直す。順序をつけることで、時間をかけた探索を避けやすい。
4.6.2 リトレーニング計画
立て直しでは、設定を最小限に戻し、変更点を追跡できる計画が必要になる。たとえば、最初に学習率を安全域に置き、バッチサイズや正規化の運用を固定し、その後に最適化手法を段階的に拡張する。学習ステップ数は短い検証で方向性を確かめ、改善が確認できてから本学習へ移行する。
4.6.3 学習ログの活用
学習ログは原因を推定する材料であり、損失だけでなく勾配ノルム、重み更新量、正規化統計、発生タイミングの相関を記録することが有用である。失敗時点の数値がどの指標から崩れ始めたかを追うと、対策の優先順位が明確になる。ログに基づき再現性のある変更を行うことで、同種の不安定性を繰り返しにくくなる。
5 事例（学習不安定性あるある）
5.1 「学習はしているのに良くならない」ケース
損失がわずかに下がるのに、評価指標が伸びない場合がある。典型的には、学習率が小さく更新が遅い、正則化が強く表現が学習できていない、あるいはデータの偏りで最適化対象と評価対象が一致していないことが多い。まずは学習率レンジとバッチ構成のばらつきを確認し、次に正規化や損失スケールの整合を点検するのが合理的である。
5.2 「ある時点から急に崩れる」ケース
序盤は進んでいたが、特定のステップ付近から損失が急増し、以降回復しないような事例である。原因としては、学習率スケジューラの境界設定、正規化統計の更新条件、混合精度の損失スケール調整、あるいはデータローダの状態切替（シャッフルや拡張パイプラインの変更）などが疑われる。崩れの開始点に紐づく設定変更履歴があると、切り分けが速くなる。
5.3 「再現しない」ケース
同じコードでも再学習で挙動が変わり、安定に収束する回も失敗する回もある。これは初期値の影響が強い場合、データのシャッフルやサンプリングが偏っている場合、または数値的不安定が閾値付近で顕在化している場合に起こりやすい。まずシード固定と評価環境の統一を行い、その上で学習率や正規化運用を安全側へ寄せるのが基本方針となる。
5.4 対策の選び方の指針（優先順位）
優先順位は「最も頻度が高く、変更が軽く、診断に直結する順」に並べるのが実務的である。一般に上位は学習率とスケジューラの点検、次に正規化層のモード運用、勾配の観測に基づくクリッピングの導入、混合精度設定の整合、最後にデータ改善やモデル構造の変更となる。変更を重ねる際は差分を明確にし、1回の試行で検証できる仮説を絞ることで、最短で安定性へ到達しやすくなる。