ドロップアウト（Dropout）は、ニューラルネットワークの過学習を防ぐための正則化手法である。訓練時にランダムに一部のニューロンを無効化（ドロップアウト）することで、ネットワークが特定の特徴に過度に依存するのを防ぎ、汎化性能を向上させる。2012年にGeoffrey Hintonらによって提案され、深層学習の分野で広く採用されている。推論時にはすべてのニューロンを使用し、ドロップアウト率に基づいて出力をスケーリングする。
1 定義と基本原理
1.1 訓練時のニューロン無効化
訓練の各ミニバッチにおいて、各ニューロンは確率p（通常0.2～0.5）で一時的に活性化が停止される。停止されたニューロンはその順伝搬・逆伝搬において出力がゼロとなり、勾配も伝達されない。これにより、ネットワークは異なるニューロンの部分集合を用いて同じ入力を複数の方法で学習することになり、特定の特徴への過度な適応が抑制される。
1.2 推論時のスケーリング
推論時にはすべてのニューロンを使用するが、訓練時にドロップアウトによって出力が平均的に減少する影響を補正するため、各ニューロンの出力に（1－p）を乗じる。このスケーリングにより、訓練時と推論時の出力の期待値が一致し、モデルは安定した予測を行える。
2 歴史と発展
2.1 提案の背景
深層ニューラルネットワークではパラメータ数が多く、訓練データに過適合しやすい問題があった。従来のL2正則化などは全重みを一律に抑制するが、ニューロン間の共適応（co-adaptation）を直接防ぐことはできなかった。ドロップアウトはこの共適応をランダムな無効化によって断ち切り、よりロバストな特徴学習を実現する。
2.2 初期の理論的基礎
Hintonら（2012）はドロップアウトを、多数の異なるサブネットワークの平均を近似するアンサンブル法として解釈した。また、訓練時にランダムにニューロンを落とす操作は、重みの期待値を保つようにスケーリングすることで、一種の正則化項と等価であることが示された。初期の理論研究は、ドロップアウトが重みのノルムを制御し、汎化誤差を低減するメカニズムを明らかにした。
2.3 その後の改良（Spatial Dropout, Monte Carlo Dropoutなど）
その後、畳み込み層に特化したSpatial Dropout、推論時にもドロップアウトを適用して不確実性を推定するMonte Carlo Dropout、ドロップアウト率を学習可能にするVariational Dropoutなど、多数の派生手法が提案された。これらの改良は特定のアーキテクチャや応用に適応し、ドロップアウトの有効性をさらに拡大した。
3 実装方法
3.1 標準的なドロップアウト層
多くの深層学習フレームワーク（TensorFlow、PyTorchなど）では、Dropout層が標準的に提供される。訓練時には与えられた確率でニューロンをマスクし、推論時には自動的にスケーリングを行う。実装は単純で、全結合層の後などに挿入されることが多い。
3.2 ドロップアウト率の選択
ドロップアウト率pはハイパーパラメータであり、一般に0.2～0.5の範囲で設定される。pが大きすぎると情報損失が大きく学習が不安定になり、小さすぎると正則化効果が弱まる。典型的には、畳み込み層ではp=0.2～0.3、全結合層ではp=0.5がよく用いられる。交差検証やベイズ最適化による調整も行われる。
3.3 活性化関数との組み合わせ
ドロップアウトは活性化関数の後または前に適用される。一般的な実装では活性化関数の後にドロップアウトを適用するが、順序は問題によって調整される。ReLUなどの非線形活性化関数との組み合わせでは、ドロップアウトによって活性化がゼロになるニューロンが増えるため、勾配消失を緩和する効果も期待される。
4 代表的なバリエーション
4.1 空間ドロップアウト（Spatial Dropout）
畳み込み層において、チャンネル全体をランダムにドロップする手法。通常のニューロンレベルのドロップアウトは空間的近接性を無視するため、畳み込み特徴マップでは隣接する画素が同時に落ちにくい。Spatial Dropoutはチャンネル単位でマスクを適用し、空間的に一貫した無効化を実現する。
4.2 逆ドロップアウト（Inverted Dropout）
訓練時に出力を1/(1-p)倍にスケーリングすることで、推論時のスケーリングを不要にする実装。多くの現代的なフレームワークではこの方式を採用しており、推論時の計算負荷が軽減される。
4.3 モンテカルロドロップアウト（Monte Carlo Dropout）
推論時にもドロップアウトを適用し、複数回の順伝搬結果の平均と分散から予測の不確実性を推定する手法。Bayesian deep learningの近似として利用され、医療画像診断や自動運転など、信頼性が重要なタスクで応用される。
4.4 構造化ドロップアウト
ニューロンやチャンネルをブロック単位でドロップする手法。畳み込み層では矩形領域を落とすDropBlock、全結合層ではニューロングループを落とす手法などがある。ランダムな個別ドロップよりも相関のある無効化を行い、空間構造を保持した正則化を図る。
5 利点と限界
5.1 正則化効果と汎化性能の向上
ドロップアウトは過学習を効果的に抑制し、特に大規模ネットワークや少量データでの汎化性能を顕著に向上させる。また、ニューロンの共適応を防ぐことで、個々の特徴が独立して有用になるように学習が促される。
5.2 訓練時間の増加
ドロップアウトを導入すると、各ミニバッチでランダムにニューロンを停止するため、同じデータに対する学習に必要な反復回数が増える傾向がある。ただし、正則化効果によって収束が改善される場合もあり、総訓練時間への影響はアーキテクチャやデータセットに依存する。
5.3 適用が難しいアーキテクチャ
再帰型ニューラルネットワーク（RNN）やLSTMでは、時間ステップ間の依存関係を保つ必要があるため、標準的なドロップアウトは適用しにくい。これに対してはVariational Dropoutなど、再帰構造に適したバリエーションが開発されている。また、非常に浅いネットワークやデータ量が極端に少ない場合には効果が限定的となる。
6 関連概念との比較
6.1 L1/L2正則化との違い
L1/L2正則化は重み自体にペナルティを課すことで複雑さを抑制するが、ドロップアウトはニューロンの活動を確率的に制限する。ドロップアウトはL2正則化と併用されることが多く、両者は異なるメカニズムで正則化を補完する。L1正則化はスパース性を促進するが、ドロップアウトは特定のユニットに依存しないロバスト性を強化する。
6.2 バッチ正規化との関係
バッチ正規化は内部共変量シフトを低減し、学習を安定化させる。両者は併用されることが多いが、バッチ正規化が十分に正則化効果を持つ場合、ドロップアウトの必要性が低下することも報告されている。ただし、組み合わせることでさらなる汎化性能向上が期待できる。
6.3 データ拡張との相互作用
データ拡張（回転、反転、ノイズ付加など）とドロップアウトは共にデータ多様性を増す効果を持つ。両者は同時に使用することで相乗効果を発揮し、特に画像認識タスクにおいて標準的な組み合わせとなっている。データ拡張が十分でない場合、ドロップアウトの相対的な重要性が高まる。
7 応用分野
7.1 画像認識
畳み込みニューラルネットワーク（CNN）における過学習防止に広く利用される。ImageNetなどの大規模データセットでも使用され、VGG、ResNetなどの古典的アーキテクチャに組み込まれた。近年では、畳み込み層でのSpatial Dropoutや構造化ドロップアウトが用いられることも多い。
7.2 自然言語処理
RNNやTransformerベースのモデルでも、埋め込み層や分類層にドロップアウトが適用される。Variational DropoutはLSTMでの長期依存学習に効果を示し、機械翻訳やテキスト分類などのタスクで広く採用されている。
7.3 強化学習
深層Qネットワーク（DQN）などの価値ベース手法では、状態価値関数の推定における過学習を防ぐためにドロップアウトが用いられる。また、Monte Carlo Dropoutを用いた不確実性推定は、探索と活用のバランス決定に応用される。
8 参考文献
- Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. R. (2012). Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580.
- Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, 15(1), 1929-1958.
- Gal, Y., & Ghahramani, Z. (2016). Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. Proceedings of the 33rd International Conference on Machine Learning, 1050-1059.
- Tompson, J., Goroshin, R., Jain, A., LeCun, Y., & Bregler, C. (2015). Efficient object localization using convolutional networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 648-656.