1 背景と歴史
1.1 RNNの勾配消失問題
リカレントニューラルネットワーク（RNN）は時系列データの処理に広く用いられるが、長期的な依存関係の学習に困難を伴う。誤差逆伝搬法を適用する際、時間方向に勾配が伝搬される過程で指数関数的に減衰または増大する。特に、勾配が急速に小さくなる勾配消失問題は、ネットワークが遠い過去の情報を効果的に学習することを妨げ、初期のRNNの実用的な応用範囲を大きく制限した。
1.2 LSTMアーキテクチャの登場
1997年、HochreiterとSchmidhuberはLong Short-Term Memory（LSTM）ネットワークを提案した。LSTMは、セル状態と呼ばれる内部記憶ユニットと、ゲーティング機構と呼ばれる情報流制御構造を導入することで、勾配消失問題を緩和した。これにより、長期的な依存関係を安定して学習できるアーキテクチャが実現された。
1.2.1 忘却ゲートの導入と改良
オリジナルのLSTMには忘却ゲートは存在せず、セル状態は入力ゲートの制御のみによって更新されていた。この設計では、セル状態が時間の経過とともに無制限に蓄積される可能性があった。2000年、Gers、Schmidhuber、CumminsはLSTMに忘却ゲート（forget gate）を導入した。忘却ゲートは、セル状態のどの情報を保持し、どの情報を破棄するかを適応的に決定する。この改良により、ネットワークは不要な情報を積極的に忘却できるようになり、長期的な依存関係の学習能力が大幅に向上した。
2 動作原理
2.1 ゲーティング機構の概要
LSTMのゲーティング機構は、情報の流れを制御する複数のゲートから構成される。各ゲートは、前時刻の隠れ状態と現在の入力を受け取り、0から1の間の値を出力する。この値によって、対応する情報の通過量が決定される。忘却ゲートは、セル状態の忘却度合いを制御する役割を担う。
2.1.1 シグモイド層の役割
各ゲート内では、シグモイド活性化関数が用いられる。シグモイド関数は入力を0から1の範囲にマッピングし、出力が1に近いほど情報を多く通過させ、0に近いほど遮断する。この連続的なゲーティングにより、勾配の伝搬が可能となり、誤差逆伝搬法によってゲートのパラメータが学習される。
2.2 忘却ゲートの計算式
忘却ゲートの出力ベクトル \( f_t \) は、以下の式によって計算される。
\[ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \]
ここで、\( \sigma \) はシグモイド関数、\( W_f \) は忘却ゲートの重み行列、\( [h_{t-1}, x_t] \) は前時刻の隠れ状態と現在の入力の連結、\( b_f \) はバイアス項である。出力 \( f_t \) の各要素は、セル状態の対応する成分に対する忘却の度合いを表す。
2.3 セル状態との相互作用
忘却ゲートの出力 \( f_t \) は、前時刻のセル状態 \( C_{t-1} \) と要素ごとに乗算される。
\[ C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \]
ここで、\( \odot \) はアダマール積（要素ごとの積）を表す。\( C_{t-1} \) の各成分は、対応する \( f_t \) の値によってスケーリングされる。\( f_t \) の値が0に近い成分は事実上忘却され、1に近い成分は保持される。
2.3.1 忘却と入力のバランス
セル状態の更新は、忘却ゲートによる過去情報の破棄と、入力ゲート（\( i_t \)）と新しい候補値（\( \tilde{C}_t \)）による新情報の追加の組み合わせによって行われる。忘却ゲートが不要な過去情報を除去することで、セル状態は限られた容量を効率的に利用し、新しい情報を蓄積するためのスペースを確保する。この忘却と入力のバランスは、タスクの性質に応じて学習される。
3 数式と実装
3.1 標準的な数式表現
LSTMの標準的な更新式は、以下のように表される。
\[ \begin{aligned} f_t &= \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \\ i_t &= \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \\ \tilde{C}_t &= \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) \\ C_t &= f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \\ o_t &= \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \\ h_t &= o_t \odot \tanh(C_t) \end{aligned} \]
忘却ゲート \( f_t \)、入力ゲート \( i_t \)、出力ゲート \( o_t \) はそれぞれ独立した重みとバイアスを持つ。
3.2 重みとバイアスの初期化
LSTMの学習性能は初期化手法に大きく依存する。特に忘却ゲートのバイアス \( b_f \) は、初期状態で忘却が抑制されるように大きな正の値（例えば1.0）に設定されることが多い。これにより、学習初期に過去情報が安易に破棄されることを防ぎ、長期的な依存関係の学習が促進される。重み行列は、通常、一様分布や正規分布に従う小さな乱数で初期化される。
3.3 代表的な変種
3.3.1 peephole connections
peephole connections（覗き穴結合）は、セル状態をゲートの計算に直接利用する変種である。忘却ゲートの計算式は次のように拡張される。
\[ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + V_f \cdot C_{t-1} + b_f) \]
ここで \( V_f \) はセル状態に対応する重みである。この接続により、ゲートはセル状態の現在の内容を考慮して動作を調整できる。
3.3.2 coupled forget and input gates
coupled forget and input gates（結合忘却・入力ゲート）は、忘却ゲートと入力ゲートの出力を連動させる変種である。例えば、以下の関係を課す。
\[ f_t = 1 - i_t \]
この結合により、過去情報の忘却と新情報の追加が完全に同期される。モデルのパラメータ数が削減され、過学習が抑制される効果がある。
4 応用と影響
4.1 自然言語処理
4.1.1 言語モデル
言語モデルは、与えられた文脈に基づいて次の単語が出現する確率を推定する。LSTMは長い文脈にわたる依存関係を捉える能力により、従来のn-gramモデルや単純なRNNを大きく上回る性能を示した。忘却ゲートは、文の構造上重要でない情報を適宜忘却し、長距離にわたる構文や意味の関係を保持する。
4.1.2 機械翻訳
機械翻訳において、LSTMは系列変換モデルの基本構成要素として広く採用された。エンコーダ・デコーダアーキテクチャにおいて、忘却ゲートはソース文の長期的な文脈情報を保持し、デコーダが適切なタイミングでその情報を活用することを可能にした。LSTMベースの翻訳モデルは、統計的機械翻訳を凌駕する性能を達成した。
4.2 時系列予測
4.2.1 株価予測
金融時系列データは、長期的なトレンドと短期的な変動が混在する複雑な構造を持つ。LSTMは忘却ゲートによって過去の価格変動からノイズを除去し、長期的なパターンを学習できる。この特性は株価や為替レートの予測タスクにおいて有効である。
4.2.2 センサーデータ分析
センサーから得られる時系列データは、異常検知や予知保全などの用途で分析される。忘却ゲートは、センサー信号のドリフトや一時的な外れ値を適宜忘却し、システムの状態変化に関連する本質的なパターンを抽出する。これにより、産業用機器の故障予測などが高精度で実現される。
4.3 音声認識と生成
音声認識では、音響信号の時間的な変動を捉えるためにLSTMが使用される。忘却ゲートは、発話中の無音区間やノイズを忘却し、音素や単語の境界を正確に認識する。音声合成（テキスト読み上げ）においても、LSTMはプロソディ（韻律）の長期的な依存関係をモデル化し、自然な抑揚を生成する。
5 関連概念との関係
5.1 入力ゲートと出力ゲート
LSTMは忘却ゲート、入力ゲート、出力ゲートの3つのゲートを持つ。入力ゲートは新しい情報をセル状態に追加する度合いを制御し、出力ゲートはセル状態の内容を隠れ状態として外部に出力する度合いを制御する。忘却ゲートはこれらと協調動作し、セル状態の更新と情報の取捨選択を分担する。3つのゲートが適切にバランスすることで、LSTMは長期記憶と短期記憶の両方を効果的に管理できる。
5.2 GRUのリセットゲートと更新ゲート
Gated Recurrent Unit（GRU）はLSTMの簡略化版であり、忘却ゲートと入力ゲートを更新ゲート（update gate）として統合し、リセットゲート（reset gate）を追加している。GRUの更新ゲートは、LSTMの忘却ゲートと入力ゲートの役割を同時に果たす。すなわち、\( z_t \) が大きいほど過去情報を多く保持し、小さいほど新情報を重視する。GRUはLSTMよりもパラメータ数が少ないため、小規模データセットで学習が容易である。
5.3 アテンション機構との比較
アテンション機構は、入力系列全体から重要度に応じて情報を動的に選択する。忘却ゲートがセル状態の内容を時間方向に忘れる・覚えることを制御するのに対し、アテンション機構は出力時に必要な情報を入力系列の任意の位置から直接参照する。両者は異なる原理に基づくが、長距離依存関係の学習という目標を共有する。Transformerモデルでは、アテンション機構がゲート機構に取って代わり、より並列化可能なアーキテクチャを実現した。しかし、忘却ゲートを含むLSTMは、逐次的なデータ処理や小規模データでの学習において依然として有効である。