1 歴史と発展
1.1 RNNと長期依存性問題
再帰型ニューラルネットワーク（RNN）は、系列データを処理するために設計されたニューラルネットワークである。各時刻の隠れ状態が前の時刻の隠れ状態に依存する構造を持つ。しかし、標準的なRNNでは、勾配消失または勾配爆発の問題が発生しやすく、時系列が長くなるほど初期の情報が後段に伝わりにくくなる。これが長期依存性問題である。
1.2 LSTMの登場（1997年）
長期依存性問題を解決するため、1997年にSepp HochreiterとJürgen SchmidhuberによってLSTM（Long Short-Term Memory）が提案された。LSTMは、忘却ゲート、入力ゲート、出力ゲートを備えたセル構造を導入し、勾配の流れを制御することで、長期間にわたる情報の保持と更新を可能にした。これにより、音声認識や自然言語処理など、長い系列を扱うタスクで大きな性能向上が達成された。
1.3 双向化の提案と初期応用
標準的なLSTMは過去から現在への順方向の情報のみを利用するが、多くのタスクでは現在の出力を決定するために未来の文脈情報も重要である。この課題に対し、1999年にMike SchusterとKuldip K. Paliwalが双向LSTM（Bidirectional LSTM）を提案した。彼らは、順方向と逆方向の2つの独立したLSTM層を同時に動作させ、各時刻で両方の隠れ状態を結合することで、過去と未来の両方の情報を利用する手法を考案した。初期の応用は音声認識が中心であったが、その後自然言語処理やバイオインフォマティクスなど幅広い分野に拡大した。
2 基本構造
2.1 LSTMセルの構造
LSTMセルは、3つのゲートとセル状態から構成される。各ゲートはシグモイド関数を用いて情報の取捨選択を行う。
2.1.1 忘却ゲート
忘却ゲートは、前時刻のセル状態からどの情報を保持し、どの情報を破棄するかを決定する。現在の入力と前時刻の隠れ状態を基に、0から1の間の値を出力し、1に近いほど情報を保持する。
2.1.2 入力ゲート
入力ゲートは、新しい情報をセル状態に追加する程度を制御する。現在の入力と前時刻の隠れ状態から、どの値を更新するかを決定する。同時に、tanh層によって新しい候補値が生成される。
2.1.3 出力ゲート
出力ゲートは、セル状態から現在時刻の隠れ状態を計算する際に、どの部分を出力するかを制御する。セル状態をtanh関数で圧縮し、出力ゲートの値と乗算することで最終的な隠れ状態を得る。
2.2 双向LSTMのアーキテクチャ
双向LSTMは、入力系列を順方向と逆方向の両方から処理する2つの独立したLSTM層で構成される。各時刻において、両方の層の隠れ状態を結合することで、過去と未来の文脈を同時に考慮する。
2.2.1 順方向LSTM層
順方向LSTM層は、時刻1から時刻Tへと系列を順方向に処理する。各時刻の隠れ状態は、それ以前の時刻の情報のみを反映する。
2.2.2 逆方向LSTM層
逆方向LSTM層は、時刻Tから時刻1へと系列を逆方向に処理する。各時刻の隠れ状態は、それ以降の時刻の情報のみを反映する。
2.2.3 隠れ状態の結合方法（結合・加算・平均）
順方向と逆方向の隠れ状態を統合する方法は主に3つある。最も一般的なのはベクトル結合（concatenation）であり、2つの隠れ状態を連結して次元数を倍にする。加算（sum）は要素ごとに加算し、平均（average）は要素ごとに平均を取る。タスクに応じて適切な方法が選択される。
3 動作原理
3.1 順伝播計算
順伝播では、まず入力系列が順方向LSTM層と逆方向LSTM層に同時に入力される。順方向は時刻の昇順に、逆方向は降順に処理され、各時刻でそれぞれの隠れ状態が計算される。その後、両方の隠れ状態が所定の方法で結合され、その結合ベクトルが出力層や次の層へ渡される。
3.2 逆伝播と勾配計算
学習時には、出力層から誤差が逆伝播される。双向LSTMの逆伝播は、順方向と逆方向のそれぞれのLSTM層に対して独立に勾配を計算する。最終的な誤差は結合層から両方向に分配され、各LSTM層の重みが更新される。双方向であるため、計算グラフが複雑になるが、Backpropagation Through Time（BPTT）アルゴリズムを拡張して実装される。
3.3 双方向性による文脈獲得のメカニズム
双方向性の本質は、各時刻において順方向の「過去の文脈」と逆方向の「未来の文脈」を同時に捉える点にある。例えば、品詞タグ付けでは、現在の単語の品詞を決定するために前後の単語の情報が必要となる。双向LSTMは、そのようなタスクにおいて、片方向LSTMよりも正確な出力を可能にする。
4 応用分野
4.1 自然言語処理
自然言語処理では、文全体の文脈理解が重要であるため、双向LSTMが広く利用される。
4.1.1 系列ラベリング（品詞タグ付け・固有表現認識）
品詞タグ付けや固有表現認識では、各単語にラベルを付与する際に前後の単語の情報が不可欠である。双向LSTMは、前後の文脈を利用することで高精度なラベリングを実現する。
4.1.2 機械翻訳
機械翻訳では、入力文全体をエンコードするために双向LSTMがエンコーダとして使われる。双方向の文脈情報を利用することで、翻訳の品質が向上する。
4.1.3 感情分析
感情分析では、文全体の感情極性を判定する際に、否定や強調など前後の単語の関係を考慮する必要がある。双向LSTMはそのような複雑な文脈を捉えるのに有効である。
4.2 音声認識
音声認識では、音素や単語の認識に前後の音響的特徴が重要である。
4.2.1 音素認識
音素認識では、ある音素の認識にその前後の音素の影響が大きい。双向LSTMは、音響特徴系列を双方向に処理することで認識精度を向上させる。
4.2.2 音声合成の前処理
音声合成では、テキストから韻律情報を予測する際に、双向LSTMが文脈情報を抽出するために用いられる。
4.3 バイオインフォマティクス
生物学の配列解析では、局所的なパターンだけでなく、配列全体の文脈が重要である。
4.3.1 タンパク質二次構造予測
タンパク質の二次構造予測では、アミノ酸配列の前後関係が構造決定に寄与する。双向LSTMは、このような配列データの双方向文脈を捉えることで予測性能を高める。
4.3.2 DNA配列解析
DNA配列の機能部位予測や遺伝子予測などでも、双向LSTMが利用される。特にスプライス部位の認識など、前後の塩基配列の情報が重要となるタスクで効果を発揮する。
4.4 時系列予測
金融時系列やセンサーデータの予測では、過去のパターンと将来の傾向を同時に考慮できる双向LSTMが、従来の片方向LSTMよりも優れた予測精度を示す場合がある。
5 限界と改善手法
5.1 計算コストとメモリ消費
双向LSTMは、順方向と逆方向の2つのLSTM層を並列に計算するため、標準的なLSTMと比較して計算量とメモリ消費が約2倍になる。特に長い系列や大規模なモデルでは、GPUメモリの制約が問題となる。
5.2 長距離依存性の限界
LSTM自体が長期依存性を改善したとはいえ、非常に長い系列（例えば数千ステップ以上）では、依然として情報の減衰が生じる。双向LSTMもこの点では同様の限界を持つ。
5.3 改善手法
5.3.1 アテンション機構との併用
アテンション機構を組み合わせることで、系列全体の中から重要な部分に焦点を当てることができる。双向LSTMの出力に対してアテンションを適用することで、長距離依存性の問題を緩和し、性能が向上する。
5.3.2 深層化・残差接続
複数の双向LSTM層を積み重ねることで、より高次の特徴を抽出できる。ただし、層が深くなると勾配消失の問題が再び発生する可能性があるため、残差接続（Residual Connection）を導入して学習を安定させる手法が用いられる。
5.3.3 畳み込みとのハイブリッド（ConvLSTM, BiLSTM-CRF）
畳み込みニューラルネットワーク（CNN）と組み合わせたConvLSTMは、空間的な特徴と時系列的な特徴を同時に捉える。また、系列ラベリングではBiLSTMの後段に条件付き確率場（CRF）を接続するBiLSTM-CRFモデルが一般的であり、出力ラベル間の依存関係をモデル化できる。
6 関連モデルとの比較
6.1 標準LSTMとの比較
標準LSTMが順方向の情報のみを利用するのに対し、双向LSTMは順方向と逆方向の両方を利用する。このため、双向LSTMは系列全体の文脈を捉えられる一方、計算コストが2倍に増加する。文脈が対称的でないタスクでは、双向LSTMの優位性が顕著である。
6.2 GRUとの比較
GRU（Gated Recurrent Unit）は、LSTMを簡略化したモデルであり、忘却ゲートと入力ゲートを統合した更新ゲートとリセットゲートを持つ。GRUはLSTMと同等の性能を持ちながらパラメータ数が少ない。双向GRUも存在するが、双方向における基本的な考え方は双向LSTMと同じである。一般的に、大規模データではLSTMの方が表現力が高いとされる。
6.3 Transformerとの比較
Transformerは、自己アテンション機構を用いて系列全体の依存関係を並列に計算するモデルであり、再帰構造を持たない。双向LSTMに比べて、Transformerは長距離依存性の捕捉に優れ、並列計算が容易であるため大規模モデルの学習が高速である。しかし、Transformerは位置情報を明示的に与える必要がある。一方、双向LSTMは系列の順序を自然にモデル化できるため、小規模データや逐次処理が必要なタスクでは依然として有効である。近年では、多くのタスクでTransformerが双向LSTMを置き換えつつあるが、モデルサイズやデータ量の制約がある場合には双向LSTMが選択されることも多い。