1 はじめに
1.1 RNNの基礎と単方向の限界
リカレントニューラルネットワーク（RNN）は、系列データを処理するためのニューラルネットワークであり、隠れ状態を通じて過去の情報を保持・伝播する。標準的なRNNは各時刻において、現在の入力と前時刻の隠れ状態から新たな隠れ状態を計算する。しかし、単方向RNNは過去の情報しか参照できず、未来の文脈を利用できない。例えば、自然言語処理においては、ある単語の品詞や意味を決定するために、後続の単語の情報が必要となる場合がある。このような「未来の文脈」へのアクセス不能が、単方向RNNの本質的な限界である。
1.2 双方向RNNの着想と必要性
上記の限界を克服するため、1997年にSchusterとPaliwalによって双方向RNN（Bidirectional RNN）が提案された。基本アイデアは、系列を順方向と逆方向の2つの独立したRNNで処理し、各時刻で両方の隠れ状態を結合することである。これにより、各時刻において過去と未来の両方のコンテクスト情報を同時に利用できる。この手法は、文脈が前後双方に依存するタスク（例えば、音声認識や品詞タグ付け）において、大幅な性能向上をもたらした。
1.3 本エントリの構成
本エントリでは、双方向RNNのアーキテクチャ、学習アルゴリズム、代表的なバリエーション、応用例、利点と限界、実装上の考慮点、関連技術との比較、今後の展望について解説する。
2 アーキテクチャ
2.1 基本構造
2.1.1 前方RNN層
前方RNN層は、標準的な単方向RNNであり、系列を時刻1からTに向かって処理する。各時刻tにおいて、現在の入力x_tと前時刻の前方隠れ状態h_t^fから、現在の前方隠れ状態h_t^fを計算する。
2.1.2 後方RNN層
後方RNN層は、系列を時刻Tから1に向かって逆方向に処理する。各時刻tにおいて、現在の入力x_tと次時刻（逆方向では前時刻）の後方隠れ状態h_{t+1}^bから、現在の後方隠れ状態h_t^bを計算する。後方層は系列の末尾から先頭へと情報を伝播する。
2.1.3 出力層における結合方式
各時刻tにおいて、前方隠れ状態h_t^fと後方隠れ状態h_t^bを結合（通常は連結または加算）し、その結合ベクトルを出力層への入力とする。出力層はタスクに応じて全結合層やソフトマックス層などで構成される。結合方式としては連結が最も一般的であり、出力次元は前方と後方の隠れ状態の次元の和となる。
2.2 数式による定式化
2.2.1 隠れ状態の更新式
入力系列をx = (x_1, x_2, ..., x_T)とする。前方RNN層の隠れ状態更新式は以下の通りである（活性化関数をtanh、重み行列をW_f, U_f、バイアスをb_fとする）：
\[ h_t^f = \tanh(W_f x_t + U_f h_{t-1}^f + b_f) \]
後方RNN層の隠れ状態更新式は、時刻を逆方向に進めるため、次時刻の隠れ状態を用いる：
\[ h_t^b = \tanh(W_b x_t + U_b h_{t+1}^b + b_b) \]
初期状態h_0^fとh_{T+1}^bは通常ゼロベクトルで初期化される。
2.2.2 最終出力の計算
各時刻tにおける出力y_tは、前方と後方の隠れ状態を結合したベクトルh_t = [h_t^f; h_t^b]（連結を表す）に出力重み行列Vとバイアスcを適用し、適切な活性化関数（例えば、分類タスクではソフトマックス）を通して計算される：
\[ y_t = \text{softmax}(V h_t + c) \]
タスクに応じて、出力は結合ベクトルそのものを用いたり、線形変換のみを施したりする。
2.3 時間展開と計算グラフ
双方向RNNの計算グラフは、時間方向に展開された2つの独立したチェーン（前方・後方）から構成される。前方層は時刻1からTへ、後方層は時刻Tから1へと展開される。両層とも同じ入力系列x_tを共有するが、重み行列は独立している。出力層は各時刻で両方の隠れ状態を受け取る。この構造により、前方計算と後方計算は並列に実行可能であり、全体の計算はO(T)の時間複雑度で行える。
3 学習アルゴリズム
3.1 誤差逆伝播の拡張：BPTT
双方向RNNの学習には、時間方向誤差逆伝播法（BPTT）を拡張したアルゴリズムを用いる。前方層と後方層それぞれについて、BPTTを適用する。出力層からの誤差は、各時刻で前方隠れ状態と後方隠れ状態に伝播される。前方層の誤差は時刻Tから1に向かって逆伝播され、後方層の誤差は時刻1からTに向かって逆伝播される（通常の時間方向とは逆の方向）。
3.2 前方・後方誤差の伝播
3.2.1 前方方向の勾配
前方RNN層のパラメータW_f, U_f, b_fに対する勾配は、出力層からの誤差を前方層の隠れ状態に伝播し、時間方向に逆伝播することで計算される。これは標準的なBPTTと同様である。
3.2.2 後方方向の勾配
後方RNN層のパラメータW_b, U_b, b_bに対する勾配も同様に、出力層からの誤差を後方層の隠れ状態に伝播し、後方層の時間方向（すなわち、通常の時間逆向き）に逆伝播する。この際、後方層は時間軸が逆であるため、誤差の流れも逆方向になることに注意する。
3.3 パラメータ更新の注意点
前方層と後方層のパラメータは独立して更新される。ただし、両層の初期隠れ状態は通常ゼロであり、学習可能なパラメータとすることも可能である。また、勾配消失問題に対処するため、LSTMやGRUなどのゲート機構を組み合わせることが一般的である。ミニバッチ学習では、系列長が異なる場合にパディングとマスキングが必要となる（後述）。
4 代表的なバリエーション
4.1 BiLSTM（双方向長短期記憶）
4.1.1 LSTMユニットの構造
LSTMは、忘却ゲート、入力ゲート、出力ゲートとセル状態を導入し、勾配消失問題を緩和する。セル状態に情報を長期にわたって保持できる。
4.1.2 双方向化の方法
BiLSTMは、前方方向と後方方向にそれぞれLSTM層を配置し、各時刻の隠れ状態（またはセル状態）を結合する。これにより、前後双方向の長期依存関係を捉えることができる。自然言語処理タスクで広く用いられる。
4.2 BiGRU（双方向ゲート付き回帰ユニット）
4.2.1 GRUユニットの特徴
GRUは、リセットゲートと更新ゲートの2つのゲートを持ち、LSTMよりパラメータ数が少なく計算効率が良い。セル状態を明示的に持たず、隠れ状態のみで情報を管理する。
4.2.2 双方向GRUの利点
BiGRUはBiLSTMと同様の双方向構造をGRUに適用したものである。パラメータ数が少ないため、小規模データや計算資源が限られた環境で有利である。性能はタスクによってBiLSTMと同等かやや劣る場合がある。
4.3 深層双方向RNN
複数の双方向RNN層を積み重ねたものを深層双方向RNNと呼ぶ。各層の出力が次の層の入力となる。これにより、より抽象的な特徴を学習できる。ただし、パラメータ数が増加し、学習が難しくなるため、ドロップアウトやバッチ正規化などの正則化手法が併用される。
5 応用例
5.1 自然言語処理
5.1.1 系列ラベリング（品詞タグ付け、固有表現抽出）
双方向RNNは、各単語にタグを付与する系列ラベリングタスクで高い性能を示す。前方方向から単語の前後の文脈を利用し、後方方向から後続の文脈を利用することで、各単語の正しいタグを決定する。BiLSTM-CRF（条件付き確率場）はこの分野の標準モデルである。
5.1.2 機械翻訳（エンコーダとしての利用）
双方向RNNは、エンコーダ-デコーダモデルのエンコーダとして用いられる。エンコーダが入力系列を双方向で読み取り、各時刻の隠れ状態をデコーダに提供することで、翻訳品質が向上する。ただし、近年ではTransformerに取って代わられつつある。
5.2 音声認識
5.2.1 音素認識
音声認識では、音響特徴量の系列から音素を識別する。双方向RNNは、音声信号の前後のフレームから音素境界を推定するのに有効である。オフライン処理（全発話が入力された後に認識）で高い精度を達成する。
5.2.2 音声区間検出
音声区間検出（Voice Activity Detection）では、各フレームが音声か無音かを判定する。双方向RNNは、前後のフレーム情報を利用して滑らかな判定境界を得られる。
5.3 バイオインフォマティクス
5.3.1 タンパク質二次構造予測
アミノ酸配列から各残基の二次構造（αヘリックス、βシート、コイル）を予測するタスク。タンパク質の折りたたみは周囲のアミノ酸の影響を受けるため、双方向RNNが有効である。
5.3.2 DNA配列解析
DNA配列中の遺伝子領域やスプライス部位の予測に双方向RNNが用いられる。塩基配列の前後関係を考慮することで、非コード領域の検出精度が向上する。
6 利点と限界
6.1 利点
6.1.1 文脈情報の最大活用
双方向RNNは、各時刻において過去と未来の両方の情報を同時に利用できる。これにより、系列全体の文脈を考慮した予測が可能となる。単方向RNNでは捉えられない、後続情報に依存するパターンを学習できる。
6.1.2 タスク性能の向上
系列ラベリングや系列変換タスクにおいて、双方向RNNは単方向RNNよりも高い精度を達成することが多い。特に、文脈が前後双方に重要なタスクでは顕著な改善が見られる。
6.2 限界
6.2.1 リアルタイム処理への非対応
双方向RNNは未来の情報を必要とするため、系列全体が入力されるまで出力を生成できない。したがって、音声認識のようなリアルタイム処理には適さない。オンライン処理が必要な場合は、単方向RNNや因果的畳み込みなどが用いられる。
6.2.2 計算コストとメモリ消費
前方層と後方層の両方を計算するため、単方向RNNに比べて2倍の計算量とメモリが必要となる。また、全系列を保持する必要があるため、長い系列ではメモリ消費が大きい。
6.2.3 長距離依存関係の課題（勾配消失問題）
双方向RNNであっても、基本ユニットが単純なtanhやsigmoidの場合、勾配消失問題の影響を受ける。LSTMやGRUを用いることで緩和されるが、極めて長い系列（数千ステップ）では依然として困難である。
7 実装上の考慮点
7.1 フレームワークでの実装例（TensorFlow, PyTorch）
TensorFlowではtf.keras.layers.Bidirectionalラッパーを使用し、tf.keras.layers.LSTMやGRUを内部層として与える。PyTorchではtorch.nn.RNNやLSTMの引数bidirectional=Trueを設定する。両フレームワークとも、出力の形状に注意する必要がある（前方・後方の隠れ状態が連結された形で出力される）。
7.2 ミニバッチ処理とマスキング
系列長が異なるデータをミニバッチ処理する場合、短い系列をパディングする。双方向RNNでは、パディング部分の誤差が逆伝播されるのを防ぐため、マスキング（マスクテンソルを用いた損失の無効化）が必須である。多くのフレームワークはマスキング機能を提供している。
7.3 ハイパーパラメータの調整
隠れ状態の次元数、層数、ドロップアウト率、学習率などが主要なハイパーパラメータである。隠れ状態の次元はタスクとデータ量に依存し、大きすぎると過学習、小さすぎると表現力不足となる。ドロップアウトは双方向層の出力や層間の接続に適用されることが多い。
8 関連技術との比較
8.1 単方向RNNとの比較
単方向RNNは過去の情報のみを使用するため、実時間処理が可能であり計算量が少ない。一方、双方向RNNは未来の情報も利用できるため、オフラインタスクでの精度が高い。選択基準はタスクがリアルタイム性を要求するかどうかである。
8.2 Transformerとの比較
Transformerは注意機構に基づき、自己注意によって系列全体の任意の位置の情報を直接利用できる。双方向性を自己注意で自然に実現しており、長距離依存関係の捕捉に優れる。Transformerは並列計算が可能で計算効率が高いが、位置エンコーディングが必要であり、小規模データでは過学習しやすい。双方向RNNは逐次計算が必要だが、シンプルな構造で解釈しやすい。
8.3 エンコーダ-デコーダモデルとの関係
エンコーダ-デコーダモデルでは、エンコーダに双方向RNNを採用することで、入力系列全体の文脈をデコーダに伝えられる。デコーダは通常単方向（未来の情報を参照しない）である。双方向RNNはエンコーダとして特に有効であり、翻訳や要約などで歴史的に重要な役割を果たした。
9 今後の展望
9.1 双方向性と注意機構の融合
双方向RNNに注意機構を組み合わせることで、必要な情報に動的に焦点を当てることができる。特に、双方向RNNの隠れ状態から注意重みを計算する手法（例えば、双方向注意）は、文脈表現の品質をさらに向上させる可能性がある。
9.2 対話システムへの応用拡張
対話システムでは、発話の文脈を前後に考慮する必要がある。双方向RNNを応用した対話状態追跡や応答生成が研究されている。ただし、リアルタイム性の制約から、実運用では単方向処理や未来情報の近似的手法が併用される。
9.3 計算効率化のための近似手法
双方向RNNの計算コストを削減するため、後方層の計算を簡略化する近似手法（例えば、後方層の隠れ状態を前方層から推定する）や、ストリーミング処理に適した手法（例えば、一定の未来窓を用いる）が提案されている。また、軽量な再帰ユニットや量子化技術との組み合わせも進んでいる。