1 歴史
1.1 統計的機械翻訳（SMT）の限界
統計的機械翻訳（SMT）は、大規模な並列コーパスからフレーズ対応表や言語モデルを学習し、翻訳確率を最大化する手法である。しかし、SMTは局所的なフレーズ対応に依存するため、長距離依存関係や文脈の一貫性を捉えるのが難しく、翻訳結果が不自然になりがちであった。また、特徴量エンジニアリングに多くの人手を要し、モデルの複雑さが増すにつれてスケーラビリティに課題があった。
1.2 初期のニューラルモデル（RNN Encoder-Decoder）
2014年、Sutskeverらが提案したSeq2Seqモデルは、リカレントニューラルネットワーク（RNN）を用いて可変長の入力系列を固定長ベクトルにエンコードし、そこから出力系列をデコードする手法である。このアプローチはSMTのフレームワークを置き換える可能性を示したが、長文では性能が低下する長期依存性問題に直面した。同年、ChoらがGRUを導入し、長期依存性の改善を図った。
1.3 アテンション機構の導入
2015年、Bahdanauらはアテンション機構を提案した。これはデコード時に各タイムステップで入力系列の全位置に重み付けを行い、関連する情報を動的に取得する仕組みである。これにより固定長ベクトルの制約が解消され、長文翻訳の品質が大幅に向上した。アテンションはその後、機械翻訳の標準的な構成要素となった。
1.4 Transformerの登場と普及
2017年、VaswaniらがTransformerモデルを発表した。RNNやCNNを一切使わず、自己アテンション（Self-Attention）とフィードフォワードネットワークのみで構成されるこのモデルは、並列計算が可能で学習が高速化し、翻訳品質で従来のRNNベースモデルを凌駕した。TransformerはGoogle翻訳やDeepLなど主要サービスに採用され、NMTの事実上の標準アーキテクチャとなった。
2 基本原理
2.1 エンコーダー・デコーダーアーキテクチャ
NMTの基本構造は、原文を符号化するエンコーダーと、符号化された表現から訳文を生成するデコーダーからなる。エンコーダーは入力文の各単語をベクトルに変換し、文脈を考慮した表現を出力する。デコーダーはその表現を基に、逐次的に訳文単語を生成する。
2.1.1 RNNベースのエンコーダー
RNNエンコーダーは、各タイムステップで単語埋め込みと前の隠れ状態を受け取り、新しい隠れ状態を計算する。最終的な隠れ状態が文全体の意味を集約するが、長期依存性には弱い。双方向RNNを使うことで、各位置で前後の文脈を考慮できる。
2.1.2 Transformerベースのエンコーダー
Transformerエンコーダーは、自己アテンション層と位置ごとのフィードフォワード層を積み重ねた構造を持つ。自己アテンションにより全ての位置が相互に直接関係づけられ、長距離依存も効率的に捉えられる。また、並列計算が可能で学習が高速である。
2.2 アテンション機構
アテンション機構は、デコーダーがエンコーダーのどの部分に注目すべきかを動的に決定する。これにより翻訳の対応関係が柔軟に学習される。
2.2.1 ソフトアテンション
ソフトアテンションは、エンコーダーの全隠れ状態に対して重み付き和を計算し、デコーダーの現在の状態に応じて文脈ベクトルを生成する。重みはソフトマックス関数で正規化され、全ての位置への勾配が伝わるため学習が安定する。
2.2.2 自己アテンション（マルチヘッドアテンション）
自己アテンションは、単一系列内の各位置が他の位置とどのように関連するかを計算する。Transformerではこれをマルチヘッドアテンションとして拡張し、複数の異なる表現部分空間で同時にアテンションを行う。これによりモデルは異なる種類の依存関係を捉えられる。
2.3 位置エンコーディング
Transformerは系列の順序情報を明示的に持ち合わせないため、位置エンコーディングを追加する。これは各位置に固有の正弦波パターンや学習可能なベクトルを加算することで、単語の順序を認識させる。位置エンコーディングにより、モデルは語順の違いを区別できるようになる。
3 主要モデルとアーキテクチャ
3.1 Seq2Seqモデル
Seq2Seqモデルは、RNNベースのエンコーダーとデコーダーからなる。エンコーダーが入力文を固定長ベクトルに圧縮し、デコーダーがそこから出力文を生成する。学習は各タイムステップで正解の単語を入力とする「教師強制」で行われる。
3.1.1 長期依存性問題とGRU/LSTM
基本のRNNでは勾配消失・爆発の問題から長い文の情報を保持できない。GRU（Gated Recurrent Unit）やLSTM（Long Short-Term Memory）はゲート機構を導入し、長期依存性を改善する。これによりNMTの実用性が高まった。
3.2 Transformerモデル
Transformerはエンコーダー・デコーダーを完全にアテンション機構で構築し、位置エンコーディングと正規化層、残差接続を組み合わせる。並列計算が可能で学習が高速であり、大規模データセットで高い性能を発揮する。
3.2.1 エンコーダー層の構造
エンコーダー層は、マルチヘッド自己アテンションと位置ごとのフィードフォワードネットワークからなる。各サブ層の後に層正規化と残差接続が適用される。これにより情報が層を超えて円滑に伝わる。
3.2.2 デコーダー層の構造
デコーダー層は、マスク付き自己アテンション、エンコーダー・デコーダーアテンション（クロスアテンション）、フィードフォワードネットワークからなる。マスク付き自己アテンションは未来の情報を参照できないようにし、自己回帰的なデコードを可能にする。
3.2.3 マスク付き自己アテンション
マスク付き自己アテンションは、デコード時に現在の位置より後のトークンへのアテンションを禁止するために、ソフトマックス前に負の無限大を加算する。これによりモデルは既に生成した単語のみを参照して次の単語を予測する。
3.3 事前学習モデルとNMT
事前学習モデルは大規模なテキストデータで言語表現を学習し、それをNMTの初期化や微調整に用いる。これによりデータが少ない場合でも高品質な翻訳が可能になる。
3.3.1 BART
BARTは、デノイジングオートエンコーダとして事前学習されたSeq2Seqモデルである。文章にノイズ（マスキング、削除、並べ替えなど）を加え、元の文章を復元するタスクで学習する。NMTではエンコーダーとデコーダーをそのまま微調整できる。
3.3.2 mBART
mBARTはBARTを多言語に拡張したモデルで、多数の言語でデノイジング事前学習を行う。これにより低リソース言語を含む多言語翻訳が可能となり、特に少数の並列データしかない言語対での性能向上に貢献する。
3.3.3 T5
T5（Text-to-Text Transfer Transformer）は、あらゆるNLPタスクをテキスト生成問題として統一的に扱う。翻訳も「ドイツ語から英語に翻訳：…」のような入力形式で学習する。大規模なデータとパラメータ数により、最先端の翻訳性能を達成する。
4 学習方法
4.1 教師あり学習と並列コーパス
NMTの学習には、原文と訳文のペアからなる並列コーパスが用いられる。教師あり学習では、モデルが訳文を生成する確率を最大化するようパラメータを更新する。
4.1.1 最大尤度推定
目的関数は、各タイムステップでの正解単語の対数確率の和を最大化する。これによりモデルは訓練データの分布にフィットする。しかし、デコード時に見る自己生成系列と学習時の教師強制系列の差（曝露バイアス）が問題となる。
4.1.2 ビームサーチとデコード戦略
推論時にはビームサーチが広く使われる。各ステップでビーム幅分だけ候補を保持し、確率の高い系列を探索する。長さ正規化や繰り返しペナルティを加えて品質を調整する。
4.2 半教師あり・教師なし学習
並列コーパスが限られる場合、単言語データを活用する半教師あり学習や、並列データを全く使わない教師なし学習も研究されている。
4.2.1 バックトランスレーション
逆方向の翻訳モデルを用いて単言語データを擬似的な並列データに変換し、順方向モデルの訓練に利用する手法。反復的に品質を向上できる。
4.2.2 ノイズ除去オートエンコーダ
原文にノイズを加えたものを入力し、元の文を復元するように学習する。これにより言語モデル的な知識が獲得され、教師なし翻訳の初期化に使われる。
4.3 転移学習とマルチタスク学習
豊富なデータを持つ言語対で事前学習したモデルを、低リソース言語対に微調整する転移学習が有効。また、翻訳と同時に言語モデリングや品詞タグ付けなどを補助タスクとして学習するマルチタスク学習も性能向上に寄与する。
5 評価方法
5.1 自動評価指標
自動評価は人手評価を補完し、迅速なモデル比較を可能にする。
5.1.1 BLEUスコア
BLEUは、生成された訳文と参照訳文のn-gram一致率を幾何平均し、簡潔さに対するブレベティペナルティをかけた指標。最も広く使われるが、意味の正確さや流暢さを完全には捉えられない。
5.1.2 TER（Translation Edit Rate）
TERは、生成訳文を参照訳文に変換するのに必要な編集操作（挿入、削除、置換、シフト）の割合を測る。小さいほど良い。BLEUより編集距離に基づく評価が可能で、誤訳の検出に適する。
5.1.3 COMET
COMETは、ニューラルネットワークを用いて翻訳の品質を予測する指標。原文、生成訳文、参照訳文を入力とし、人間の評価を教師として学習する。BLEUより人間の判断との相関が高い。
5.2 人手評価
自動指標の限界を補うため、人間による評価が行われる。
5.2.1 流暢さと忠実性
流暢さは訳文が自然で文法的に正しいか、忠実性は原文の意味が正しく伝わっているかを5段階評価する。両者のバランスが翻訳品質の本質である。
5.2.2 タスクベース評価
翻訳された情報を元に特定のタスク（例えば質問応答）を遂行できるかで評価する。実用的な観点から翻訳の有効性を測る手法で、エンドユーザー視点の評価に適する。
6 応用
6.1 オンライン翻訳サービス
NMTはオンライン翻訳サービスの基盤技術となっている。
6.1.1 Google翻訳
2016年にNMTを導入し、従来のSMTと比べて翻訳品質が大幅に向上。Transformerベースのモデルを採用し、100以上の言語をサポート。文脈を考慮した翻訳やリアルタイム翻訳も提供する。
6.1.2 DeepL
高品質な翻訳で知られるDeepLは、独自のNMTアーキテクチャと大規模な訓練データを用いる。特に欧州言語間の翻訳で高い評価を得ており、プロ翻訳者にも利用される。
6.2 音声翻訳（Speech-to-Speech）
音声認識（ASR）とNMT、音声合成（TTS）を組み合わせ、話し言葉を即座に別言語の音声に変換する。携帯端末や会議システム、観光案内などで実用化されている。
6.3 クロスモーダル翻訳（画像・動画）
画像内のテキストを認識して翻訳する画像翻訳や、動画の字幕を翻訳するサービスにNMTが使われる。マルチモーダル情報（画像特徴）を翻訳に活用する研究も進んでいる。
6.4 ローカライゼーションと企業利用
ソフトウェア、ゲーム、マニュアルなどのローカライズ工程でNMTが利用される。大量のテキストを高速に翻訳し、ポストエディットで品質を調整することでコスト削減に貢献する。
7 課題と限界
7.1 低リソース言語への対応
並列データが少ない言語対では翻訳品質が著しく低下する。
7.1.1 データ拡張手法
バックトランスレーションや単言語データのノイズ除去、コードスイッチングによる擬似データ生成などが試みられる。また、言語学的な知識（形態素解析）を利用した拡張も行われる。
7.1.2 多言語NMT
一つのモデルで多数の言語を同時に学習する多言語NMTにより、リソースの多い言語から少ない言語への転移学習が可能になる。共通の表現空間を獲得することで、低リソース言語の性能が向上する。
7.2 ドメイン適応
訓練データと異なるドメイン（医学、法律、技術文書など）の翻訳では品質が落ちる。少量のドメイン内データで微調整する手法や、ドメイン認識型のモデルが研究されている。
7.3 解釈可能性と信頼性
NMTの内部動作はブラックボックスであり、結果に対する説明が困難。
7.3.1 幻覚翻訳
モデルが原文と無関係な内容を生成する現象。特に低リソース状況や複雑な文で発生しやすく、誤訳を招く。信頼性の観点から重要な課題である。
7.3.2 偏りの学習
訓練データに含まれる性別・人種・文化的バイアスをモデルが学習・増幅する。例えば職業に関する翻訳でジェンダーバイアスが現れる。公平な翻訳を実現するための研究が進められている。
7.4 計算コストと環境負荷
大規模なTransformerモデルの訓練には膨大な計算資源と電力が必要であり、環境負荷が問題となる。モデル圧縮、知識蒸留、量子化など軽量化技術の開発が進んでいる。
8 将来の方向性
8.1 マルチモーダル・マルチタスクNMT
テキストだけでなく画像、音声、動画などの情報を同時に扱うマルチモーダル翻訳が発展している。また、翻訳と同時に要約、スタイル変換などのタスクを統合することで、より高度な言語処理が期待される。
8.2 人間と協調する対話型翻訳
翻訳結果に対して人間が修正を加え、そのフィードバックを即座にモデルに反映する対話型システムが研究されている。能動学習やインタラクティブデコードにより、翻訳の品質と効率が向上する。
8.3 言語間知識の統合
知識グラフやデータベースと連携し、固有名詞や専門用語を正確に翻訳する手法。汎用のNMTでは捉えにくい世界知識を組み込むことで、文脈に即した翻訳が可能になる。
8.4 軽量化とエッジデバイス対応
モバイル端末やIoT機器でリアルタイム翻訳を実現するため、軽量なNMTモデルの開発が進む。プルーニング、量子化、蒸留などの技術に加え、エッジ専用のアーキテクチャ設計が重要となる。