1 背景と歴史
1.1 機械翻訳の萌芽
機械翻訳の研究は1950年代に始まり、ジョージタウン大学での実験（1954年）が初期の成果として知られる。ルールベースの手法が主流であったが、言語の複雑さに直面し、統計的アプローチへの関心が1960年代後半から高まった。しかし、当時の計算資源とデータ不足により、本格的な統計モデルの実用化は遅れた。
1.2 IBMワトソン研究所の貢献
1990年代初頭、IBMワトソン研究所のピーター・ブラウン、ジョン・コクラネ、スティーブン・デラ・ピエトラ、ビンセント・デラ・ピエトラ、フレデリック・ジェリネックらが統計的機械翻訳の先駆的研究を行った。彼らはカナダ議会のフランス語・英語対訳コーパス（Hansard）を利用し、単語アライメントを確率的にモデル化する一連のモデル（IBM Model 1–5）を提案した。この研究は1993年の論文「The Mathematics of Statistical Machine Translation: Parameter Estimation」にまとめられた。
1.3 ノイズチャネルモデル
| IBM Model 1–5の根底には、情報理論に基づくノイズチャネルモデルがある。翻訳過程を、原文（フランス語）がノイズチャネルを通して目標文（英語）に変換されると仮定し、ベイズの定理を用いて最適な翻訳を求める。すなわち、与えられた原文fに対して、最も確率の高い目的文eをP(e | f) ∝ P(e) P(f | e)として推定する。この枠組みは音声認識の分野から転用された。 |
|---|
2 IBM Model 1
2.1 基本的な仮定
2.1.1 単語の独立性
IBM Model 1では、目的言語の各単語が独立に原文単語に対応すると仮定する。また、原文の単語順は考慮せず、すべての単語が一様にアライメントされる。つまり、翻訳確率は単語ペアの共起のみに依存し、文脈や位置情報は無視される。
2.1.2 均一なアライメント
モデル1では、目的文の各単語e_jが原文の各単語f_iにアライメントされる確率は、原文の長さmに関わらず一様（1/(m+1)）と仮定する。ヌル単語も含め、どの位置にも等確率で対応付けられる。
2.2 数学的定式化
2.2.1 翻訳確率
| 翻訳確率P(f | e)は、目的文e（長さl）と原文f（長さm）のアライメントaを潜在変数として、全ての可能なアライメントにわたる総和として定義される。具体的には、P(f | e) = Σ_a ∏_j t(f_j | e_{a_j})であり、t(f_j | e_i)は単語翻訳確率を表す。 |
|---|
2.2.2 EMアルゴリズムによる学習
| パラメータt(f | e)は、対訳コーパスから期待値最大化（EM）アルゴリズムを用いて学習される。Eステップでは、現在のパラメータで各アライメントの事後確率を計算し、Mステップで翻訳確率を更新する。収束まで反復することで、単語対応関係が推定される。 |
|---|
2.3 長所と限界
Model 1は数学的に単純で、EMアルゴリズムの大域的最適解が保証される。しかし、単語順序を全く考慮しないため、言語間で語順が異なる場合に翻訳精度は低い。また、アライメントが一様であるため、実際の対応関係を表現できず、実用的には初期推定として使われる。
3 IBM Model 2
3.1 絶対位置アライメントの導入
Model 2は、目的文の単語が原文のどの位置にアライメントされるかを、位置に依存する確率分布でモデル化する。これにより、単語の絶対的な順序関係が考慮される。
3.2 アライメント確率のパラメータ
| アライメント確率a(i | j, l, m)は、目的文の位置jにある単語が原文の位置iにアライメントされる確率を表し、原文長mと目的語長lに依存する。このパラメータはEMアルゴリズムで学習される。 |
|---|
3.3 Model 1からの改善点
Model 2は単語順序を部分的に捉えられるため、翻訳精度が向上する。ただし、アライメントは絶対位置のみに依存するため、言語間で語順の柔軟な変化（例えば、日本語の主語-目的語-動詞と英語の主語-動詞-目的語）には限界がある。
4 IBM Model 3
4.1 フェルティリティ（fertility）の概念
Model 3では、原文の各単語が目的文に複数の単語を生成する可能性を導入する。フェルティリティφ_iは、原文の単語iが生成する目的語単語数を表す確率変数であり、例えば英語の「did not」がフランス語の「ne ... pas」のように複数単語に対応する場合をモデル化する。
4.2 ヌル単語（NULL word）の扱い
文章内で直接対応しない単語（冠詞や機能語の挿入・削除）を扱うため、ヌル単語が導入される。フランス語の冠詞「le」が英語では省略される場合など、ヌル単語からのフェルティリティが対応する。
4.3 生成過程の複雑化
Model 3の生成過程は以下の手順で行われる：1) 原文の各単語のフェルティリティを決定、2) フェルティリティに応じて目的語単語を翻訳、3) ヌル単語を挿入、4) 単語を並べ替え（歪みモデル）。これにより、単純な1対1対応を超えた複雑な翻訳現象を表現できる。
4.4 計算上の課題
Model 3のパラメータ数は急増し、EMアルゴリズムのEステップで全てのアライメントを列挙することが現実的でなくなる。そのため、近似手法（例えば、ピーク探索による部分サンプリング）が必要となり、計算コストが大幅に上昇する。
5 IBM Model 4
5.1 相対位置アライメント
Model 4では、絶対位置ではなく、先行する単語からの相対的な位置に基づくアライメントを導入する。目的語の単語は、対応する原文単語の近傍に配置される確率が高くなるようにモデル化される。
5.2 歪み（distortion）モデルの改良
歪み確率は、原文の単語iが生成した最初の目的語単語の位置と、同じ原文単語から生成された後続の目的語単語の相対位置として定義される。これにより、言語特有の語順パターン（例えば、フランス語の形容詞が名詞の後ろに来る）を学習しやすくなる。
5.3 フレーズベース翻訳への橋渡し
Model 4で得られる単語アライメントは、フレーズ（連続する単語群）の対応関係を抽出するための基礎となる。後のフレーズベースSMTでは、Model 4のアライメント結果を用いて対訳フレーズテーブルを構築する。このため、Model 4は実用的なSMTシステムの中核をなした。
6 IBM Model 5
6.1 非効率なアライメントの補正
Model 4では、同一の原文単語から生成された目的語単語が同じ出力位置にアライメントされる「過剰生成」や、ヌル単語からの生成が不自然に集中する問題があった。Model 5では、これらの非効率なアライメントを修正するための制約条件を追加する。
6.2 制約条件の追加
具体的には、各出力位置には最大1つの単語しかアライメントできない、同一原文単語からの単語は互いに異なる位置に割り振られる、などの制約を確率モデルに組み込む。これにより、アライメントの一貫性が向上する。
6.3 Model 4との差異
Model 5は歪みモデルとフェルティリティ分布を修正し、アライメントの空き位置を考慮するための新しいパラメータ（例えば、占有テーブル）を導入する。計算上はModel 4より複雑だが、翻訳精度はわずかに向上する。
6.4 限界と後継モデル
Model 5の改善は限定的であり、未対処の課題として長距離依存や非連続な語順変化が残る。その後、HMMアライメントモデルや、さらなるパラメータ共有手法が提案され、IBM Modelシリーズの発展は一旦収束する。Model 5は純粋な単語ベースSMTの最終形態と見なされる。
7 各モデルの比較と実用性
7.1 翻訳精度の段階的向上
一般に、Model 1から5にかけて翻訳精度は段階的に向上する。Model 1は初期値推定、Model 2はおおまかな語順補正、Model 3はフェルティリティによる複数単語対応、Model 4は相対位置による柔軟な並べ替え、Model 5は微調整という役割を担う。実用的にはModel 4と5の差は小さいことが多い。
7.2 計算資源とトレーニング時間
モデルが複雑になるにつれ、トレーニングに必要な計算資源と時間は急増する。Model 1は数分で収束するが、Model 3以降は数時間から数日を要し、大規模コーパスでは近似アルゴリズム（例えば、ギブスサンプリングやピーク探索）が不可欠となる。
7.3 現代の機械翻訳における位置づけ
現在のニューラル機械翻訳（NMT）では、IBM Modelシリーズは直接使われない。しかし、単語アライメントの概念やノイズチャネルモデルの考え方は、アテンション機構やTransformerの自己注意に継承されている。また、対訳コーパスにおける単語対応の自動アノテーション（例えば、GIZA++）としてModel 4は広く利用され、NMTの学習データ準備に寄与した。
8 影響と発展
8.1 統計的機械翻訳の確立
IBM Model 1–5は、ルールベースが主流だった機械翻訳に統計的手法を確立した。パラメータ推定の枠組みとEMアルゴリズムの適用は、その後のSMT研究の道筋を決定づけ、1990年代後半から2000年代にかけてのSMT隆盛の基盤となった。
8.2 フレーズベース・構文ベースモデルへの貢献
Model 4で得られる単語アライメントは、フレーズベースSMT（例えば、Mosesシステム）において対訳フレーズテーブルを生成する標準的な前処理となった。また、構文情報を組み込んだ構文ベースSMT（例えば、階層的フレーズモデルや木対木モデル）の発展にも寄与した。
8.3 ニューラル機械翻訳への継承
NMTの登場後、単語アライメントは暗黙的にアテンション重みに置き換えられたが、IBM Modelの考え方は隠れマルコフモデル（HMM）との関連や、翻訳確率とアライメントを分離するアーキテクチャに影響を与えた。特に、Transformerの相対位置エンコーディングはModel 4の相対歪みの思想と共通点がある。