NLLB

1 プロジェクトの背景と目標

1.1 言語格差の現状

世界には約7,000の言語が存在するが、インターネット上のコンテンツやデジタルサービスは英語、中国語、スペイン語などごく一部の高リソース言語に集中している。低リソース言語（話者数が少ない、または学習データが不足している言語）の話者は、情報アクセス、教育、医療、行政サービスにおいて深刻な不利を被っている。この言語格差は、貧困や社会的排除の連鎖を強化する要因の一つとされる。

1.2 NLLBの開発動機

Meta（旧Facebook）は、言語の壁を取り除き、すべての人が母語で情報を共有・取得できる世界を目指してNLLBプロジェクトを開始した。特に、従来の機械翻訳システムが対応していなかった低リソース言語への対応が最大の目標である。開発はMeta AIの研究チームが主導し、2022年にプロジェクトが公表された。

1.3 目標とする言語範囲

NLLBは200以上の言語を対象とする。その内訳は、英語・中国語・フランス語などの高リソース言語に加え、アフリカ、南アジア、東南アジア、中南米の少数言語（例：ヨルバ語、スワヒリ語、タミル語、ケチュア語など）を広く含む。これにより、世界人口の大部分をカバーすることを目指している。

2 技術アーキテクチャ

2.1 エンコーダ・デコーダ構造

2.1.1 標準的なTransformerとその改良

NLLBはTransformerアーキテクチャをベースとしている。標準的なTransformerでは、自己注意機構（Self-Attention）と位置符号化（Positional Encoding）を用いて系列変換を行う。NLLBでは、学習の安定性と翻訳品質を向上させるため、事前正規化（Pre-Norm）や注意機構のスケーリング調整などの改良が施された。

2.1.2 スパース混合専門家モデル（Sparse MoE）の導入

モデル容量を拡大しながら計算効率を維持するため、スパース混合専門家モデル（Sparse Mixture of Experts）が導入された。エンコーダおよびデコーダのフィードフォワード層を複数の専門家（Expert）に分割し、各入力トークンに対して活性化する専門家を少数（通常2名）に制限する。これにより、全パラメータ数は増加するが、実際の計算量（FLOPs）は稠密モデルと同程度に抑えられる。

2.2 多言語データセットの構築

2.2.1 FLORES-200ベンチマーク

翻訳品質の評価用として、FLORES-200データセットが作成された。これは200言語の文をカバーする対訳ベンチマークであり、各言語に対して約3,000文の評価セットを含む。データは公開されており、再現性のある評価を可能にする。

2.2.2 低リソース言語のデータ拡張手法

低リソース言語については、学習データが極めて限られている。そのため、バックトランスレーション（Back Translation：単言語データから擬似的な対訳を生成）、ノイズ付与（Noise Injection）、および類似言語からの転移学習などのデータ拡張手法が用いられた。また、専門家によるアノテーションも一部実施された。

2.3 学習方法

NLLBでは、大規模な単言語コーパスを活用した教師なし学習が重要な役割を果たす。クロスリンガル表現学習（Cross-lingual Representation Learning）により、異なる言語間で共通の意味空間を学習する。具体的には、マスク言語モデリング（Masked Language Modeling）と翻訳言語モデリング（Translation Language Modeling）を組み合わせた目的関数が用いられた。

2.3.2 損失関数と最適化戦略

2.3.2.1 クロスエントロピー損失

翻訳タスクの基本損失関数としてクロスエントロピー損失（Cross-Entropy Loss）が採用された。これはモデルが出力する確率分布と正解トークンとの間の乖離を最小化する。

2.3.2.2 分散訓練のスケーラビリティ

大規模モデルの学習には、数千台のGPUを用いた分散訓練が実施された。モデル並列（Model Parallelism）とデータ並列（Data Parallelism）を組み合わせ、また混合精度訓練（Mixed Precision Training）によりメモリ使用量と計算時間を削減した。これにより、NLLB-200（稠密モデル）とNLLB-MoE（スパースMoEモデル）の両方が効率的に訓練された。

3 性能評価と公開モデル

3.1 翻訳品質の指標

3.1.1 BLEUスコアとchrFスコア

自動評価指標として、BLEU（Bilingual Evaluation Understudy：n-gramの精度に基づく）とchrF（文字n-gramのF値に基づく）が主に用いられる。BLEUは参照翻訳との単語一致率を測り、chrFは文字レベルの一致率を測るため、形態の豊かな言語に対してより適切とされる。NLLBでは両指標を報告している。

3.1.2 人間評価との相関

自動指標は完全ではないため、人間による翻訳評価（アデクエイシー・流暢性評価）も実施された。NLLBの自動スコアと人間評価との間には高い相関が確認され、特に低リソース言語においては従来モデルを大きく上回る品質を示した。

3.2 主要なベンチマーク結果

3.2.1 高リソース言語対訳

英語-フランス語、英語-中国語などの高リソース言語ペアでは、GoogleのM2M-100や既存の商用システムと同等ないしそれ以上の性能を達成した。BLEUスコアで数ポイントの改善が見られた。

3.2.2 低リソース言語における改善度

低リソース言語（例：レバント方言アラビア語、北ソト語、ルバ語など）では、M2M-100と比較してBLEUスコアが20～40%向上した。特に、学習データが極端に少ない言語での改善が顕著であり、NLLBの技術的貢献が最も発揮された部分である。

3.3 オープンソース公開とライセンス

3.3.1 モデルバリエーション（NLLB-200, NLLB-MoE）

Metaは2種類のモデルを公開している。NLLB-200（稠密モデル、パラメータ数～3.3B）とNLLB-MoE（スパースMoEモデル、パラメータ数～54.7B、活性化パラメータは～3.3B）である。後者はより高い品質を提供するが、推論時のリソース消費は稠密モデルと同程度に抑えられる。

3.3.2 Hugging Face等での利用方法

モデルはCC BY-NC 4.0ライセンスの下で公開され、Hugging Face Transformersライブラリから簡単に利用できる。transformers.pipeline("translation", model="facebook/nllb-200-distilled-600M")などの呼び出しで翻訳が実行可能。また、研究用途向けにソースコードと訓練手順も公開されている。

4 応用事例と今後の展開

4.1 国際機関・教育分野での利用

4.1.1 国連の文書翻訳支援

国連は多言語での文書作成を必要とするが、人手による翻訳には膨大なコストと時間がかかる。NLLBはその自動翻訳基盤として試験的に導入され、会議記録や報告書の下訳作成に活用されている。特に、公用語以外の言語（例：ハウサ語、スワヒリ語）への翻訳効率が大幅に向上した。

4.1.2 少数民族言語の保存活動

絶滅危惧言語の保存活動では、音声記録やテキストの翻訳・転写にNLLBが利用されている。例えば、南米の先住民言語（アイマラ語、グアラニー語）の教材作成や、アフリカの口承文学のデジタル化プロジェクトで採用された。これにより、言語コミュニティの文化継承が促進されている。

4.2 コミュニティへの貢献と課題

4.2.1 バイアスと倫理的配慮

NLLBの学習データにはインターネット上のテキストが多く含まれており、ジェンダー、人種、文化に関するバイアスが内在する可能性がある。また、低リソース言語の翻訳精度がまだ十分でない場合、誤訳が情報格差を拡大するリスクも指摘されている。Metaはフィルタリングやバイアス評価ツールの提供を進めている。

4.2.2 今後の研究方向性

今後の研究では、さらに多くの言語（1000言語以上）への拡張、音声翻訳との統合、ドメイン特化型モデルの開発、そして翻訳品質の公平性向上が目標とされている。また、コミュニティ参加型のデータ収集や、翻訳結果の多層的な品質チェック機構の導入も検討されている。