1 T5フレームワークの基礎
1.1 Text-to-Text形式の統一概念
Text-to-Text Transfer Transformer（T5）は、Googleが2020年に発表した統一フレームワークであり、すべての自然言語処理（NLP）タスクを「テキスト入力→テキスト出力」という単一の形式で扱う。従来のNLPモデルでは、機械翻訳、要約、質問応答、感情分析などのタスクごとに異なるモデル構造（例えば分類ヘッドやシーケンスラベリングレイヤー）が必要であった。T5はこれを打破し、すべてのタスクをテキスト生成問題として捉えることで、同一のTransformerモデルで学習・推論を実行可能にした。この統一により、モデル構造の設計が大幅に簡素化され、転移学習の可能性が広がった。
1.2 タスクプレフィックス方式
T5は、入力テキストの先頭にタスク固有のプレフィックス（接頭辞）を付加することで、モデルにタスクの種類を明示的に伝える。例えば、「translate English to German: That is good.」のような入力を与えると、モデルは翻訳タスクであることを認識し、対応するドイツ語のテキストを生成する。同様に、「summarize: ...」や「cola sentence: ...」などのプレフィックスが用意されている。この方式により、単一のモデルが複数のタスクを切り替えて処理できるようになり、事前学習とファインチューニングの一貫性が保たれる。
1.3 統一フレームワークの利点
統一フレームワークの最大の利点は、モデル構造の変更やタスク別の特殊な出力層が不要になる点にある。また、異なるタスク間での知識共有が促進され、特にデータが少ないタスクに対して事前学習の効果が発揮されやすい。T5以前は、BERTやGPTなどがそれぞれのアーキテクチャ（エンコーダのみ、デコーダのみ）で異なるタスク形式を採用していたが、T5はこれらを統合する基盤を提供した。
2 アーキテクチャと設計
2.1 Transformerエンコーダ-デコーダ構造
T5は、元々のTransformer論文で提案されたエンコーダ-デコーダ構造を採用している。エンコーダが入力テキストを処理し、デコーダが出力テキストを生成する。この対称的な構造は、テキスト間の変換タスク（翻訳や要約など）に適している。
2.1.1 エンコーダの双方向注意機構
エンコーダは双方向の自己注意機構を備えており、入力テキストの各トークンが文脈全体を参照できる。これはBERTと同様の設計で、テキストの理解に必要な豊かな文脈情報を獲得する。双方向注意により、文中のすべての位置が互いにアクセス可能となり、分類や理解系のタスクにおいて強力な表現を学習できる。
2.1.2 デコーダの自己回帰生成
デコーダは自己回帰的にテキストを生成する。つまり、すでに生成したトークン列を入力として次のトークンを予測する。デコーダの注意機構は未来のトークンを見ないようにマスクされており（因果的注意）、これにより順次生成が可能となる。この構造はGPTなどと共通しており、生成タスクにおいて一貫性のある出力を実現する。
2.2 相対位置バイアス
T5は絶対位置エンコーディングではなく、相対位置バイアスを採用している。Transformerの各注意機構において、クエリとキー間の相対的な距離に応じてバイアスが加えられる。このバイアスは学習可能なパラメータであり、位置間の関係を柔軟にモデル化する。相対位置バイアスは、シーケンス長が変化しても汎化しやすく、特に長いテキストの処理においてメリットがある。
2.3 スケーリングの原則（モデルサイズと性能）
T5はモデルサイズを変えた複数のバージョン（Small、Base、Large、3B、11B）が提供され、パラメータ数が増えるほど性能が向上するというスケーリング則を示した。大規模モデルほど高精度な結果が得られるが、計算コストも増加する。T5の設計は、同程度のパラメータ数を持つ他のモデルと比較しても効率的であり、規模拡大に対する優れたパフォーマンスを実証した。
3 事前学習とデータセット
3.1 C4データセットの構築
C4（Colossal Clean Crawled Corpus）は、T5の事前学習のために収集された大規模なテキストコーパスである。ウェブクロールから抽出された約750GBのテキストデータで構成される。C4は、多様なドメインのテキストを含む一方で、クリーンな品質を保つために徹底的なフィルタリングが施されている。
3.1.1 クロールデータのクリーニング手法
C4の構築では、Common Crawlから取得した生データに対して、以下のクリーニング手順が適用される。文章が不完全なページや重複した内容、コードやマークアップの残骸を除去する。また、最小単語数や最大文字数などのしきい値でフィルタリングし、品質の低いテキストを排除する。これにより、比較的クリーンな自然言語テキストのみが残される。
3.1.2 言語フィルタリングと重複除去
C4では、英語のみを対象とした言語フィルタリングが行われる。言語検出ツールを使用して、英語以外の言語で書かれたページは削除される。さらに、類似した文書間の重複除去（deduplication）を行い、データの多様性を高める。重複除去は、n-gramのハッシュ比較などによって実現される。
3.2 事前学習目標：デノイジングオートエンコーディング
T5は、デノイジングオートエンコーディング（denoising autoencoding）の枠組みで事前学習を行う。入力テキストの一部をランダムに壊し（ノイズを加え）、モデルに元のテキストを復元させる。
3.2.1 マスクノイズ戦略（BERTスタイル）
BERTと同様に、入力テキストのトークンをランダムにマスク（置換）する手法が試された。しかし、T5の実験では、連続的なスパンを破損する方が性能が良いことが示された。マスクノイズ戦略では、個々のトークンが独立してマスクされるため、復元の難易度が低くなる傾向がある。
3.2.2 スパン破損（Span Corruption）手法
T5の事前学習では、スパン破損（Span Corruption）が採用された。入力テキストの中で、連続する複数のトークンをランダムな長さでマスクし、その部分を1つの特別なトークン（例：<extra_id_0>）で置き換える。モデルは、マスクされた各スパンを出力として復元する。この手法は、より長い文脈を考慮した復元能力を学習させ、生成タスクに適した表現を獲得する。
4 タスク固有の適応（ファインチューニング）
4.1 ダウンストリームタスクへの変換方法
T5はファインチューニング時に、各タスクをテキスト生成問題として再定義する。
4.1.1 分類タスクのテキスト変換
感情分析や意図分類などの分類タスクでは、入力テキストにプレフィックスを付加し、モデルにクラスラベルをテキストとして生成させる。例えば、入力「sentiment: This movie is great.」に対して、モデルは「positive」と出力する。出力は単一の単語または短いフレーズであり、モデルの語彙に含まれるように設計される。
4.1.2 生成タスクのテキスト変換
要約や翻訳などの生成タスクでは、入力テキストとプレフィックスを組み合わせ、モデルが目的のテキストを直接生成する。例えば、「summarize: [長文]」に対して要約文を、「translate English to French: [英文]」に対してフランス語の翻訳を出力する。これらは元々テキスト生成タスクであるため、変換は自然に行われる。
4.2 マルチタスク学習と混合比率
T5は、複数のタスクを同時に学習するマルチタスクファインチューニングもサポートする。この場合、各タスクのデータを適切な比率で混合してミニバッチを構成する。タスク間のデータ量に偏りがあると、過学習や学習不足が生じるため、混合比率の調整が重要となる。T5では、タスクごとのデータ量に応じてサンプリング確率を設定し、バランスを取る手法が用いられた。
5 主要なバリエーションと拡張
5.1 T5.1.1とFLAN（指示チューニング）
T5.1.1はT5の改良版であり、事前学習のハイパーパラメータやスパン破損の設定を調整し、性能を向上させた。さらに、FLAN（Finetuned Language Models are Few-Shot Learners）は、T5に対して指示チューニング（instruction tuning）を施したモデルである。多数のタスクを自然言語指示で表現し、ファインチューニングすることで、指示に対する汎化能力が大幅に向上し、ゼロショット性能が高まった。
5.2 mT5（多言語対応版）
mT5はT5を多言語に拡張したモデルで、C4に相当する多言語クロールコーパス（mC4）で事前学習されている。mC4は101言語のデータを含み、mT5はこれらの言語間の翻訳や多言語タスクを統一フレームワークで処理できる。言語プレフィックス（例：「translate English to Japanese:」）を用いることで、多言語タスクにも柔軟に対応する。
5.3 UL2（多目的事前学習目標の統合）
UL2（Unifying Language Learning）は、T5のフレームワークを拡張し、複数の事前学習目標（因果的LM、デノイジング、マスク言語モデリング）を統合したモデルである。UL2は、T5のエンコーダ-デコーダ構造を保ちつつ、異なるノイズ戦略を組み合わせることで、多様なタスクに対してより強力な汎化性能を達成した。
6 応用と性能評価
6.1 GLUE/SuperGLUEベンチマークでの成果
T5は、GLUE（General Language Understanding Evaluation）およびSuperGLUEの各タスクにおいて、当時の最高性能を達成した。特にLargeモデルや3Bモデルは、各タスクのベンチマークで1位を獲得し、統一フレームワークの有効性を示した。テキスト生成として解釈することで、多様な理解タスクを扱えることが実証された。
6.2 要約・翻訳タスクへの応用
T5は要約タスク（CNN/DailyMail、XSumなど）や翻訳タスク（WMTベンチマーク）でも優れた性能を発揮した。要約では、抽象的な要約文を生成できる能力が評価され、翻訳では、特にデータが少ない言語対でも事前学習の効果が顕著に現れた。
6.3 ゼロショット汎化能力
T5は、事前学習のみで特定のタスクを明示的に学習しなくても、ゼロショットで一定の性能を発揮できる。例えば、プレフィックスを与えるだけで、未見のタスクに対しても適切なテキストを生成する例が報告されている。この能力は、FLANなどの指示チューニングによりさらに強化された。
7 影響と後継モデル
7.1 Encoder-Decoderアーキテクチャの復権
T5の登場により、NLP分野ではそれ以前に主流だったエンコーダのみ（BERTスタイル）やデコーダのみ（GPTスタイル）のモデルに対し、再びエンコーダ-デコーダアーキテクチャが注目されるようになった。T5の成功は、テキスト生成と理解の統合的な扱いが有効であることを示し、その後の多くのモデル（BART、FLAN、UL2など）に影響を与えた。
7.2 T5からPaLM・Geminiへの発展
T5の統一フレームワークの考え方は、その後のGoogleの大規模言語モデルであるPaLM（Pathways Language Model）やGeminiへと発展していった。PaLMはT5とは異なりデコーダのみのアーキテクチャを採用しているが、タスクプレフィックスやマルチタスク学習のアイデアは継承されている。Geminiはマルチモーダル対応へと拡張されており、T5の基礎的な統一アプローチは、現在の大規模言語モデル開発の重要な基盤となっている。