1 背景与开发
T5（Text-to-Text Transfer Transformer）是由Google Research在2019年提出的自然语言处理（NLP）模型，其核心理念是将所有文本处理任务转化为统一的“文本到文本”格式。该模型基于Transformer架构，通过大规模预训练和任务特定微调，在机器翻译、文本摘要、问答、分类等多个领域取得出色表现。T5的提出标志着NLP领域向通用模型迈进的重要一步。
1.1 预训练的统一框架
T5采用“文本到文本”框架，将所有任务（如翻译、分类、回归）的输入和输出统一表示为文本字符串。例如，对于情感分类，输入为“情感分析：这部电影很棒”，输出为“正面”。这种统一格式使得单一模型能够处理多种任务，无需为每个任务设计专门的输出头。预训练阶段使用去噪自编码目标，即在输入中随机掩盖部分文本片段，让模型预测被掩盖的内容。
1.2 与其他模型的比较
与同期流行的BERT（仅编码器）和GPT（仅解码器）不同，T5采用了完整的编码器-解码器结构。BERT擅长理解任务（如分类），GPT擅长生成任务，而T5则能同时胜任理解和生成。此外，T5在预训练数据规模、模型大小和任务多样性方面进行了系统性对比实验，为后续研究提供了基准。
2 架构
2.1 编码器-解码器结构
T5基于原始的Transformer序列到序列架构，包含编码器和解码器两部分。编码器接收输入文本，通过自注意力机制将其编码为上下文表示；解码器则基于编码器输出和已生成的文本逐步生成目标序列。这种结构使得模型在处理生成任务（如翻译）和理解任务（如分类）时均表现出色。
2.1.1 Transformer层
每个编码器和解码器由多个相同的Transformer层堆叠而成。每一层包含两个子层：多头自注意力机制和前馈神经网络（FFN）。自注意力允许模型在序列的不同位置之间建立依赖关系；FFN则对每个位置独立进行非线性变换。解码器中还包含交叉注意力机制，用于关注编码器的输出。
2.1.2 相对位置编码
T5使用相对位置编码而非绝对位置编码。相对位置编码为序列中任意两个位置之间的距离分配一个可学习的嵌入，使得模型对序列长度变化更具鲁棒性，并且在处理长文本时表现更佳。这种编码方式被后续许多模型所采纳。
2.2 缩放与变体
T5提供了多个不同规模的版本，通过调整Transformer层的数量、隐藏层维度、注意力头数等超参数，覆盖从轻量级到超大规模的模型。
2.2.1 T5-Base、T5-Large、T5-3B、T5-11B
- T5-Base：约2.2亿参数，适用于一般研究和小规模应用。
- T5-Large：约7.7亿参数，在多数任务上性能提升明显。
- T5-3B：约30亿参数，进一步提升了生成质量。
- T5-11B：约110亿参数，是原始论文中最大的模型，在多个基准上达到当时最先进水平。
这些变体展示了模型规模对性能的影响，为后续大规模预训练模型（如GPT-3）提供了参考。
3 训练方法
3.1 预训练数据集：C4（Colossal Clean Crawled Corpus）
T5使用名为C4的数据集进行预训练，该数据集从Common Crawl的网页抓取中提取，经过大量清洗（去除非文本内容、重复、脏话、低质量页面等），最终得到约750GB的英文文本。C4的设计强调了数据质量对预训练效果的重要性。
3.2 掩码语言建模的变体：Span Corruption
T5采用Span Corruption作为预训练目标。与BERT的单词级别掩码不同，Span Corruption随机选择连续文本片段（长度服从某种分布）并将其替换为特殊标记，模型需要预测被掩盖的完整片段。这种方法更贴近文本生成的场景，并且计算效率更高。
3.3 微调策略
在预训练后，T5可通过微调适配具体任务。微调时，将任务特定指令（如“翻译成法语：”）与输入拼接后输入模型，输出即为所需文本。这种“零样本”或“少样本”能力较弱（与后续模型相比），但通过全量微调可达到很高性能。此外，多任务微调（同时训练多个任务）可提升模型泛化能力。
4 主要应用任务
4.1 机器翻译
T5在机器翻译任务中表现强劲，尤其是将英语翻译成其他语言（如法语、德语、罗马尼亚语）。通过使用前缀“translate English to French:”，模型可直接输出译文。在WMT 2014英法翻译任务中，T5-11B达到了当时最先进水平。
4.2 文本摘要
对于文本摘要任务，输入前缀为“summarize:”，模型输出简洁的摘要。T5在CNN/DailyMail等摘要数据集上取得了高ROUGE分数，能够生成流畅且信息丰富的摘要。
4.3 问答
T5支持抽取式问答和生成式问答。前者通过给出上下文和问题，输出答案片段；后者则直接生成答案。在SQuAD、Natural Questions等数据集上，T5展现了强大的问答能力。
4.4 文本分类与情感分析
分类任务通过将类别标签转化为文本字符串实现。例如情感分析中，输出为“positive”或“negative”。T5在IMDb、GLUE等多个分类基准上表现优异，证明了统一框架的通用性。
5 影响与发展
5.1 社区与开源
Google Research在T5发布后立即开源了预训练模型、训练代码和C4数据集，极大推动了NLP社区的研究与应用。Hugging Face Transformers库等工具提供了T5的便捷接口，使其成为学术界和工业界广泛使用的基线模型。
5.2 对后续模型的影响（如Flan-T5、mT5）
T5的思想直接启发了多个衍生模型：
- Flan-T5：通过指令微调（Instruction Tuning）进一步提升模型遵循指令的能力，成为对话和任务型模型的基础。
- mT5：将预训练数据扩展到多语言（包括C4的多种语言版本），支持超过100种语言，在跨语言任务中表现突出。
此外，统一文本到文本框架也被用于图像描述、代码生成等多模态领域。
5.3 局限与挑战
T5的主要局限包括：训练计算成本极高（尤其是T5-11B），对硬件资源要求苛刻；预训练依赖大规模高质量英文数据，对低资源语言支持有限；模型在长文本推理和事实一致性方面仍有改进空间。后续研究通过更高效的训练策略、小样本学习等方法部分缓解了这些问题。