Transformer - Ciallo Wiki

1 背景与提出

深度学习模型在处理序列数据（如文本、语音、时间序列）时，长期依赖循环神经网络（RNN）和卷积神经网络（CNN）。然而，随着任务复杂度提升，这两种结构的固有缺陷逐渐暴露。Transformer 的诞生正是为了打破这些天花板。

1.1 传统序列模型的局限性

1.1.1 RNN 的串行瓶颈与梯度消失

RNN 按时间步顺序处理输入，每个时间步的输出依赖于前一步的状态。这种串行机制使得并行计算几乎不可能——你无法同时处理一句话中的多个单词，必须等前一个算完才能算后一个。更致命的是，当序列长度超过几十步时，反向传播过程中梯度会指数级衰减或爆炸（梯度消失/梯度爆炸），导致模型无法有效学习远距离词之间的关联，比如“我十年前在巴黎……那时……埃菲尔铁塔”中的“埃菲尔铁塔”对“巴黎”的依赖。

1.1.2 CNN 的局部感受野限制

CNN 通过卷积核在局部窗口内提取特征，天然擅长捕捉邻近像素或单词的模式。但堆叠多层卷积才能扩大感受野，这不仅增加了参数量，而且对长距离依赖（如一篇文章首尾的呼应）的建模效率低下。此外，CNN 的固定卷积核大小使其难以动态关注不同位置的特征。

1.2 注意力机制的早期探索

1.2.1 编码器-解码器中的注意力

早在2014年前后，Bahdanau等人就在机器翻译中引入了注意力机制：解码器在生成每个目标词时，不再仅依赖编码器的最后一个隐藏状态，而是对编码器所有输出进行加权求和，权重由当前解码状态与编码器各位置的相关性决定。这初步解决了RNN的远距离信息压缩问题，但注意力仍是作为RNN的“附属品”存在。

1.2.2 自注意力概念的萌芽

“自注意力”是指序列内部各位置之间的注意力计算，而非编码器与解码器之间的交叉注意力。2016年，Cheng等人首次将自注意力用于顺序编码，但尚未形成完整的模型架构。这时的自注意力更像是一种特征增强模块，而非主心骨。

1.3 论文《Attention Is All You Need》的里程碑意义

2017年，Google团队的Vaswani等人在NeurIPS上发表《Attention Is All You Need》，宣告了Transformer的诞生。其核心思想极其大胆：“丢开RNN和CNN，只靠注意力机制能不能搞定序列建模？”答案是可以的。论文提出的模型完全基于自注意力和前馈网络，在机器翻译任务上（WMT 2014英德/英法）以更少的训练时间达到了当时最优水平。这篇论文不仅开辟了一个新流派，更奠定了此后几乎所有主流NLP模型的基础。

2 核心架构

2.1 嵌入层与位置编码

2.1.1 词嵌入与向量化

输入文本首先被切分为词或子词（如通过BPE算法），然后映射到连续向量空间。每个词对应一个固定维度的嵌入向量（如512维），通常由可学习的嵌入矩阵完成。这一步将离散符号转化为模型可处理的实数向量。

2.1.2 正弦/余弦位置编码的原理

由于自注意力机制本身不具备“顺序感”（它会把位置1和位置10的单词视为一样，只要值相同），必须显式加入位置信息。原始Transformer使用固定频率的正弦和余弦函数：

对位置pos，维度i（偶数位置用sin，奇数用cos）：

PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model)) 这种设计使得每个位置的编码唯一，并且任意两个位置的编码可以通过线性变换相关联，有助于模型学习相对位置。

2.1.2.1 为什么不用学习式位置编码？

学习式位置编码（如BERT中使用的）虽然也能工作，但存在两大问题：一是需要预设最大长度，遇到更长的序列可能无法泛化；二是训练数据中低频位置（如第5000个单词）的编码可能学习不充分。正弦/余弦编码是固定的、无参数且可外推的，适合在提出时的机器翻译任务中处理任意长度。

2.2 自注意力机制

2.2.1 查询（Q）、键（K）、值（V）的计算

对于输入序列的每个位置i，通过三个不同的线性变换（权重矩阵W_Q, W_K, W_V）分别得到查询向量q_i、键向量k_i和值向量v_i。直观上：

查询：当前角色“我在找什么？”
键：其他角色“我有什么可以被匹配的特征？”
值：其他角色“我包含什么信息？”

计算注意力时，每个q_i与所有k_j求相似度，然后用相似度加权聚合所有v_j。

2.2.2 缩放点积注意力公式

Attention(Q, K, V) = softmax(Q·K^T / √d_k) · V 其中d_k是键向量的维度，除以√d_k是为了防止点积结果过大导致softmax梯度饱和。计算过程：先对所有Q和K做点积得到注意力分数矩阵，再按行做softmax归一化为权重，最后用权重加权V。

2.2.3 多头注意力（Multi-Head Attention）

2.2.3.1 头的切分与拼接

将Q、K、V分别拆成h个维度相等的子向量（“头”），每个头独立计算缩放点积注意力。然后将h个头的输出拼接起来，再经过一个线性层投影回原始维度。例如，d_model=512, h=8，每个头处理64维的子空间。

2.2.3.2 为什么需要多个“头”？

不同的头可以学习关注不同类型的关系：一个头可能关注语法依赖（主谓关系），另一个头关注语义相似（同义词），第三个头关注位置距离。单头注意力容易将所有信息混杂在一起，而多头提供了多个并行的“视角”，让模型更丰富地捕捉序列中的各种模式。

2.3 前馈神经网络（FFN）

2.3.1 两层全连接结构

注意力层的输出会送入一个两层的全连接网络（逐位置应用）： FFN(x) = W_2 * ReLU(W_1 * x + b_1) + b_2 其中中间层的维度通常比输入大（如2048 vs 512），这类似于将信息“展开”到更高维空间进行非线性变换，再“压缩”回原始维度。

2.3.2 激活函数：ReLU 与 GELU 之争

原始Transformer使用ReLU，计算简单且能引入稀疏性。但ReLU的负半轴梯度为0可能导致神经元死亡。GELU（高斯误差线性单元）作为ReLU的平滑近似，早期版本在BERT中流行，现已成为GPT等模型的首选。GELU在负半轴保持小幅梯度，理论上训练更稳定，但计算代价略高。简单来说：ReLU是硬核一刀切，GELU是温柔变通。

2.4 残差连接与层归一化

2.4.1 残差连接解决退化问题

每个子层（自注意力或FFN）的输出会与输入相加：x = x + Sublayer(x)。这解决了深层网络中的梯度退化问题，让梯度可以直接“跳过”子层传播，使得训练数十层甚至上百层Transformer成为可能。

2.4.2 层归一化的位置（Post-Norm vs Pre-Norm）

Post-Norm（原始Transformer）：先残差连接，再层归一化。即：LayerNorm(x + Sublayer(x))。训练较不稳定，需要精细的学习率调整。
Pre-Norm（后来流行）：先层归一化，再经子层，最后残差：x = x + Sublayer(LayerNorm(x))。通常更稳定，容易训练，因此现在大多数模型（如GPT）采用Pre-Norm。

2.5 编码器与解码器的整体结构

2.5.1 编码器堆叠

编码器由N个相同的层组成（原文N=6），每层包含两个子层：多头自注意力和前馈网络，每个子层后接残差连接与层归一化。编码器负责将输入序列转化为一组上下文相关的表示向量。

2.5.2 解码器中的掩码自注意力与交叉注意力

解码器也是N层堆叠，但每层包含三个子层： 1. 掩码自注意力：与编码器自注意力类似，但使用掩码阻止当前位置看到未来位置（确保预测第t个词时，只能依赖前t-1个词）。 2. 交叉注意力：解码器当前层输出作为查询（Q），编码器最后一层的输出作为键（K）和值（V）。这使得解码器能“读取”输入序列的上下文。 3. 前馈网络（同上）。

3 关键技术变体

3.1 高效注意力机制

原始Transformer的注意力计算复杂度为O(n²)，其中n为序列长度。当序列变长时，显存和时间成本爆炸。以下变体致力于降低复杂度：

3.1.1 Linformer：低秩近似

Linformer假设自注意力分数矩阵具有低秩性质，因此可以通过两个低维投影矩阵（K和V的投影）将复杂度从O(n²)降到O(n)，适用于中等长度序列。

3.1.2 Reformer：局部敏感哈希

Reformer使用局部敏感哈希（LSH）将查询和键分桶，每个位置只与同桶内的位置计算注意力，从而将复杂度降到O(n log n)。它还结合了可逆残差层来节省显存。

3.1.3 Performer：随机特征映射

Performer基于正交随机特征映射，将注意力中的核函数进行近似（如用高斯核逼近softmax），使注意力计算变为线性复杂度O(n)，且理论上有保证的误差界。

3.2 位置编码的进化

3.2.1 可学习位置编码

简单地将位置编码作为可训练参数，随模型一起学习。BERT采用此方法，但预设最大长度512。优势是灵活，劣势是不易泛化到更长序列。

3.2.2 相对位置编码（如 Transformer-XL）

不再为每个位置分配绝对编码，而是计算两个位置之间的相对距离（如“当前位置之前第3个位置”）。Transformer-XL 引入相对位置编码，支持跨越了段落的上下文学习，有效处理超长文本。

3.2.3 旋转位置编码（RoPE）

RoPE通过旋转矩阵变换将相对位置信息直接编码到Q和K向量中，使得内积结果自然包含相对位置信息。它被广泛用于LLaMA、ChatGLM等现代语言模型，兼具绝对编码的简洁和相对编码的灵活性。

3.3 训练技巧与优化

3.3.1 学习率热身（Warm-up）

训练初期使用较小的学习率，然后逐步增加到预设值（如通过线性或cosine调度）。这能防止模型参数在初始随机状态下发生严重振荡。常见做法：前几千步学习率从0线性增加到峰值，之后余弦衰减。

3.3.2 标签平滑与 Dropout

标签平滑：将硬目标标签（0或1）替换为软目标（如0.9/0.1），降低模型过自信，提升泛化。
Dropout：在注意力、FFN和嵌入层中随机丢弃部分神经元，减少过拟合。

3.3.3 混合精度训练与梯度累积

混合精度：使用FP16处理前向和反向传播，FP32维护权重副本，在保证精度的同时节省显存并加速。
梯度累积：当显存不足以装下整个batch时，将大batch拆成多个小batch逐一计算梯度并累加，然后一次性更新参数。

4 主要应用领域

4.1 自然语言处理

4.1.1 预训练语言模型（BERT、GPT、T5）

BERT（双向编码器）：使用编码器结构，通过掩码语言建模和下一句预测进行预训练，擅长分类、问答等各类理解任务。
GPT（自回归解码器）：使用解码器结构，通过下一个词预测预训练，擅长文本生成、对话等任务。
T5（文本到文本）：将所有NLP任务统一为“文本到文本”格式，使用编码器-解码器结构。

4.1.2 机器翻译的经典案例

Transformer诞生之初就在WMT 2014英德翻译上达到BLEU 28.4，比当时最佳模型提升2个点以上，且训练时间仅需几天（RNN需数周）。如今几乎所有商用翻译系统（Google Translate、DeepL）都基于Transformer或其变体。

4.1.3 文本生成与对话系统

ChatGPT（基于GPT系列）代表了文本生成的巅峰，能够完成故事创作、代码生成、多轮对话等。Transformer的自回归生成机制使其能够逐字输出连贯的长文本。

4.2 计算机视觉

4.2.1 Vision Transformer（ViT）

将图像打散成固定大小的块（patches，如16×16像素），并将每个块视为一个“词”输入Transformer编码器。ViT在ImageNet分类上超越了CNN（ResNet）表现，但需要大量数据和更强的计算资源。

4.2.2 目标检测中的 DETR

DETR（Detection Transformer）将目标检测视为一个集合预测问题，使用Transformer编码器处理图像特征，解码器输出一组预测框。它去掉了传统检测中的锚框和后处理（NMS），实现端到端检测。

4.2.3 图像生成与分割

图像生成：如ViT-GAN和DALL·E，使用Transformer建模图像块的分布。
分割：如SETR（Segmentation Transformer），将语义分割视为序列到序列的任务，输出每个像素的类别。

4.3 多模态与跨领域

4.3.1 文本-图像模型（CLIP、DALL·E）

CLIP：使用双编码器架构（文本Transformer和图像Transformer），通过对比学习将图像和文本映射到同一向量空间，实现零样本分类。
DALL·E：将文本和图像块视为统一序列，使用大规模Transformer生成图像。

4.3.2 语音识别与合成

语音识别（如Whisper）：将音频特征序列输入Transformer，输出文本。
语音合成（如FastSpeech）：使用Transformer生成梅尔频谱，再转为波形。

4.3.3 强化学习中的决策 Transformer

将离线强化学习建模为序列预测问题：输入状态-动作-奖励序列，输出未来动作。决策Transformer在Atari和D4RL等基准上表现优异，将RL转化为条件生成任务。

5 性能与挑战

5.1 优势：并行性与长程依赖

并行计算：自注意力可一次性计算所有位置的注意力分数，不受时间步限制，适合GPU并行加速。
长程依赖：每个位置可以直接关注序列中任意其他位置（理论上可关注全局），不像RNN受隐藏状态容量限制。

5.2 问题：二次复杂度与显存开销

5.2.1 长序列处理的困境

当序列长度n达到数千或数万时，注意力矩阵占用O(n²)显存（如n=1万时，矩阵有1亿个元素），时间和空间开销急剧上升。这使得Transformer处理长文档、长视频或长生物序列时捉襟见肘。

5.2.2 稀疏化与硬件优化的尝试

稀疏注意力（如Longformer、BigBird）：只计算局部窗口和少量全局位置的注意力，复杂度降到O(n)。
硬件优化：使用FlashAttention等算法替换标准注意力计算，利用GPU共享内存和分块处理，大幅降低显存占用，加速注意力计算。

5.3 可解释性困境

5.3.1 注意力可视化能说明什么？

传统上，研究人员通过可视化注意力权重试图观察模型“关注”了哪些输入位置。例如，在机器翻译中，解码器关注编码器中的对应源词。但近年研究表明，注意力权重并不是可靠的“重要性解释”——模型可能将大量权重分配给无关位置，或者受训练数据噪声影响。

5.3.2 “黑盒”中的反常识行为

Transformer的决策过程高度复杂，难以通过简单规则理解。例如，同一个模型可能对输入中的微小扰动（如插入一个空格）产生完全不同的输出。各种归因方法（LIME、SHAP、集成梯度）虽能提供部分洞察，但往往不一致或过于片面。因此，Transformer在医疗、金融等高风险场景中的应用仍面临可解释性的附加挑战。

6 未来展望

6.1 向更大规模迈进：稀疏 MoE 与超大规模 Transformer

稀疏混合专家（MoE）：在Transformer中嵌入多个专家网络，每个样本只激活其中的几个专家。这允许模型参数量大幅增加（如万亿级），但计算开销可控。Google的PaLM、DeepSeek等已采用此技术。
超大规模训练：未来可能出现10万亿甚至更大参数的模型，依赖更强的算力、更优的数据和更高效的并行策略。

6.2 高效部署：模型量化与剪枝

量化：将模型权重从FP32压缩为INT8甚至INT4，在保持精度的前提下显著减少显存占用和推理延迟。
剪枝：移除对模型输出影响较小的注意力头或参数，实现模型轻量化。结构化剪枝（如移除整个头或层）尤其适用于边缘设备。

6.3 与神经符号系统的融合

将Transformer的分布表示与符号逻辑相结合，试图解决当前模型在推理和常识方面的短板。例如，在Transformer输出中加入形式化约束，或使用基于图的方法增强推理能力。

6.4 永恒的话题：Transformer 是否会被颠覆？

历史总是螺旋上升：Transformer颠覆了RNN和CNN，那么它自己是否也会被颠覆？一些有潜力的候选者包括：

状态空间模型（Mamba、S4），将长序列建模与RNN形式的递归结合起来，兼具并行训练和线性推理复杂度。
图神经网络与Hyena架构，尝试在频域或结构域中进行更高效的序列建模。

目前来看，Transformer在近期仍是主流，但“全栈式”的革命性架构可能在不远的将来打破现状。

7 文化影响与趣闻

7.1 “Attention Is All You Need”的 meme 文化

原论文标题因其霸气的宣言而流行，衍生出各种致敬和恶搞，如“Convolution Is All You Need”“Dropout Is All You Need”等。甚至在社交媒体上，这张论文标题截图本身就成为了“只要提出一个简单的想法就能封神”的象征。

7.2 Transformer 与变形金刚（同名梗）

“Transformer”在英语中的另一常见含义是“变形金刚”系列机器人。这也导致不少非专业网友在看到新闻报道时困惑：“变形金刚模型是什么？能变汽车？”深度学习从业者常用这个梗来自嘲：我们研究的不是会变形的机器人，而是会变形（transform）的数据。

7.3 从业者自嘲：调参师与“显卡金融”

调参师：训练Transformer时，大量时间花在调整学习率、batch size、层数等超参数上，偶尔能获得意想不到的效果，更多时候只是在下班前跑完一次实验。
“显卡金融”：高端显卡（如NVIDIA A100、H100）价格昂贵，训练大型Transformer模型需要大量算力，这直接催生了云算力租赁市场。从业者戏称：“与其炒股，不如买卡出租给AI公司，稳赚不赔。”还衍生出“算力即权力”的说法。