1 背景与动机

自监督学习的出现源于传统机器学习范式在面对大规模无标签数据时的固有短板。随着互联网数据量的爆炸式增长，如何在没有人工标注的条件下从数据中提取有用信息，成为推动人工智能发展的核心课题。

1.1 监督学习的瓶颈：对海量标注的依赖

监督学习长期以来主导着机器学习领域，但其成功建立在大量精准标注数据的基础上。标注过程往往需要专家介入，成本高、耗时长且难以扩展到新领域。例如，在医学影像分析中，一名放射科医生标注一张CT图像可能需要数十分钟；在自然语言处理中，为情感分类任务标注千万级句子几乎不可行。此外，许多现实场景（如自动驾驶中的罕见路况）天然缺乏标签，这使得纯粹依赖监督学习的方法在数据稀缺时表现急剧下降。

1.2 无监督学习的困境：缺乏明确优化目标

无监督学习试图摆脱标签束缚，关注数据本身的分布规律（如聚类、降维）。然而，由于没有明确的“正确答案”可供反馈，无监督方法往往缺乏一个清晰、通用的优化目标。传统技术如K-means或主成分分析（PCA）虽然能揭示底层结构，但学到的表征在迁移到具体任务（如分类、检测）时，效果通常远不及监督学习。这种“学而无向”的困境限制了无监督学习的实际应用价值。

1.3 自监督学习的诞生：用数据本身创造“虚拟教师”

自监督学习巧妙地化解了上述矛盾。其核心思路是：利用数据自身的某种结构或变换关系，设计一个“辅助任务”，该任务能从无标签数据中自动生成伪标签。模型通过完成该任务来学习表征，而这个“虚拟教师”（即数据本身提供的监督信号）不需要人工成本。简而言之，自监督学习将无标签数据转变成有标签数据，从而保留了监督学习的优势（目标明确、梯度稳定），同时大幅降低了标注依赖。

2 核心概念

2.1 辅助任务（Pretext Task）

辅助任务是自监督学习的设计核心。它是一个由研究人员精心构造的“假”任务，其目标并非直接服务于最终应用，而是迫使模型理解数据的深层结构。例如，在一张图像中随机隐藏一个区域并要求模型预测该区域的内容——模型只有真正理解图像中的物体和场景关系才能完成预测。常见的辅助任务包括：预测图像旋转角度、判断两段文本是否连续、恢复被破坏的视频帧顺序等。辅助任务的难度与“表征质量”呈正相关：任务越复杂，模型学到的语义信息越丰富。

2.2 表征学习（Representation Learning）

表征学习是自监督学习的最终目的。模型通过辅助任务训练，将原始数据（像素、单词、波形等）转化为一个低维、稠密的向量表示（即“表征”或“嵌入”）。一个好的表征应该具备两个特性：不变性（对噪声、光照、视角变化等保持稳定）和判别性（能区分不同类别或语义的样本）。自监督学习的目标就是让这个表征在后续下游任务（分类、聚类、检索等）中表现优异。

2.3 伪标签（Pseudo Label）

2.3.1 自动生成的监督信号

伪标签是指由数据自身结构自动生成的标签，而非人工标注。以旋转预测任务为例：对图像进行0°、90°、180°、270°旋转，旋转角度本身即为伪标签。模型需要学习“图像内容是直立”这一内在规律，才能正确判断旋转角度。类似地，在掩码语言模型中，被遮挡的词的位置和正确词即为伪标签。这些标签不需要人工参与，完全由数据驱动生成。

2.3.2 与噪声标签的区别

伪标签≠噪声标签。噪声标签是指人工标注中的错误或随机标签，通常无序且有害；而伪标签由数据本身的确定变换产生，具有明确的逻辑关系和语义一致性。例如，图像旋转90°后，正确标签永远是“90°”，不存在歧义。因此，伪标签是高质量、无歧义的监督信号，为自监督学习提供了可靠优化基础。

3 主要方法分支

3.1 基于生成的方式

基于生成的方法要求模型根据部分观察到的信息预测或重建被隐藏的数据部分。这类方法强调对数据分布的全局理解，学到的表征通常包含丰富的细节信息。

3.1.1 自编码器与变分自编码器

自编码器（Autoencoder）是最早的生成式自监督模型之一。它由编码器（将输入压缩为低维表征）和解码器（从表征重建输入）组成，通过最小化重建误差学习表征。变分自编码器（VAE）引入概率视角，将表征建模为高斯分布，使得生成过程更具鲁棒性和创造性。虽然传统自编码器学到的表征在分类任务上往往不如后起之秀，但它们在降维、去噪和生成任务中仍有广泛应用。

3.1.2 掩码重建（如BERT、MAE）

掩码重建是当前最主流的生成式自监督方法之一，要求模型从被破坏的数据中恢复原始内容。

3.1.2.1 文本：随机掩码语言建模

BERT（Bidirectional Encoder Representations from Transformers）开创性地在文本中随机掩码15%的词汇，要求模型根据上下文预测被遮挡的词。这种方式迫使模型同时理解左右两侧的语境，从而学得双向语义表征。掩码语言建模（Masked Language Model，MLM）已成为NLP预训练的基石，几乎所有的现代语言模型（如RoBERTa、ALBERT）均以此为底。

3.1.2.2 图像：随机掩码图像重建

MAE（Masked Autoencoder）将掩码思想引入视觉领域。它随机遮挡图像中75%的像素块（patch），只保留可见部分送给编码器，然后由轻量解码器重建完整图像。由于掩码比例极高，模型必须学会从稀疏线索中推测全局图像内容，极大地促进了视觉表征的质量。MAE证明了“少即是多”：高掩码比例反而迫使模型学习更抽象的语义。

3.2 基于对比的方式

对比学习通过拉近相似样本（正样本）、推远不相似样本（负样本）来学习表征。其核心假设是：不同增强视图下的同一实例在表征空间中应彼此接近，而不同实例应相互远离。

3.2.1 正负样本构造（SimCLR、MoCo）

正样本通常由同一张图像经不同数据增强（裁剪、颜色抖动、旋转等）生成的两张视图构成。负样本则是其他图像或其增强视图。SimCLR使用一个大规模批内采样策略，将同一批内的其他所有样本视为负样本。MoCo（Momentum Contrast）则通过维护一个动态队列存储历史负样本，并使用动量编码器保持特征一致性，从而支持更大规模的负样本池。正负样本的构造质量直接影响对比学习的效果。

3.2.2 实例判别（Instance Discrimination）

这是对比学习的基础思想：将每个样本视作一个独立的类，模型需要区分当前的输入是“哪一张原始图像”。例如，给定一张猫的图片，模型应从数千张不同猫的图片中辨别出哪一张是原图。这种“类内无歧视”的设定使得模型能够学习到细粒度的个体特征，进而泛化到通用分类任务。

3.2.3 对比学习的“玄学”：温度系数与负样本数量

温度系数τ是InfoNCE损失中的一个超参数，控制着相似度分布的“软硬”程度。τ较小时，损失对正负样本的区分更“严厉”，模型倾向于放大相似度差异，这可能导致梯度爆炸或不稳定；τ较大时，模型学习更平滑，但可能忽略细节差异。负样本数量也是关键：理论上越多越好，但受限于硬件资源。MoCo通过队列机制突破了这一限制，而SimCLR需要超大batch size来容纳足够多的负样本。业界笑称：“调τ和改batch size是搞对比学习的日常玄学。”

3.3 基于变换的方式

基于变换的方法将输入数据经过某种确定性的几何或语义变换，模型需要预测该变换的类型或参数。这类方法通常简单高效，适合小规模实验。

3.3.1 旋转预测（RotNet）

RotNet要求模型预测一张图像被旋转的角度（0°、90°、180°、270°四选一）。模型只有理解了物体的“正确朝向”（如人脸通常是正面向上、汽车通常水平停放），才能正确预测旋转角度。旋转预测任务在图像分类预训练中取得了不错的效果，且几乎无需额外参数。

3.3.2 拼图任务（Jigsaw Puzzle）

将一张图像分割成若干小块（例如3×3共9块），然后随机打乱顺序。模型需要预测正确的拼接顺序。这个任务迫使模型理解局部区域之间的空间关系和全局布局，适合学习场景结构的表征。

3.3.3 相对位置预测（Context Prediction）

给定图像中两个随机裁剪的patch，模型需要判断它们之间的空间位置关系（如“左-右”“上-下”）。该任务促使模型关注局部细节的一致性，常用于检测和分割预训练。

3.4 基于视频时序的方法

视频天然包含时间维度，为自监督学习提供了丰富的时序信号。模型通过预测帧与帧之间的关系来学习运动、动态和因果结构。

3.4.1 帧序预测

模型被要求判断一个视频片段中的帧序列是否被正确排序（即“时序正确性”）。这迫使模型理解物体运动的物理规律（如水往下流、车往前开），从而学得动态表征。有时任务被简化为“选取第三帧”——从连续帧中挑出被打断的那一帧。

3.4.2 时间一致性与慢特征分析

时间一致性假设：相邻帧在语义上应保持稳定，而表征应随时间平滑变化。慢特征分析（Slow Feature Analysis，SFA）通过优化“表征随时间的改变尽可能缓慢”来学习不变性特征。例如，在监控视频中，不同帧中的同一张人脸应在表征空间里彼此靠近，而背景变化则被抑制。这类方法常用于人体动作识别、视频指纹提取等。

4 经典模型与架构

4.1 计算机视觉

4.1.1 SimCLR：简单的对比学习框架

SimCLR（A Simple Framework for Contrastive Learning of Visual Representations）以其简洁性著称。它由一个共享编码器（通常是ResNet）和一个投影头（MLP）构成：对同一批图像施加不同增强，生成正样本对；损失函数为NT-Xent（归一化温度标度的交叉熵损失）。SimCLR不需要特殊的网络结构或记忆机制，但需要超大batch size（如4096）来提供足够多的负样本。其成功证明了“数据增强+对比损失”就足以学到高质量表征。

4.1.2 BYOL：不需要负样本的“自举”

BYOL（Bootstrap Your Own Latent）颠覆了“对比学习必须负样本”的共识。它使用两个网络（在线网络和目标网络），在线网络通过预测目标网络的表征来学习，而目标网络则是在线网络的缓慢移动平均。BYOL通过停止梯度传播和防止“表示坍塌”的机制，在没有负样本的情况下依然表现优异。它被戏称为“自学成才的典范”，但也引发了关于其背后原理的激烈讨论（有人认为它隐式地利用了批统计信息作为负样本）。

4.1.3 SwAV：在线聚类与交换预测

SwAV（Swapping Assignments between Views）结合了对比学习和聚类思想。它对同一张图像生成两种增强视图，并将每个视图分配给一个在线学习的聚类中心（“原型”）。模型需要让一个视图的聚类分配能够预测另一视图的聚类分配。SwAV不仅不需要负样本，还可以在较小的batch size下高效运行，并在ImageNet分类准确率上一度刷新纪录。

4.2 自然语言处理

4.2.1 BERT：掩码语言模型+下一句预测

BERT是NLP领域里程碑式的自监督模型，由两个辅助任务组成：1）掩码语言模型（MLM）：随机掩码15%的词汇，预测被遮挡的词；2）下一句预测（NSP）：判断两个句子是否为原文中的连续句。NSP任务后来被证明对下游任务贡献有限（许多后续模型如RoBERTa直接移除NSP），但MLM本身已足够强大。BERT开启了NLP预训练+微调的范式，至今仍是大多数语言模型的评测基准。

4.2.2 GPT系列：自回归语言模型

GPT（Generative Pre-trained Transformer）系列采用自回归方式：给定上文，预测下一个词。这是一种典型的生成式自监督学习，模型通过最大化序列似然来学习语言规律。GPT-1首次证明预训练语言模型可以迁移到下游任务；GPT-3则展示了超越零样本和少样本的能力。与BERT的“双向注意”不同，GPT使用单向（从左到右）注意，这使其更擅长文本生成。

4.2.3 ELECTRA：替换检测（Replaced Token Detection）

ELECTRA（Efficiently Learning an Encoder that Classifies Token Replacements Accurately）提出一种更高效的生成式方法：一个小型生成器（通常是MLM）先随机替换部分词汇，然后判别器需要判断每个位置是否被替换过。ELECTRA避免了“只预测少量掩码位置”的低效问题（BERT仅预测15%的token），而是让模型对所有位置进行二分类，从而在更少的计算量下取得更好效果。

4.3 多模态与跨模态

4.3.1 CLIP：图文对比学习

CLIP（Contrastive Language-Image Pre-training）由OpenAI提出，通过对比学习将图像和文本嵌入同一语义空间。训练时，模型需要从4亿个图文对中匹配正确的图像-文本对，与错误配对相区分。CLIP的最大亮点是零样本迁移：在推理时，只需将目标类别的名称（如“cat”）嵌入文本空间，找出与之最相似的图像表征即可。CLIP展示了跨模态自监督学习的巨大潜力，被广泛应用于图像检索、多模态搜索等。

4.3.2 DINO：自蒸馏视觉Transformer

DINO（DIstillation with NO labels）是一种自监督视觉Transformer训练方法。它借鉴了BYOL的动量编码器思想，但将目标网络换成“教师网络”，在线网络为“学生网络”，通过交叉熵损失使学生预测教师的输出。DINO的独特之处在于：1）输出是soft cluster分配，而非连续向量；2）学到的表征具有惊人的语义分割能力，即使未在分割任务上训练。DINO证明了自监督学习对Transformer架构尤其友好。

5 训练流程与技巧

5.1 数据增强：自监督学习的“灵魂”

没有丰富的增强策略，自监督学习无法有效工作。数据增强本质上是为模型创造“正样本对”——即同一数据的不同变换视图，迫使模型学习到不变性。

5.1.1 视觉增强（裁剪、翻转、色彩抖动）

在视觉自监督学习中，常见的增强手段包括：

  • 随机裁剪和缩放：强制模型忽略局部细节，关注全局结构。
  • 随机水平/垂直翻转：增加几何不变性。
  • 色彩抖动（随机改变亮度、对比度、饱和度、色调）：迫使模型对颜色变化不敏感，关注形状和纹理。
  • 灰度化：进一步消除颜色依赖。
  • 高斯模糊：模拟失焦或运动模糊。

这些增强的组合是SimCLR等模型成功的关键。研究人员发现，不同的增强对效果的贡献差异巨大，例如“裁剪”和“色彩抖动”通常至关重要，而“旋转”在某些任务上可能有害。

5.1.2 文本增强（回译、插入掩码）

文本增强在NLP自监督学习中相对稀疏，但仍有重要策略：

  • 回译：将文本翻译成其他语言再翻译回来，生成语义相似但措辞不同的版本（作为正样本）。
  • 随机插入掩码：与BERT的掩码类似，但作为增强手段而非辅助任务。
  • 同义词替换：使用WordNet或上下文嵌入替换关键名词/动词。
  • 句子洗牌：打乱句子顺序（对因果任务，如文档排序）。

文本增强有时面临的挑战是：过度增强可能改变语义，导致伪标签退化。

5.2 批归一化与坏样本工程

5.2.1 Memory Bank vs. Momentum Encoder

对比学习需要大量负样本，但受限于硬件（batch size有限）。早期方法如Memory Bank（记忆银行）存储所有样本的历史特征，动态更新，但特征过时严重。MoCo提出了Momentum Encoder（动量编码器）：一个缓慢更新的编码器，用于生成待比较样本的特征，保证了负样本库中特征的一致性。这种“以时间换空间”的策略显著提升了对比学习的稳定性和最终效果，促使后续方法广泛采用。

5.2.2 防止模型坍塌的策略

模型坍塌（collapse）是指所有样本的表征被压缩到一个点或一个小簇，导致对比损失值极小但无区分能力。主要防止策略包括：

  • 负样本策略：SimCLR的batch内对比天然防止坍塌（因为和其他样本不同）。
  • 预测头：BYOL使用在线网络预测目标网络输出，通过停止梯度传播避免吸引子。
  • 聚类约束：SwAV通过软分配避免所有样本落入同一原型。
  • 批归一化：合理的批统计可以防止特征均值和方差退化。
  • 正则化：如“均匀分布正则化”鼓励表征均匀分布在超球面上。

5.3 损失函数选择

5.3.1 对比损失（InfoNCE）

InfoNCE（Info Noise-Contrastive Estimation）是对比学习标准损失函数。给定正样本对（x, x⁺）和K个负样本{x⁻ᵢ}，其形式为：

L = -log( exp(sim(f(x), f(x⁺))/τ) / Σⱼ exp(sim(f(x), f(xⱼ))/τ) )

其中sim(·)通常为余弦相似度，τ为温度系数。InfoNCE的直观理解是：将正样本的相似度分数在全体样本中“归一化”，迫使模型赋予正样本最高概率。其数学本质是最大化互信息的下界。

5.3.2 均方误差与余弦相似度

生成式方法更常用均方误差（MSE）或余弦相似度。例如，MAE的图像重建使用MSE损失，衡量像素级差异。在对比任务中，有时也直接用MSE优化两个表征的距离（如SimSiam）。余弦相似度则用于度量表征向量方向的一致性，常与对比损失结合（如SimCLR）。这些损失函数的选择高度依赖于具体任务和数据特性。

6 应用与迁移能力

6.1 下游微调（Fine-tuning）

自监督预训练最直接的应用是作为下游任务的初始化参数。模型先在无标签数据上通过辅助任务学习通用表征，再在小规模有标签数据上微调全部或部分参数。这种“预训练-微调”范式在计算机视觉和NLP中均已证明显著提升效果，尤其适用于目标域数据稀缺的场景。

6.2 半监督与少样本学习

在只有少量标注样本的情况下，自监督预训练可以大幅降低监督学习的需求。例如，利用自监督预训练后的模型，只需要1%的ImageNet标签即可达到与传统监督学习（100%标签）接近的性能。半监督学习常使用自监督表征作为特征提取器，甚至与一致性正则化（如MixMatch）结合。自监督学习因此被视为解决“数据饥渴”问题的重要工具。

6.3 零样本迁移

零样本迁移指模型在未见过目标任务任何样本的情况下，仅凭预训练知识完成新任务。这体现了自监督学习表征的泛化能力。

6.3.1 视觉-语言预训练的跨模态泛化

CLIP是零样本迁移的典范：在训练时只见过图像-文本对比，但在推理时，通过将类别名称嵌入文本空间，可以直接对未见过的图像进行分类。例如，在CIFAR-10上零样本分类准确率超过90%。这种能力源于跨模态对比学习强制模型将视觉和语义信息对齐。

6.3.2 文本分类的零样本能力

自监督语言模型（如GPT-3）通过“提示工程”（Prompt Engineering）实现零样本分类——给定任务描述和输入文本，模型直接输出预测标签。例如，输入“这篇影评是正面还是负面？”和具体影评，模型即可回答。这种能力依赖于训练时学习到的丰富的语言知识，而非特定任务的标注数据。

6.4 工业落地案例

6.4.1 图像检索与特征提取

在电商、安防等领域，自监督预训练模型被广泛用于图像特征提取。例如，一个在亿级无标签商品图上使用SimCLR预训练的模型，可直接为新增商品生成高区分度的特征向量，用于以图搜图。相比监督模型，这种方法无需人工标注，且对新类别适应更快。

6.4.2 异常检测与无监督预训练

在工业场景中，异常样本往往稀少且多样。自监督学习可以预训练一个编码器，提取检测目标的“正常”特征分布，然后通过度量新样本特征与正常分布之间的距离来判断异常。例如，在流水线产品缺陷检测中，MAE模型可以在正常产品图片上预训练，然后将重建误差作为异常分数。这显著降低了视觉检测中标注异常样本的成本。

7 挑战与未来方向

7.1 辅助任务设计的“内卷”

随着大量自监督方法被提出，辅助任务的设计逐渐陷入“军备竞赛”状态。每种新方法都在竭力改进数据增强、网络结构或损失函数，以在ImageNet等基准上提升1-2个点。这种“内卷”导致真正的创新空间变小，同时许多方法的实际有效性（对下游任务的泛化）可能被高估。未来可能更需要从理论和认知科学角度理解“什么样的任务才是好任务”。

7.2 计算资源消耗的争议

许多自监督方法（如SimCLR需要4096的batch size、CLIP需要4亿图文对）需要巨大的计算资源（数百GPU天），受到“低碳AI”倡导者的批评。相比之下，监督学习在某些任务上可以用更少的计算达到相近性能。尽管有MoCo等资源友好型方法出现，但自监督学习的计算开销仍是一大痛点。未来轻量化、适应性学习可能是突破口。

7.3 表征的可解释性与公平性

自监督学习学到的表征往往被视为“黑盒”。研究人员很难解释模型为何将两个输入视为“相似”——是基于颜色、形状还是语义？这种不可解释性在医疗、法律等高风险领域构成障碍。同时，自监督预训练可能继承训练数据中的社会偏见（如肤色、性别），导致下游模型产生不公平行为。如何让自监督表征透明、公平，是重要的伦理挑战。

7.4 与对比学习、生成式模型的融合趋势

目前对比学习和生成式方法逐渐趋向融合。例如，iGPT结合了图像的自回归生成和对比学习；MaskCLIP结合掩码重建与对比学习。这种融合旨在同时获得生成式模型的细节还原能力和对比式模型的判别能力。未来可能出现统一框架，将多种辅助任务整合到单一训练范式下。

8 常见误区与调侃

8.1 “自监督就是无监督？”——哲学问题

很多初学者将自监督与无监督混为一谈。严谨来说，自监督属于无监督的一种特殊形式——它使用伪标签，但伪标签来自数据而非人工。幽默一点讲：无监督像“放羊”，不知道羊要去哪；自监督像“带着作业的羊”，羊得猜作业答案，虽然没人批改，但作业本身提供了方向。这二者在哲学上确有差异，但在学术界常常并讨论。

8.2 “加一个随机裁剪，模型就变强了？”——数据增强的魔法

许多初入自监督学习的人会惊讶于“仅仅加个裁剪和颜色抖动”就能让模型性能提升一截。这背后有一个尴尬的事实：传统的监督学习往往忽略了数据增强的巨大潜力（因为标签已经足够）。自监督学习因为“没有标签”而被迫优化增强策略，结果意外发现：好的数据增强比换一个复杂模型更有效。有调侃说：“自监督学习的灵魂不是模型，而是数据增——augmentation is all you need。”

8.3 “对比学习：为什么负样本越多越好？因为‘林子大了什么鸟都有’”

这句调侃形象地解释了负样本的作用。对比学习在拉近正样本的同时，需要大量负样本作为“反例”，帮助模型学习数据的边界。如果负样本太少，模型可能“只见树木不见森林”——将所有样本都映射到附近区域；负样本足够多时，模型从“小圈子”中解脱，学会区分更广范围的模式。于是有了“负样本越多，模型看到的‘鸟’种类越多，自然更能分辨好鸟坏鸟”之说。

---

参考文献

可参考自监督学习领域经典论文：SimCLR、MoCo、BYOL、SwAV、BERT、GPT系列、CLIP、MAE、DINO、ELECTRA等，相关文献可查阅相应原始出版物或综述（如“Self-Supervised Learning: Generative or Contrastive”）。