1 定义与背景
下游任务（Downstream Task）在机器学习和自然语言处理中，指在预训练模型（如BERT、GPT等）基础上，针对特定应用场景进行微调或适配的具体任务。其核心思想是利用预训练模型从大规模无标注数据中习得的通用语言或视觉表征，再通过少量标注数据将其迁移到狭义问题（如文本分类、命名实体识别、情感分析等），从而有效降低对大量人工标注的依赖。这一范式是现代深度学习“预训练+微调”主流框架的基石，广泛应用于搜索引擎、智能客服、推荐系统等领域。
1.1 预训练与下游任务的关联
预训练阶段通常在大规模、无标注的通用数据集上进行，模型通过自监督学习（如掩码语言建模、对比学习等）捕获数据中的通用模式。下游任务则利用这些预训练权重作为初始化，在特定任务的小型标注数据集上继续训练（即微调），使模型适应目标领域的分布。二者通过共享底层特征提取器实现知识迁移：预训练提供通用能力，下游任务赋予专用能力。
1.2 迁移学习在下游任务中的作用
下游任务本质上是迁移学习的一种应用。预训练模型从源任务（自监督学习）中获得的特征表示，对于目标任务（如分类、标注）具有高度可复用性。迁移学习帮助下游任务在标注数据稀缺时仍能获得较好性能：通过冻结部分预训练参数或全参数微调，模型可以保留已学到的语义或视觉结构，同时避免从零训练带来的过拟合风险。此外，迁移学习还支持跨领域、跨模态的知识传递，进一步拓展了下游任务的适用范围。
2 下游任务的常见类型
根据输入数据的模态和应用目标，下游任务可分为自然语言处理、计算机视觉和多模态三类。每种类型包含若干子任务，均以预训练模型为基础进行适配。
2.1 自然语言处理任务
自然语言处理（NLP）是下游任务最活跃的领域，典型任务包括文本分类、序列标注和问答推理。这些任务通常基于BERT、GPT等预训练语言模型，通过微调实现高效适配。
2.1.1 文本分类
文本分类要求模型将输入文本划分到预定义的类别中，如情感分析（正面/负面）、主题分类（体育/科技）等。常见做法是在预训练模型的输出层添加一个分类头，使用交叉熵损失进行微调。该任务简单高效，是检验预训练模型迁移能力的基础基准。
2.1.2 序列标注
序列标注为输入序列中的每个元素（如词或字符）分配一个标签，常见子任务包括命名实体识别和词性标注。模型通常使用条件随机场（CRF）或线性分类层结合预训练表示进行解码。
2.1.2.1 命名实体识别
命名实体识别（NER）旨在识别文本中的专有名词（如人名、地名、组织名），并将其归类。该任务对预训练模型的上下文理解能力要求较高，常用于信息抽取和知识图谱构建。
2.1.2.2 词性标注
词性标注（POS Tagging）为每个词语标注其语法类别（如名词、动词、形容词）。尽管有传统的统计方法，预训练模型通过微调可显著提升标注准确率，尤其对罕见词和歧义词更为鲁棒。
2.1.3 问答与推理
问答与推理任务要求模型根据给定问题从文本中提取答案或进行逻辑推断。常见形式包括抽取式问答（如SQuAD）和多项选择推理。预训练模型通过添加答案跨度预测头或全连接分类层来实现，需要良好的上下文关联能力。
2.2 计算机视觉任务
计算机视觉下游任务利用图像预训练模型（如ResNet、ViT）进行特征迁移，涵盖图像分类、目标检测与分割等。这些任务共享视觉特征的底层结构，但在输出形式和损失函数上有所不同。
2.2.1 图像分类
图像分类是最基础的视觉下游任务：将输入图像分配到预定义的类别中。通常做法是冻结或微调预训练卷积网络或Transformer的骨干，并在末端添加全局平均池化和全连接分类层。ImageNet预训练模型在该任务上表现优异。
2.2.2 目标检测与分割
目标检测需要定位图像中多个目标的边界框并分类，常用框架包括Faster R-CNN和YOLO，其骨干网络常使用预训练权重初始化。语义分割则为每个像素分配类别标签，常见架构如U-Net和DeepLab，同样受益于预训练特征。这些任务要求模型兼顾局部细节与全局语义。
2.3 多模态下游任务
多模态下游任务同时处理文本、图像、语音等多种模态的数据，典型应用包括视觉问答（VQA）、图像描述生成、跨模态检索等。预训练多模态模型（如CLIP、BLIP）在大量图文对上学习联合表示，下游任务只需微调少量参数即可对齐不同模态的特征空间。这类任务面临模态对齐和融合的挑战，也是近年研究热点。
3 技术实现方法
下游任务的具体实现方法主要包括微调、特征提取与线性探针、以及提示学习。不同方法在参数更新范围、计算成本和性能表现上各有取舍。
3.1 微调（Fine-Tuning）
微调是下游任务最主流的方法：在预训练模型的基础上，使用目标任务的标注数据对整个模型或部分参数进行继续训练。根据更新参数的范围，可分为全参数微调和参数高效微调。
3.1.1 全参数微调
全参数微调更新预训练模型的所有权重，使模型完全适应目标任务的数据分布。该策略表现最强，但计算开销大，且容易在标注数据量小时过拟合。通常适用于中等规模以上的标注集。
3.1.2 参数高效微调（如LoRA、Adapter）
参数高效微调在预训练模型中插入少量可训练参数（如低秩矩阵或小型适配器模块），同时冻结原始模型的绝大部分权重。典型方法包括LoRA（在注意力权重上附加低秩分解）和Adapter（在Transformer层间插入小型前馈网络）。这些方法显著减少存储和训练成本，且在大规模模型（如GPT-3）上表现接近全参数微调。
3.2 特征提取与线性探针
特征提取方法将预训练模型视为固定的特征提取器，冻结其参数，仅对提取出的特征向量训练一个线性分类器（线性探针）。该方法计算成本极低，适合标注数据极少且模型容量不足的场景，但性能通常低于微调。常用于评估预训练表示的质量。
3.3 提示学习（Prompt-based Learning）
提示学习通过设计特定的输入模板（如“这段评论是正面的：[MASK]”）或学习连续向量（软提示），引导预训练模型直接输出任务答案，而不修改模型参数。典型方法包括离散提示（如GPT-3的少样本提示）和可学习的连续提示（如Prefix-Tuning）。该方法在零样本或极少样本场景下表现突出，尤其适合大型语言模型。
4 评估与优化
下游任务的性能评估依赖于具体任务的标准指标，优化方法则侧重解决数据稀缺、过拟合和泛化问题。
4.1 常用评估指标
不同任务采用差异化的指标来衡量模型预测与真实标签的一致性。
4.1.1 准确率、召回率与F1值
准确率（Precision）表示预测为正例的样本中真实正例的比例；召回率（Recall）反映真实正例中被正确预测的比例；F1值是二者的调和平均。这三项指标广泛用于分类和序列标注任务，尤其在类别不平衡时更为关键。微调模型通常通过观察F1值变化来判定性能。
4.1.2 困惑度与BLEU
困惑度（Perplexity）常用于评估语言模型的生成质量，值越低表示模型对测试集的预测越准确。BLEU（Bilingual Evaluation Understudy）是机器翻译和文本生成任务的常用指标，通过计算n-gram重叠率来衡量生成文本与参考文本的相似度。这两种指标在预训练模型的评估中也会作为下游任务的参考。
4.2 数据增强与少样本学习策略
数据增强通过生成合成样本来扩充有限标注数据，例如在文本中随机替换同义词、在图像中旋转裁剪。少样本学习策略则结合度量学习、元学习或提示学习，使模型仅从极少量实例中快速适应。微调过程中，数据增强可有效缓解过拟合，而少样本策略是预训练模型在标注成本高昂时的关键优势。
4.3 过拟合与正则化技巧
下游任务中，由于标注数据集通常较小，过拟合是主要风险。常用正则化技巧包括：权重衰减（L2正则化）、Dropout、早停（Early Stopping）以及学习率预热（Warm-up）。对于全参数微调，使用较小的学习率（如2e-5至5e-5）有利于保持预训练特征的稳定性。参数高效微调方法本身也因参数量少而具有一定抗过拟合能力。
5 应用场景与挑战
下游任务在工业界已广泛落地，但依然面临领域迁移、标注成本等关键挑战。
5.1 工业界典型应用
预训练模型在下游任务中赋能多个实际系统，显著提升自动化和智能化水平。
5.1.1 搜索引擎语义匹配
搜索引擎通过微调BERT等模型实现查询与文档的语义匹配，替代传统的关键词匹配，提升搜索结果的准确性。下游任务通常被建模为相关性排序或点击率预测，模型需理解查询意图并识别文档中的关键信息。
5.1.2 智能客服意图识别
智能客服系统使用微调后的分类模型识别用户问题的意图（如“查询余额”“办理退费”），进而触发后续对话流程。预训练模型的泛化能力使其能够处理用户表达中的多样性和模糊性，即使训练数据有限也能保持较高识别率。
5.2 当前主要挑战
尽管下游任务技术成熟，但在实际部署中仍存在若干突出问题。
5.2.1 领域迁移与任务冲突
预训练模型在通用语料上训练，当下游任务属于高度专业化领域（如医疗、法律）时，通用知识可能无法很好地迁移，导致性能下降。同时，多任务学习场景下，不同下游任务之间可能存在梯度冲突，影响整体优化效果。领域自适应和任务特定正则化是当前研究重点。
5.2.2 标注成本与数据隐私
高质量的标注数据是微调成功的保障，但在一些场景下（如医疗诊断、金融风控）标注既昂贵又需要专家介入。此外，数据隐私法规（如GDPR）限制了标注数据的获取与共享，促进了对隐私保护微调技术（如联邦学习、差分隐私）的需求。未来的下游任务需在性能与合规之间寻找平衡。