1 基本概念
1.1 定义与核心思想
元学习是机器学习中的一种方法论，字面含义是“学会如何学习”。与只针对单一任务训练模型不同，元学习强调从一系列相关任务中提炼经验，使模型获得更强的迁移能力和更快的适应速度。它关注的重点不只是某个任务的最终性能，还包括模型面对新任务时如何借助已有知识迅速进入有效状态。
从研究视角看，元学习通常将“任务”作为基本单位。模型先在多个任务上积累经验，再把这些经验抽象为可复用的初始化参数、更新规则、相似性度量或记忆机制。这样，模型在遇到新任务时不必从零开始，而能以较少样本和较少步数完成适配。
1.2 研究目标
元学习的目标通常集中在三个方面：缩短新任务的学习时间、减少对标注数据的依赖，以及提升跨任务的稳定泛化能力。它并不追求对单一训练集的极致拟合，而更重视模型在任务分布上的整体表现。
1.2.1 快速适应新任务
快速适应是元学习最典型的目标之一。模型在经过元训练后，应能在面对未见任务时，仅通过少量梯度更新、少数示例或少量交互，就迅速调整到可用状态。这一点在环境变化频繁、任务切换频繁的场景中尤为重要。
1.2.2 提升少样本学习能力
少样本学习要求模型仅凭很少的数据做出较准确判断。元学习通过在训练阶段模拟“少数据、快适应”的情境，帮助模型学到更适合低资源条件的表示与更新方式，因此常被视为少样本学习的重要支撑框架。
1.2.3 增强跨任务泛化
跨任务泛化指模型不局限于某个固定任务，而能在多个相关任务上保持较好的迁移表现。元学习试图把任务间共享的结构性知识压缩为通用先验，使模型更容易在新领域、新分布或新目标下继续发挥作用。
1.3 与传统机器学习的区别
传统机器学习通常默认训练数据和测试数据来自同一任务或近似同分布环境，优化目标主要是提升该任务上的平均性能。元学习则把“任务之间的关系”纳入学习过程，强调从多任务经验中学习一种更高层次的适应策略。
此外，传统方法常见的是“训练一次、部署一次”的模式；元学习更像“先学习如何训练，再进行快速训练”。前者关注参数本身，后者则关注参数如何在未来被更高效地更新、组织和调用。
2 理论基础
2.1 任务分布与经验归纳
元学习建立在任务分布的假设之上，即多个任务并非彼此孤立，而是来自某种共享结构。模型通过对大量任务的反复观察，从中归纳出稳定规律，并将这些规律转化为可迁移的经验。
这种经验归纳并不等同于记住每个任务的细节，而是抽取跨任务复用的模式。例如，某些类别之间的相似结构、某类问题常见的优化轨迹，或特定数据规模下更有效的表示方式，都可能成为元知识的一部分。
2.2 归纳偏置
归纳偏置指模型在面对未知输入时，倾向于采用的假设或先验。元学习的一个核心作用，就是学习更合适的归纳偏置，使模型在新任务上不必依赖过强的人工设计，也能做出相对合理的推断。
与固定架构中的手工偏置不同，元学习中的归纳偏置可以通过训练获得，并随任务经验不断调整。这使得模型能够更贴近实际任务分布，而不是仅依赖通用但未必高效的默认假设。
2.3 迁移学习与泛化理论
元学习与迁移学习关系密切，但两者侧重点不同。迁移学习通常强调将一个已训练模型迁移到新任务；元学习则更进一步，关注“如何迁移”以及“如何让迁移更快、更少样本化”。
从泛化理论角度看，元学习试图减少新任务上的样本复杂度，并提升模型在任务层面的平均泛化能力。也就是说，它不只是让模型在单次训练中表现更好，而是让模型对未来任务具备更稳定的先验优势。
2.4 优化视角
许多元学习方法都可以看作一种嵌套优化过程：外层优化学习到适合快速适应的参数或机制，内层优化则是在具体任务上进行短步更新。这个视角使元学习与常规训练在形式上相连，但目标函数通常更复杂。
2.4.1 双层优化问题
双层优化是元学习中的典型数学表述。外层参数决定模型在任务上的初始状态或更新策略，内层参数则是在某个具体任务上的适应结果。外层目标往往以任务适应后的性能为准，从而推动模型学习更有利于快速收敛的结构。
2.4.2 梯度更新与初始化学习
在很多方法中，元学习的关键不在于直接找到某个任务的最终解，而在于找到一个“好初始化”。这种初始化使得模型在少量梯度步骤后就能达到较高性能。相应地，梯度更新规则本身也可能成为学习对象，例如学习不同参数应如何调整、调整多快以及朝哪个方向调整。
3 主要方法
3.1 基于优化的方法
基于优化的方法主要通过学习参数初始化或更新方式，使模型具备快速适应能力。这类方法在元学习中最具代表性，也最容易与传统梯度训练建立联系。
3.1.1 元参数初始化
元参数初始化指学习一个对多数任务都较有利的起点。模型先在多个任务上训练，再将得到的初始化参数用于新任务，并通过少量步骤完成适配。MAML一类方法便是该思路的典型代表。
3.1.2 学习率与更新规则优化
除了初始参数，元学习还可以优化学习率、动量系数或更复杂的更新规则。这样做的目的，是让模型在不同参数维度上采取更合适的调整节奏，避免出现某些部分更新过快、某些部分迟缓的问题。
3.2 基于度量的方法
基于度量的方法关注样本之间的相似性，通过构建更适合任务分布的表示空间，使新样本可以借助邻近关系完成分类或预测。这类方法常见于少样本识别场景。
3.2.1 相似性度量学习
相似性度量学习旨在让模型学到“哪些样本更像同类”的判别标准。它不直接依赖复杂的任务特定优化，而是通过嵌入空间中的距离或相关性来完成推断，因此在少样本条件下往往更稳定。
3.2.2 原型表示与邻近分类
原型表示方法会为每个类别构造一个中心点或代表向量，再根据查询样本与各原型的距离进行分类。这种方式结构清晰、计算简洁，适合任务样本很少但类别关系相对明确的情境。
3.3 基于模型的方法
基于模型的方法强调模型结构本身应具有快速适配能力，常通过记忆单元、递归结构或可调节模块来实现。与单纯优化参数不同，这类方法更注重模型内部的信息处理机制。
3.3.1 记忆增强网络
记忆增强网络通过显式或隐式记忆保存历史任务信息，并在新任务中调用相关内容。它们适合需要长期积累经验的场景，能够把过去学到的模式作为当前决策的辅助依据。
3.3.2 可快速适配的网络结构
可快速适配的网络结构通常设计为少量参数即可完成显著变化，例如通过局部模块更新、条件化控制或任务嵌入来实现。这种结构有助于降低适配成本，并提升跨任务的响应速度。
3.4 基于记忆的方法
基于记忆的方法强调将任务信息存入外部或内部记忆系统，并在需要时检索相关知识。其优点是可将经验显式化，便于在相似任务间复用。
3.4.1 外部记忆模块
外部记忆模块通常独立于主干网络，承担存储与读取功能。模型可以把过去任务中的关键样本、状态或表示写入记忆，再在新任务中按相关性取回，以支持预测或更新。
3.4.2 任务知识检索
任务知识检索关注从历史任务中找到与当前任务最相关的信息，并将其用于初始化、分类或决策。它本质上是一种经验调用机制，强调“找得到、用得上、调得快”。
3.5 基于强化学习的元学习
在强化学习环境中，元学习常用于提升智能体对环境变化的适应速度。由于强化学习本身具有试错成本高、反馈稀疏等特点，元学习方法尤其重视先验策略的形成与快速修正。
3.5.1 策略快速适配
策略快速适配指智能体在面对新环境或新规则时，能够基于少量交互迅速调整行为策略。元训练阶段会让智能体经历多个相似但不完全相同的环境，以强化其适应能力。
3.5.2 环境分布变化处理
环境分布变化处理关注的是当外部条件改变时，模型如何保持性能。元学习通过学习更具弹性的策略表征，使智能体在面对奖励函数变化、状态转移变化或观测噪声变化时，仍能保持一定鲁棒性。
4 典型应用
4.1 少样本分类
少样本分类是元学习最常见的应用之一。它要求模型在每类只有极少样本的情况下完成识别任务。元学习通过任务级训练，使模型更擅长从有限证据中提取判别信息。
4.2 强化学习中的快速适应
在强化学习中，元学习可帮助智能体更快适应新环境，例如变化后的规则、不同的初始状态或新的奖励偏好。相比从头探索，经过元训练的策略通常能更快进入较优行为区域。
4.3 超参数自动调优
元学习还可用于超参数自动调优，如学习率、正则化强度、优化器参数等。通过把调参过程本身纳入学习框架，系统能够根据任务特征自动选择更合适的配置。
4.4 神经架构搜索
在神经架构搜索中，元学习可帮助系统更快评估或生成候选结构，减少反复试验的成本。它有时用于学习架构选择策略，有时用于预测某种结构在特定任务上的表现。
4.5 持续学习与终身学习
持续学习和终身学习强调模型在接触新任务时不遗忘旧知识。元学习可通过学习更稳健的更新方式、记忆机制或任务表示，缓解灾难性遗忘，并提升长期学习效率。
4.6 个性化推荐与自适应系统
在个性化推荐与自适应系统中，用户偏好和环境状态会不断变化。元学习能够帮助系统更快捕捉新行为模式，从少量交互中更新个性化策略，因此适合冷启动和动态场景。
5 训练流程
5.1 任务构造
元学习训练通常从任务构造开始。研究者会将数据划分为多个任务，每个任务包含自己的类别、样本或环境设定。任务构造方式会直接影响模型学到的经验类型，因此往往需要结合具体应用设计。
5.2 支持集与查询集
支持集用于模型在任务内学习，查询集用于检验模型对该任务的适应结果。支持集样本数量通常很少，用来模拟低资源条件；查询集则用于衡量模型是否真正掌握了该任务的判别或决策方式。
5.3 内循环与外循环
内循环是任务内部的快速更新过程，外循环则是跨任务的元参数更新过程。内循环让模型适应具体任务，外循环则根据适应后的表现反向修正元知识。二者配合构成元学习的基本训练框架。
5.4 元训练、元验证与元测试
元训练阶段用于学习通用元知识；元验证阶段用于选择模型结构、超参数或训练策略；元测试阶段则检验模型对全新任务的泛化性能。这样的划分有助于避免信息泄漏，并更客观地评估迁移效果。
5.5 评估指标
元学习的评估不仅看最终准确性，也关注适应效率和训练稳定性。对于不同任务，指标侧重点会有所变化，但通常都围绕“学得快、迁移好、成本低”展开。
5.5.1 准确率
准确率是最直接的结果指标，反映模型在查询集或测试任务上的预测正确程度。对于少样本学习和分类任务，它仍是最常见的衡量方式。
5.5.2 适应步数
适应步数用于衡量模型达到可用性能所需的更新次数。步数越少，通常说明模型的初始状态或更新规则越适合快速迁移。
5.5.3 收敛效率
收敛效率关注模型在训练和适应过程中的整体成本，包括迭代次数、计算资源与稳定性。它不仅影响实验效率，也影响方法在实际部署中的可行性。
6 代表性算法
6.1 MAML
MAML是一类经典的优化型元学习方法，其核心思想是学习一个良好初始化，使模型在面对新任务时只需少量梯度更新即可达到较好效果。它具有较强代表性，也常被视为元学习研究的重要起点之一。
6.2 Reptile
Reptile与MAML思路相近，但实现方式更简洁。它通过在多个任务上反复训练并调整参数，使模型逐渐靠近那些有利于快速适应的区域，因此常被用于探索元优化的轻量化形式。
6.3 Matching Networks
Matching Networks属于基于度量的方法，通过学习查询样本与支持样本之间的匹配关系进行分类。它强调上下文信息和样本相似性，在少样本分类中具有较高知名度。
6.4 Prototypical Networks
Prototypical Networks通过为每个类别构造原型向量，并依据距离完成分类。其结构简单、解释直观，特别适合类别边界相对清晰的少样本场景。
6.5 Relation Networks
Relation Networks进一步学习样本之间的关系函数，而不是仅依赖固定距离度量。它将“相似”这一概念参数化，使模型能自动适应更复杂的类别结构。
6.6 RL^2
RL^2是一种面向强化学习的元学习方法，通过循环结构把过去交互经验编码进策略中，使智能体在新环境中能够依靠历史轨迹快速调整行为。
6.7 LSTM 元优化器
LSTM元优化器使用循环神经网络学习优化过程本身，让模型可以根据梯度历史动态调整更新策略。它体现了“学习优化器”的思想，也是元学习在自动优化方向上的重要尝试。
7 优势与局限
7.1 优势
元学习的主要优势在于更高的数据利用率、更强的迁移能力，以及对新任务的快速适应性。这些特征使其在资源受限或变化频繁的场景中具有较高价值。
7.1.1 数据效率高
由于元学习强调从少量任务经验中归纳共性，模型往往能更充分地利用已有数据。与纯粹依赖大规模单任务训练的方法相比，它更适合样本稀缺情境。
7.1.2 泛化能力强
元学习关注任务层面的共性，因此常能在未见任务上保持较好的表现。其泛化并不局限于输入分布，也体现在适应方式和更新机制上。
7.1.3 适合快速迁移
元学习学到的是“如何适应”，而不是某个固定任务的唯一答案。因此，当任务切换频繁时，它通常比重新训练模型更高效。
7.2 局限
尽管元学习具有明显潜力，但它也存在训练复杂、依赖任务设计和稳定性要求高等问题，实际落地并不总是简单。
7.2.1 训练成本较高
元学习常需要在大量任务上进行嵌套优化，计算开销和实现难度都较大。尤其在需要高阶梯度或复杂采样策略时，训练成本会明显上升。
7.2.2 任务设计依赖强
元学习效果很大程度上取决于任务如何构造。如果训练任务与目标应用差异较大，模型学到的元知识可能不够有效，甚至出现迁移退化。
7.2.3 对分布偏移敏感
当测试任务与训练任务分布差别过大时，元学习不一定能保持优势。它依赖任务间存在某种可学习的共享结构，因此对偏移较大的情形较为敏感。
7.2.4 可解释性不足
许多元学习模型内部机制复杂，尤其是在深度网络和嵌套优化结构下，难以直观解释模型究竟学到了什么、为何能够快速适应。这给分析与调试带来一定困难。
8 研究进展
8.1 早期发展
元学习思想较早出现在机器学习领域，最初多与学习规则、样本权重和经验归纳相关。早期研究更多依赖手工设计，方法规模较小，但已经体现出“让系统积累学习经验”的核心方向。
8.2 深度学习时代的扩展
随着深度学习的发展，元学习获得了更强的表示能力和更复杂的训练机制。神经网络、自动微分和大规模计算资源的结合，使得双层优化、记忆模块和任务嵌入等方法得以广泛展开。
8.3 自监督学习结合
近年来，自监督学习与元学习开始结合。自监督方法可提供无需人工标注的大规模预训练信号，而元学习则进一步强调快速适应能力。二者结合有助于提升数据利用率，并减少对标注任务的依赖。
8.4 大模型背景下的元学习探索
在大模型背景下，元学习的关注点逐渐转向如何让模型更快适应特定领域、特定工具或特定交互模式。相关研究会探索参数高效微调、提示适配与任务路由等思路，以提高大规模模型的灵活性。
8.5 自动化机器学习中的应用
元学习也常被纳入自动化机器学习框架，用于指导超参数搜索、架构选择和训练策略生成。它的作用类似于“经验型调度器”，能够帮助系统在不同任务之间更快找到可行配置。
9 相关概念
9.1 迁移学习
迁移学习是将已有任务获得的知识应用到新任务中的方法，常用于减少训练数据需求。元学习与其相近，但更强调学习迁移本身的机制。
9.2 终身学习
终身学习关注模型在长期任务序列中持续积累知识，并尽量减少遗忘。元学习可以为终身学习提供更好的初始化、更新规则和记忆结构支持。
9.3 少样本学习
少样本学习是在极少标注样本条件下完成分类或识别的研究方向。元学习常被视为少样本学习的重要实现路径之一。
9.4 自监督学习
自监督学习通过数据自身构造训练信号，降低对人工标注的依赖。它与元学习的结合，常用于增强表示能力和提升预训练效果。
9.5 多任务学习
多任务学习同时优化多个相关任务，强调任务间共享表示。元学习与多任务学习都利用任务关联性，但前者更强调从任务中学习“适应的方式”。
10 学术争议与挑战
10.1 “元学习是否只是更复杂的训练策略”
学界常讨论元学习与高级训练技巧之间的边界。有人认为部分元学习方法本质上仍是参数优化，只是目标函数更复杂；也有人强调其核心在于任务层面的经验归纳，具有独立研究价值。
10.2 任务定义的主观性
元学习依赖任务划分，而任务如何构造往往带有较强主观性。不同任务定义会显著影响实验结论，因此研究结果有时难以直接比较，也容易受设置偏差影响。
10.3 基准数据集与实验可比性
由于不同论文常使用不同的任务采样方式、数据划分和评估协议，元学习实验的可比性并不总是理想。基准数据集若设计不当，也可能高估某些方法的实际效果。
10.4 实际部署中的稳定性问题
在真实场景中，数据噪声、任务漂移和计算资源限制都会影响元学习系统的稳定性。虽然实验室条件下模型可能表现出较强适应能力，但进入生产环境后，性能一致性、更新代价和故障恢复能力仍是重要挑战。