1 基本概念
1.1 定义
经验风险最小化是一种以训练样本上的平均损失为目标的学习原则。它要求从给定的假设空间中选出一个模型，使其在已观测数据上的误差尽可能小。由于真实数据分布通常未知，ERM用样本中的表现近似总体表现，因此成为监督学习中最常见的建模思路之一。
1.2 核心思想
ERM的核心在于“先在已知样本上做得最好，再希望在未见数据上表现良好”。这种做法把学习问题转化为优化问题：通过调整模型参数，使损失函数的值最小。其隐含前提是训练样本能够较好代表总体数据分布。
1.3 经验风险与真实风险
经验风险反映模型在样本上的平均误差，真实风险则描述模型在整体数据分布上的期望误差。二者并不总是完全一致，但经验风险通常被视为真实风险的可计算近似。ERM的主要目标，就是在最小化经验风险的同时，尽量降低真实风险。
1.3.1 样本平均损失
样本平均损失是指把每个训练样本上的损失加总后取平均。它直接依赖有限观测数据，因此计算方便，适合实际训练过程。对于一个模型而言，样本平均损失越小，通常意味着它对训练集的拟合越充分。
1.3.2 总体分布下的期望损失
期望损失是指模型在真实数据分布下的平均预测误差。由于总体分布通常不可直接获得，这一量往往只能通过理论分析来描述。机器学习中的泛化能力，实质上就是模型在期望损失上的表现。
1.4 损失函数
损失函数用于衡量模型输出与真实标签之间的差距，是ERM中最关键的组成部分。不同任务会采用不同形式的损失函数，以反映分类、回归或概率预测中的误差特点。
1.4.1 0-1损失
0-1损失常用于分类问题：预测正确时损失为0，预测错误时损失为1。它直观地刻画了分类是否正确，但不可微，通常不便直接用于优化，因此在实际训练中常被可导损失替代。
1.4.2 平方损失
平方损失多用于回归任务，对预测值与真实值之差的平方进行惩罚。它对较大偏差更敏感，因此能较强地约束模型误差，但也可能受到异常值影响较大。
1.4.3 交叉熵损失
交叉熵损失常见于分类与概率建模中，用于衡量预测分布与真实分布之间的差异。它在神经网络和逻辑回归中应用广泛，因为在优化上通常更稳定，也更适合输出概率解释。
2 数学表述
2.1 经验风险的形式化定义
设训练样本为若干独立观测对，模型为函数集合中的某一映射，损失函数记为L。经验风险通常写作样本损失的平均值，即在训练集上对每个样本计算损失后求和并除以样本数。该定义构成了ERM的数学基础。
2.2 假设空间
假设空间是指所有候选模型构成的集合，例如线性函数族、多项式函数族或神经网络参数空间。学习算法并不是在所有可能函数中搜索，而是在预先限定的空间里寻找最优解。假设空间的大小和形式，直接影响模型表达能力与泛化表现。
2.3 最优化目标
ERM把学习过程表述为一个最小化问题，即在假设空间内寻找经验风险最低的模型。若存在多个达到相同最小值的解，通常还会结合额外准则来选择更合适的模型，例如更简单的结构或更稳定的参数。
2.3.1 参数化模型
参数化模型通过有限维参数来描述，如线性回归、逻辑回归和浅层神经网络。此类模型的学习过程通常就是在参数空间中搜索，使经验风险达到最小。由于结构清晰，它们便于分析和实现。
2.3.2 非参数化模型
非参数化模型不以固定维度参数为核心，模型复杂度会随数据规模变化而调整。典型例子包括某些核方法和基于实例的学习方法。它们往往具有更强的表达灵活性，但也可能带来更高的计算和理论分析难度。
2.4 经验风险最小化问题的解
ERM问题的解是使训练集平均损失最小的假设或参数。若最优解存在且可唯一确定，则称为经验风险最小点；若存在多个同样最优的模型，则需借助模型选择标准进一步筛选。实际应用中，往往求得的是近似解而非精确解。
3 理论基础
3.1 统计学习理论
统计学习理论研究有限样本条件下如何从经验风险推断真实风险。ERM是这一理论中的基本出发点之一，其关键问题在于：样本上的最优并不必然等于总体上的最优。围绕这一差异，理论研究发展出泛化界、复杂度控制等工具。
3.2 泛化能力
泛化能力是指模型在未见数据上的表现能力。ERM之所以重要，是因为它提供了最直接的训练目标，但是否能够泛化，还取决于样本规模、噪声水平和模型复杂度。经验风险越低并不必然意味着泛化越好。
3.3 一致收敛
一致收敛描述的是经验风险在样本规模增大时逐步逼近真实风险的现象。若对假设空间中的所有模型都能同时成立，这就为ERM的有效性提供了理论支撑。它说明在足够多的数据下，样本上的优化结果更可能接近总体最优。
3.4 大数定律与样本近似
大数定律表明，样本平均值会随着样本数量增加而接近总体期望。ERM正是借助这一思想，将难以直接计算的总体风险转化为可观测的样本平均损失。因而，样本越充分，经验风险对真实风险的近似通常越可靠。
3.5 过拟合与欠拟合
过拟合指模型过度贴合训练数据中的细节甚至噪声，导致测试表现下降；欠拟合则是模型表达能力不足，无法充分描述数据规律。ERM若缺少约束，可能通过不断降低训练误差走向过拟合；若模型过于简单，又会出现欠拟合。
4 方法与实现
4.1 监督学习中的应用
ERM在监督学习中应用最广，因为这类任务通常具备明确标签，适合通过损失函数衡量预测误差。无论是分类还是回归，训练过程都可理解为在样本上最小化某种风险函数。
4.1.1 分类任务
在分类任务中，ERM常通过交叉熵或其他可优化的替代损失进行训练。模型根据输入特征输出类别概率或类别标签，优化目标是尽量减少分类错误。逻辑回归、支持向量机和神经网络分类器都可视为这一思路的体现。
4.1.2 回归任务
在回归任务中，ERM常采用平方损失或绝对损失。模型需要预测连续数值，因此优化目标通常是减小预测值与真实值之间的距离。线性回归就是ERM最经典的回归实例之一。
4.2 优化算法
由于经验风险函数往往较复杂，实际求解通常依赖数值优化方法。不同算法在收敛速度、计算成本和对初值的敏感性方面各有差异，选择时需要结合模型结构与数据规模。
4.2.1 梯度下降
梯度下降通过沿着目标函数下降最快的方向迭代更新参数。它适合可导或近似可导的损失函数，是许多ERM问题的基础求解方式。若学习率设置合理，通常能够逐步逼近局部最优。
4.2.2 随机梯度下降
随机梯度下降每次只使用一个样本或一小批样本估计梯度，因而计算更快，适合大规模数据。虽然更新过程带有随机性，但这种噪声有时反而有助于跳出局部不良区域，成为深度学习中最常用的方法之一。
4.2.3 牛顿法
牛顿法利用二阶信息对参数进行更新，收敛速度通常较快。它在目标函数较平滑、维度不太高时表现优良，但计算海森矩阵及其逆的代价较大，因此在超大规模问题中应用受限。
4.3 训练过程中的数据划分
为了评估ERM模型的实际效果，常将数据划分为训练、验证和测试三部分。这样既能用于参数学习，也能用于模型选择和最终评估，避免只看训练误差而误判模型性能。
4.3.1 训练集
训练集用于直接优化经验风险，是模型学习参数的主要来源。算法只根据这部分数据更新模型，因此训练集上的表现通常最好，但并不代表实际泛化能力。
4.3.2 验证集
验证集用于调节超参数、比较模型结构或判断是否过拟合。它不参与参数拟合，但会影响模型选择，因此在实验设计中具有重要作用。
4.3.3 测试集
测试集用于在模型训练完成后做最终评估。理想情况下，测试数据应尽量独立于训练过程，以便更客观地反映模型在未见样本上的表现。
5 相关概念
5.1 结构风险最小化
结构风险最小化是在经验风险基础上进一步考虑模型复杂度的策略。它试图在训练误差和结构约束之间取得平衡，以提升泛化性能。与单纯追求经验风险最小不同，这一思想更强调“简洁且有效”。
5.2 正则化
正则化是在损失函数中加入额外惩罚项，以限制模型复杂度或参数幅度。它常用于缓解过拟合，使模型不至于过度追随训练数据。L1正则化和L2正则化是最常见的两种形式。
5.3 最大似然估计
最大似然估计与ERM在许多场景下密切相关。若损失函数取为负对数似然，则最小化经验风险等价于最大化样本似然。因而，很多经典统计模型都可以从ERM角度重新解释。
5.4 贝叶斯方法
贝叶斯方法将参数视为随机变量，并结合先验分布与观测数据进行推断。与ERM相比，它更强调不确定性表达和先验知识利用。两者在某些情形下可以联系起来，例如加入先验后得到的后验最大化，可与正则化形式产生对应关系。
5.5 VC维与模型复杂度
VC维用于衡量假设空间的表达复杂程度与分类能力。模型复杂度越高，往往越容易拟合训练数据，但也更需要样本支持以保证泛化。ERM的理论分析常借助VC维来讨论什么时候经验最优能够接近总体最优。
6 优点与局限
6.1 优点
ERM之所以成为机器学习中的基础原则，在于它兼具清晰性、通用性和可操作性。只要能够定义损失函数，就能将多种任务统一到同一优化框架下。
6.1.1 目标明确
ERM直接以最小化样本误差为目标，形式清楚，便于建模与分析。研究者和工程实现者都能很快理解其优化方向。
6.1.2 易于实现
许多ERM问题都能转化为标准优化任务，因此可借助成熟算法和软件工具求解。无论是小规模传统模型还是大规模深度学习，ERM都具有较强的可实现性。
6.1.3 适用于多种模型
ERM并不依赖某一种特定模型结构，而是可以应用于线性模型、核方法、神经网络等多种框架。只要存在可定义的损失函数，就可以纳入该原则之下。
6.2 局限
ERM的主要问题在于它过于依赖训练样本，并不自动保证对未知数据同样有效。若数据质量较差或模型过于灵活，最小化经验风险可能反而带来较差的泛化结果。
6.2.1 对噪声敏感
训练数据中的标注错误、异常点或随机扰动，都会影响经验风险的计算。模型若过度迎合这些噪声，可能得到不稳定的解。
6.2.2 易导致过拟合
如果仅追求训练误差最小，而缺乏复杂度约束，模型可能把样本中的偶然模式也学进去。这样虽然训练表现优异，但在新数据上往往下降明显。
6.2.3 对有限样本依赖较强
ERM的有效性建立在样本足够代表总体的前提之上。样本量不足时，经验风险与真实风险之间的偏差会更大，从而影响学习结果的可靠性。
7 典型应用
7.1 线性回归
线性回归通常以平方损失为基础，通过最小化训练集上的误差来估计参数。它是ERM最经典的例子之一，形式简洁，便于解析求解，也常被用作理解机器学习优化的入门模型。
7.2 逻辑回归
逻辑回归主要用于二分类任务，常通过最小化对数损失或交叉熵损失进行训练。它在概率解释和优化稳定性之间取得了较好平衡，因此广泛应用于分类建模。
7.3 支持向量机
支持向量机可视为在ERM框架下引入间隔思想的分类方法。其目标不仅是降低误分类，还强调寻找具有较大分类间隔的决策边界，因此在许多场景下具有较强的泛化能力。
7.4 神经网络
神经网络通常通过最小化经验损失来学习复杂映射关系。由于模型容量大、结构灵活，它能够拟合高度非线性的模式，但也更依赖正则化、数据规模和优化技巧来防止过拟合。
7.5 集成学习
集成学习通过组合多个基学习器来降低总体误差。虽然单个模型的训练仍常采用ERM，但最终效果来自多个模型的协同。它常用于提升稳定性、减少方差并增强泛化性能。
8 扩展与发展
8.1 正则化经验风险最小化
正则化经验风险最小化是在原始ERM目标中加入复杂度惩罚项的扩展形式。它既保留了“最小化样本损失”的基本框架，又通过附加约束抑制模型过度复杂，是现代学习理论和实践中的常见做法。
8.2 稳健经验风险最小化
稳健经验风险最小化关注模型对异常值、噪声和分布扰动的抵抗能力。它通过改造损失函数或优化准则，使学习结果不那么依赖极端样本，从而提高模型稳定性。
8.3 分布鲁棒优化
分布鲁棒优化进一步考虑数据分布不确定的情形，要求模型在一组可能分布中都保持较好的表现。它将ERM从“拟合已知样本”推进到“适应分布偏移”，适合对环境变化较敏感的问题。
8.4 小样本学习中的相关问题
在小样本学习中，ERM面临更明显的样本不足与过拟合风险。此时仅依赖经验风险往往不够，需要结合先验知识、数据增强、迁移学习或更强的正则约束，以提升有限数据下的学习效果。