1 基本概念
1.1 定义
折损函数是用来衡量预测结果与真实结果之间偏离程度的函数。它把“错得多少”转化为一个可计算的数值，便于在统计推断或模型训练中比较不同方案的优劣。通常，偏差越大，折损值越高；偏差越小，折损值越低。
1.2 作用与意义
折损函数的核心作用在于把抽象的预测误差量化为优化目标。统计学中，它帮助研究者定义“什么才算更好”的估计；机器学习中，它则是训练模型时的直接反馈信号。不同折损形式会引导模型关注不同类型的错误，例如是否更在意大误差、是否容忍少量异常点等。
1.3 折损函数与误差函数的关系
在许多语境中，折损函数与误差函数常被交替使用，但二者并不完全等同。误差函数更强调预测值与真实值之间的差异本身，而折损函数强调对这种差异的“惩罚方式”。也就是说，误差是偏离量，折损则是对偏离量的映射规则。某些情况下，误差可以直接进入折损函数，也可以先经过变换后再被计入损失。
1.4 折损函数的评价标准
衡量一种折损函数是否合适，通常要看几个方面：其一是是否与任务目标一致；其二是对异常值和噪声是否稳健；其三是是否便于优化和求解；其四是是否具有清晰的统计解释。实际应用中，没有一种折损函数能在所有场景下都表现最佳，因此常需要结合问题结构进行选择。
2 数学表达与性质
2.1 一般形式
折损函数通常记为 \(L(y,\hat{y})\) 或 \(L(e)\)，其中 \(y\) 表示真实值，\(\hat{y}\) 表示预测值，\(e\) 表示误差。常见做法是先定义误差，再通过函数把误差映射为非负数值。若以参数 \(\theta\) 表示模型，则整体目标往往写成对样本折损的加总或平均。
2.2 凸性与可微性
凸性决定了优化过程的友好程度。凸折损通常更容易找到全局最优解，也更便于理论分析。可微性则关系到能否直接使用梯度方法。像平方折损通常既凸又可微，而绝对折损虽凸但在零点处不可导。对于实际算法来说，非光滑并不一定不可用，但会增加求解难度。
2.3 对称性与单调性
| 很多折损函数对正负误差采取对称处理，即只关心偏差大小，不区分方向。这类函数常写成 \( | e | \) 或 \(e^2\) 的形式。单调性则指当误差绝对值增大时，折损值应随之上升。这样的性质有助于确保模型不会鼓励更大的错误。 |
|---|
2.4 对异常值的敏感性
不同折损函数对异常值的反应差异很大。平方折损会对大误差施加强烈惩罚，因此容易受到离群点影响；绝对折损的增长较缓，通常更稳健；Huber 折损则在小误差区间像平方折损，在大误差区间转为线性增长，兼顾效率与鲁棒性。折损函数的这一性质直接影响模型对噪声数据的容忍度。
2.5 风险与期望损失
在统计理论中，单个样本上的折损通常进一步取期望，形成风险或期望损失。也就是说，不是只看某一次预测错了多少，而是考虑在总体分布下平均会付出多大的代价。风险最小化是许多估计方法和学习算法的理论基础，也是判断模型长期表现的重要依据。
3 常见折损函数
3.1 0-1折损函数
0-1折损常用于分类问题中。预测正确时损失为 0，预测错误时损失为 1。它直观地对应“对与错”二分法，但由于不连续且不可导，直接优化往往困难，因此更多作为评价标准或理论基准使用。
3.2 平方折损函数
平方折损定义为误差平方，常见于线性回归等问题。它对较大偏差惩罚明显，因此能强烈推动模型修正大误差。不过，正因为惩罚增长过快，它也更容易被异常值牵引，导致估计结果偏移。
3.3 绝对折损函数
绝对折损以误差绝对值作为惩罚，增长速度比平方折损更平缓。它对极端值不那么敏感，因此常用于稳健估计。相较于平方折损，它可能带来更“保守”的拟合效果，但求解时常会遇到非光滑问题。
3.4 Huber折损函数
Huber 折损可以看作平方折损与绝对折损的折中形式。在误差较小时采用平方型惩罚，以保持局部平滑性；在误差较大时转为线性惩罚，以抑制异常值的过强影响。它是统计和机器学习中常见的稳健损失之一。
3.5 对数折损函数
对数折损常见于概率预测和分类任务中，典型形式与预测概率的对数有关。若模型对正确类别赋予较低概率，损失会迅速增大，因此它鼓励模型输出更符合真实标签的概率分布。对数折损与最大似然方法联系紧密。
3.6 指数折损函数
指数折损会对错误给予指数级增长的惩罚，常见于一些提升类方法或理论分析中。它对难分类样本非常敏感，有助于推动模型重视“被忽略的错误”。但这种强烈惩罚也可能导致训练过程更不稳定。
4 统计推断中的应用
4.1 参数估计
在参数估计中，折损函数用于定义估计量的优劣。研究者通常选择能反映误差结构的损失，并寻找使期望折损最小的参数值。这样得到的估计量往往具有明确的统计意义。
4.1.1 极大似然与最小折损
极大似然估计可视为在特定概率模型下最小化某种折损的结果。换言之，似然函数与损失函数之间常存在对应关系。对于给定分布假设，最小化负对数似然等价于选择在该模型下最合适的参数。
4.1.2 M估计
M估计是广义参数估计方法的一类，通常通过最小化样本损失和来获得参数。它不局限于平方损失，因此可以根据数据特点选用更稳健的折损形式。M估计在处理异常值和非正态误差时具有较高灵活性。
4.2 假设检验
在假设检验中，折损思想可用于描述错误决策的代价。不同类型的错误，如拒真或取伪，可能承担不同程度的损失。将检验问题放在损失框架下，可以更清楚地讨论检验规则是否合理，以及误判风险如何控制。
4.3 贝叶斯决策理论
贝叶斯决策理论直接以损失函数为核心。它通过先验分布、后验分布和折损函数共同决定最优行动。只要明确不同决策后果对应的损失，就能计算后验期望损失，并选择使该值最小的决策方案。
4.4 模型选择与泛化性能
模型选择不仅看训练误差，还要看折损形式对泛化的影响。某些损失更容易导致模型过度拟合局部样本，而另一些则更能抑制噪声干扰。通过比较验证集上的风险表现，可以更合理地决定模型复杂度和训练目标。
5 机器学习中的应用
5.1 回归问题
回归中最常见的做法是用折损函数衡量连续值预测的偏差。平方折损是经典选择，适合误差近似服从对称分布的情况；若数据中存在较多异常点，则绝对折损或 Huber 折损更常见。损失函数的选择会直接改变拟合曲线的形态。
5.2 分类问题
分类问题中的折损函数通常与类别正确性和概率输出相关。0-1折损是最直观的分类评价方式，但训练时往往采用可优化的替代损失，如对数折损或铰链折损。这样既能保留分类目标，又便于使用梯度方法进行学习。
5.3 正则化与经验风险最小化
经验风险最小化是指最小化训练样本上的平均损失，而正则化则是在损失之外加入对模型复杂度的约束。二者结合后，模型既要减少预测误差，也要避免过度复杂。折损函数在这里决定“拟合数据”的方向，正则项则限制“拟合过头”。
5.4 神经网络训练中的损失设计
神经网络训练高度依赖损失函数的设计。不同任务会使用不同目标，例如回归用均方误差，分类常用交叉熵。合适的损失不仅影响收敛速度，还会影响梯度传播、类别平衡以及最终精度。实际工程中，损失设计常与输出层形式一起考虑。
5.5 鲁棒学习中的折损函数
鲁棒学习强调在噪声、异常值或分布偏移存在时仍保持稳定表现。此时，折损函数往往会采用对大误差不那么敏感的形式，或者对可疑样本设置较低权重。这样做的目标不是追求对每个样本都极致拟合，而是提高整体稳定性。
6 折损函数的优化
6.1 梯度下降与数值求解
许多折损函数最终都通过数值优化求解，梯度下降是最常用的方法之一。只要损失可导或可近似求导，就能沿着下降方向更新参数。对于复杂模型，往往还会使用随机梯度下降及其变体，以提高计算效率。
6.2 可导折损的优化
当折损函数光滑可导时，优化通常较为直接。梯度和二阶信息可以较容易地计算，算法收敛分析也相对清晰。平方折损和对数折损在这方面通常更有优势，因此在大规模学习中应用广泛。
6.3 非光滑折损的处理
绝对折损、铰链折损等函数在某些点不可导，需要采用次梯度、平滑近似或专门的分段优化方法。虽然求解过程比光滑情形更复杂，但这类折损往往具有更好的稳健性或分类性能，因此仍被大量采用。
6.4 局部最优与全局最优
在非凸损失下，优化结果可能依赖初始值，因而局部最优问题较为突出。即使损失函数本身是凸的，加入复杂模型结构后也可能出现多种等价或近似最优解。全局最优通常更理想，但在实际高维问题中未必容易获得。
6.5 计算复杂度
折损函数越复杂，优化成本通常越高。某些损失虽然统计性能更好，但计算代价较大，适合离线训练；另一些损失则更简单高效，适合实时或大规模场景。实际应用中往往需要在精度与效率之间折中。
7 鲁棒统计视角
7.1 抗异常值能力
鲁棒统计关注的是数据中少量极端值不会显著破坏估计结果。折损函数在这里起到关键作用：若对大偏差惩罚过强，估计容易被异常点“带偏”；若惩罚适度，则能维持整体稳定。选择合适的折损形式，是鲁棒分析的重要步骤。
7.2 重尾分布下的表现
当误差分布尾部较厚时，平方折损往往表现不佳，因为少数大误差会主导目标函数。相对而言，增长较慢的损失，如绝对折损或 Huber 折损，通常更适合重尾环境。它们可以减轻极端样本对整体估计的影响。
7.3 截断与修正折损
一些鲁棒方法会对折损进行截断或修正，使得极大误差不再持续放大惩罚。这类设计常用于避免离群点在优化中占据过高权重。虽然会牺牲一部分敏感性，但通常能换来更稳定的估计结果。
7.4 鲁棒估计量的构造
鲁棒估计量往往通过特定折损函数构造而成。设计原则通常是：对常规误差保留足够辨别力，对异常误差进行压制。这样得到的估计量在数据质量不稳定时更可靠，也更贴近真实结构。
8 相关理论
8.1 风险函数
风险函数是损失函数在概率意义下的平均值。它反映的是某个决策规则在总体上的长期表现，而不仅是单次样本上的好坏。很多理论结论都围绕风险最小化展开。
8.2 Bayes风险
Bayes 风险是在给定先验分布条件下，对损失进行加权平均得到的风险。它综合了不确定性和行动代价，是贝叶斯决策框架中的核心指标。若某个规则能使 Bayes 风险最小，则它在该先验假设下可被视为最优。
8.3 最优决策规则
最优决策规则是指在既定损失下使期望代价最小的选择策略。不同任务、不同损失会对应不同的最优规则，因此“最优”并非绝对概念，而是与目标函数紧密相关。这个思想在统计判别和机器学习中都十分重要。
8.4 不变性与一致性
折损函数若具有良好的不变性，意味着在尺度变换或参数重表述后仍能保持合理性质。一致性则指随着样本量增加，基于该损失得到的估计或决策能够逐渐逼近真实目标。二者是评价理论质量的重要标准。
8.5 统计判别理论
统计判别理论研究如何依据观测数据将样本分到不同类别，并尽量减少判别错误。折损函数在其中用来描述误判代价，从而导出判别边界和决策规则。许多经典分类方法都可以放在这一框架下理解。
9 典型例子
9.1 二分类中的 0-1 折损
在二分类问题里，如果样本被分到正确类别，损失记为 0；若分错，损失记为 1。这种设置最符合“成败二元”的直觉，但由于不连续，实际训练时通常会被更易优化的替代损失取代。
9.2 线性回归中的平方折损
线性回归常以平方折损作为目标函数。模型通过调整系数，使预测值尽量接近观测值，从而最小化误差平方和。这种方法简单、稳定，且在误差近似正态时具有良好的统计性质。
9.3 稳健回归中的 Huber 折损
稳健回归中常采用 Huber 折损来平衡效率与抗干扰能力。对小误差，它保留平方损失的平滑优点；对大误差，则像绝对损失一样缓慢增长。因而它适合含有少量异常点的数据集。
9.4 支持向量机中的铰链折损
支持向量机常使用铰链折损来鼓励分类间隔最大化。只要样本被正确分类且间隔足够，就不会继续增加损失；反之则会受到惩罚。该损失与最大间隔思想结合紧密，是分类学习中的经典设计。
9.5 预测区间中的偏差惩罚
在预测区间或区间估计中，折损函数可用于衡量区间过宽或过窄的代价。区间太窄可能导致覆盖不足，太宽则降低实用性。通过对偏差和覆盖不足设定不同惩罚，可以得到更符合需求的区间预测规则。
10 争议与局限
10.1 对异常值的过度敏感
某些折损函数，尤其是平方型损失，会对异常值给予过强权重。这会使少数极端样本显著影响整体结果，降低模型稳定性。因此，在脏数据或重尾环境中，单纯依赖这类损失往往并不理想。
10.2 不可微带来的优化困难
不少有用的折损函数在数学上并不光滑，直接优化时会带来技术挑战。虽然可以借助次梯度或近似方法处理，但算法设计和收敛分析都会更复杂。这也是为什么实践中常常倾向于选择更平滑的替代形式。
10.3 与任务目标不一致的问题
有时损失函数优化得很好，但并不真正符合任务最终目标。例如，某些概率损失可能改善整体校准，却未必最直接提升分类准确率。若折损与实际需求脱节，就可能出现“训练指标不错、实际效果一般”的情况。
10.4 损失函数选择的经验性
折损函数的选择往往带有经验色彩，需要结合数据分布、噪声特征、算法结构和业务需求综合判断。由于不存在放之四海而皆准的标准答案，研究者和工程实践者通常会通过试验比较来确定更合适的方案。
11 扩展与相关概念
11.1 代价函数
代价函数强调某一动作或决策所付出的成本。它与折损函数在很多场景下高度相近，尤其是在决策分析中常被一起讨论。二者差别更多体现在语境上，而不一定是严格的数学区别。
11.2 目标函数
目标函数是优化问题中被最大化或最小化的整体表达式。折损函数常作为目标函数的核心组成部分，但目标函数还可能包含正则项、约束项或其他附加项。因此，目标函数的范围通常比单一损失更广。
11.3 惩罚函数
惩罚函数用于对违反约束或偏离理想状态的行为施加额外代价。它与折损函数在形式上很接近，都体现了“错误要付出成本”的思想。区别在于，惩罚函数更常用于约束优化与模型复杂度控制。
11.4 评分规则
评分规则是根据预测结果给出分值或惩罚的机制，可视为折损函数的广义表达。良好的评分规则应当诱导预测者给出更准确、更一致的判断。在概率预测和天气预报等领域，这一概念尤其常见。
11.5 损失校准与一致性
损失校准关注的是某种替代损失是否能够正确反映原始目标。若一种可优化损失在优化后能导向真正想要的决策，则称其具有较好的校准性质。一致性则进一步要求随着数据增多，基于该损失的学习结果能够收敛到理想解，这也是损失设计是否成功的重要检验标准。