1 概述
正则化（Regularization）是机器学习和统计建模中用于防止过拟合的核心技术之一。其基本思想是在损失函数中引入一个与模型复杂度相关的惩罚项，通过约束参数的大小或数量，迫使模型在拟合训练数据的同时保持简单，从而提升对未见过数据的泛化能力。常见的正则化形式包括L1正则化（Lasso）、L2正则化（Ridge）和弹性网络，广泛应用于线性回归、神经网络、支持向量机等算法中。正则化不仅降低了模型对噪声的敏感度，还常被用于特征选择和高维数据处理中。
2 过拟合与正则化的动机
2.1 过拟合的直观表现
过拟合是指模型在训练数据上表现极好（如损失趋近于零），但在测试数据上表现糟糕的现象。直观上，过拟合模型过度“记忆”了训练样本中的噪声和异常点，导致决策边界异常曲折，甚至将单个样本的偶然特征视为规律。例如，在二维分类问题中，一个过拟合的分类器可能会画出复杂的曲线将所有训练点精确分隔，但在新点面前却毫无招架之力。
2.2 偏差-方差权衡
在统计学习理论中，模型的总误差可分解为偏差（Bias）、方差（Variance）和不可约误差三部分。简单模型（如线性回归）偏差高、方差低，容易欠拟合；复杂模型（如高阶多项式）偏差低、方差高，容易过拟合。正则化通过引入约束，在偏差和方差之间寻找平衡点——适当增加一点偏差，大幅降低方差，从而降低整体预测误差。
2.3 正则化的核心思想
正则化的核心是“向简单性妥协”。它不追求在训练集上的完美拟合，而是通过惩罚过大的参数或过多的特征，迫使模型学习更平滑、更稳定的映射关系。这种“有限制”的优化，相当于在模型的解空间中施加了一个局部约束，使其跳出“纯数据驱动”的陷阱。
3 正则化的数学形式
3.1 损失函数与惩罚项
标准损失函数（如均方误差）记为 \( L(\mathbf{w}) \)。正则化后的目标函数为： \[ \min_{\mathbf{w}} \; L(\mathbf{w}) + \lambda \cdot R(\mathbf{w}) \] 其中 \( \lambda \geq 0 \) 是正则化强度，\( R(\mathbf{w}) \) 是惩罚项。常见的惩罚项为参数向量的范数。
3.2 L2正则化（Ridge回归）
L2正则化采用 \( R(\mathbf{w}) = \|\mathbf{w}\|_2^2 = \sum_{i} w_i^2 \)，得到的模型称为岭回归（Ridge Regression）。目标函数为： \[ \min_{\mathbf{w}} \; \|\mathbf{y} - X\mathbf{w}\|^2 + \lambda \|\mathbf{w}\|^2 \]
3.2.1 权重衰减的几何解释
从几何角度，L2正则化等价于在权重的欧几里得空间中施加一个原点的球状约束。优化过程相当于在保证损失函数较小的同时，将参数向“以原点为圆心、半径与 \(\lambda\) 反比”的球内拉拽。这导致较大的权重被“衰减”得更厉害，因此L2正则化常被称为“权重衰减”。
3.2.2 岭回归与矩阵条件数
当特征间存在多重共线性时，普通最小二乘的解对微小扰动极度敏感（矩阵接近奇异）。岭回归通过在 \( X^T X \) 的对角线上加 \( \lambda I \)，改善了矩阵的条件数，使解更稳定。数学上，岭回归的解为： \[ \hat{\mathbf{w}} = (X^T X + \lambda I)^{-1} X^T \mathbf{y} \]
3.3 L1正则化（Lasso回归）
L1正则化采用 \( R(\mathbf{w}) = \|\mathbf{w}\|_1 = \sum_{i} |w_i| \)，得到的模型称为Lasso回归。目标函数为： \[ \min_{\mathbf{w}} \; \|\mathbf{y} - X\mathbf{w}\|^2 + \lambda \|\mathbf{w}\|_1 \]
3.3.1 稀疏性与特征选择
L1正则化最显著的特性是能够产生稀疏解：相当一部分权重被精确压缩为零。这实现了自动特征选择，即模型只保留对预测贡献最大的特征。在高维数据（特征数远大于样本数）中，Lasso尤其有用。
3.3.2 L1与L2的对比：菱形与圆球
从几何上看，L1约束的可行域是菱形（二维下），L2约束是圆球。损失函数的等高线在遇到菱形顶点时更容易与坐标轴相交，从而在坐标轴上产生零解。相比之下，圆球是光滑的，很难在坐标轴上碰到极值点。因此，L1产生稀疏解，L2则倾向于同时收缩所有参数。
3.4 弹性网络（Elastic Net）
3.4.1 组合惩罚项
弹性网络将L1和L2惩罚项线性组合： \[ R(\mathbf{w}) = \alpha \|\mathbf{w}\|_1 + (1-\alpha) \|\mathbf{w}\|_2^2 \] 其中 \( \alpha \in [0,1] \) 控制混合比例。目标函数变为： \[ \min_{\mathbf{w}} \; \|\mathbf{y} - X\mathbf{w}\|^2 + \lambda \big( \alpha \|\mathbf{w}\|_1 + (1-\alpha) \|\mathbf{w}\|_2^2 \big) \]
3.4.2 解决Lasso的局限
当特征高度相关时，Lasso往往只随机选择其中一个特征，而弹性网络通过L2项鼓励相关特征组被同时保留或同时剔除，提高了稳定性。此外，在特征数远大于样本数的极端场景下，弹性网络比纯Lasso更可靠。
4 正则化的其他应用
4.1 深度学习中的正则化
深度神经网络参数庞大，极易过拟合。深度学习社区开发了一系列专门的正则化技术。
4.1.1 Dropout
训练时随机“丢弃”一部分神经元（将其输出置零），迫使网络学习冗余表示，防止神经元之间过度共适应。测试时使用所有神经元，但权重乘以保留概率以保持期望输出一致。
4.1.2 数据增强
通过对训练数据进行随机变换（旋转、裁剪、颜色抖动等），间接增加训练样本多样性，相当于一种隐式正则化，使模型对输入的小扰动不敏感。
4.1.3 早停法（Early Stopping）
在验证集误差停止下降或开始上升时提前终止训练，避免模型在训练后期过度拟合噪声。早停法可视为一种隐含的正则化，其效果与L2正则化有一定联系。
4.2 图正则化与流形正则化
在半监督学习中，正则化项可以基于数据的内在几何结构，如拉普拉斯图正则化。它假设在流形上相距较近的样本应有相近的输出，从而利用未标记数据提升模型平滑性。
4.3 贝叶斯正则化视角
从贝叶斯角度看，正则化等价于对参数先验分布施加假设。L2正则化对应高斯先验（参数期望为零），L1正则化对应拉普拉斯先验（峰值在零处更尖锐）。最大后验估计（MAP）恰好等价于正则化的损失函数优化。
5 正则化参数的选择与调优
5.1 交叉验证法
选择正则化参数 \( \lambda \)（以及弹性网络中的 \( \alpha \)）的标准方法是交叉验证。将数据分成K折，对每个候选参数训练模型并评估验证误差，取平均误差最小的参数。
5.1.1 λ（惩罚强度）的网格搜索
通常在对数尺度下尝试一系列 \( \lambda \)（如 \( 10^{-6}, 10^{-5}, \dots, 10^{2} \)），跨度覆盖从几乎没有正则化到几乎完全约束。对于Lasso，\( \lambda \) 足够大时所有系数为零，可据此设定上限。
5.2 逐步回归与信息准则
除交叉验证外，也可基于信息准则（如AIC、BIC）选择正则化参数，尤其在线性模型家族中。这些准则在似然函数上加上参数数量的惩罚，与L1正则化的目标有内在联系。
5.3 超参数调优的“玄学”与实用技巧
调参实践中存在一些“江湖经验”：比如先固定 \( \lambda \) 的一个范围做粗搜索，再在小范围做精搜；或者使用随机搜索代替网格搜索以节省时间。老手常调侃调参为“炼丹”，而正则化参数则是最容易“炼炸”的原料之一：过大会导致欠拟合，过小则过拟合反复横跳。实用上，可视化不同 \( \lambda \) 下的系数路径图（如Lasso路径）非常有效。
6 正则化的深层思考
6.1 正则化与奥卡姆剃刀
奥卡姆剃刀原则主张“如无必要，勿增实体”。正则化正是这一原则的数学体现：在多个能拟合数据的模型中，选择更简单（参数更小或更少）的那个。它并非源于物理定律，而是源于统计学中对泛化风险的务实考量。
6.2 正则化与欠拟合的“甜蜜点”
正则化强度并非越大越好。当 \( \lambda \) 超过某个阈值时，模型过于简单，无法捕捉数据中的真实信号，进入欠拟合区域。这个“甜蜜点”位于偏差和方差交界的山谷，需要依靠交叉验证等手段精确锁定。
6.3 正则化的“梗”文化：从“炼丹师”到“正则化强迫症”
在机器学习社群中，正则化调参常被戏称为“炼丹”，而“正则化强迫症”指的是那些不假思索给所有模型加上L2惩罚、即使数据量充足也忍不住加 Dropout 的从业者。更有趣的是，有人将“正则化”作为万能借口：模型表现不好？加正则化！模型太简单？减少正则化！——这种“正则化万能论”已成为自嘲段子。另一个经典梗是：“你的模型过拟合了？试试L2/L1/Dropout/早停……全试一遍？那就用弹性网络+ Dropout + 早停，叠满 buff！”
7 常见问题与误区
7.1 正则化等于减少参数吗？
不完全是。L1正则化确实通过将部分参数置零来减少活跃参数数量；但L2正则化并不减少参数个数，只是让参数值变小。深度学习中的Dropout也不减少参数总数（仅训练时暂时忽略它们）。因此，正则化更准确的描述是“约束参数的作用强度”，而不是直接删减参数。
7.2 为什么L1产生稀疏解而L2不产生？
根本原因在于两种范数的单位球形状差异。L1的菱形在坐标轴处有“尖角”，当损失函数的等高线与之相切时，切点更可能落在尖角上（即坐标为0的点）。而L2的圆球边界处处光滑，相切点几乎不可能恰好位于坐标轴。这种几何特性导致了稀疏性的不同。
7.3 归一化与正则化的区别与联系
归一化（Normalization）是将数据缩放到统一尺度（如均值为0、方差为1），属于数据预处理。正则化是在损失函数中添加模型复杂度的惩罚项。两者目的不同：归一化加速收敛并防止某些特征主导梯度，正则化防止过拟合。但归一化常常是正则化有效的前提——未经归一化的特征尺度差异会导致正则化惩罚对不同参数不公平。因此实践中常将归一化与正则化搭配使用。
8 参考文献与扩展阅读
1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. *Journal of the Royal Statistical Society Series B*. 2. Hoerl, A. E., & Kennard, R. W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. *Technometrics*. 3. Zou, H., & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. *Journal of the Royal Statistical Society Series B*. 4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press. 5. Bishop, C. M. (2006). *Pattern Recognition and Machine Learning*. Springer. 6. Hastie, T., Tibshirani, R., & Friedman, J. (2009). *The Elements of Statistical Learning* (2nd ed.). Springer.