1 基本概念
1.1 定义
弹性网络回归是一类带正则化项的线性回归方法。它在损失函数中同时加入 L1 惩罚与 L2 惩罚，用于约束模型系数的大小，并在一定程度上实现变量筛选与系数收缩。该方法尤其适合特征数量较多、变量之间相关性较强的情形。
1.2 发展背景
弹性网络回归提出于统计学习与高维数据分析快速发展的背景下。传统线性回归在高维场景中容易出现过拟合，而单独使用岭回归或套索回归又各有局限：前者倾向于保留所有变量，后者则可能在强相关特征中随机挑选少数变量。弹性网络的出现，正是为了综合二者的优点，增强模型在复杂数据中的适用性。
1.3 核心思想
其核心思想是通过联合使用两种惩罚机制，使模型既能保持数值稳定，又能产生一定稀疏性。L2 惩罚倾向于缩小系数并缓解共线性问题，L1 惩罚则会促使部分系数压缩为 0，从而起到特征选择作用。二者结合后，模型通常更平衡，也更适合实际应用。
1.4 与其他回归方法的关系
1.4.1 与普通最小二乘回归
普通最小二乘回归以最小化残差平方和为目标，不包含正则化约束。当特征维度较高或变量间存在强相关时，参数估计容易不稳定。相比之下，弹性网络在拟合误差之外增加了约束项，因此通常具有更强的泛化能力。
1.4.2 与岭回归
岭回归只使用 L2 惩罚，主要作用是压缩系数并改善病态问题。它通常不会将系数压到 0，因此不具备显式变量筛选能力。弹性网络保留了岭回归的稳定收缩特性，同时引入 L1 惩罚，使模型可以自动剔除一部分不重要特征。
1.4.3 与套索回归
套索回归只采用 L1 惩罚，能够生成稀疏解，因而广泛用于特征选择。不过在强相关特征并存时，套索往往只保留其中少数几个变量，选择结果可能较不稳定。弹性网络则通过 L2 项增强相关变量的联动保留能力，减轻这种不稳定现象。
2 数学形式
2.1 目标函数
弹性网络回归的目标函数通常由数据拟合项和正则化项组成。给定样本矩阵与响应变量，模型通过最小化二者之和来估计回归系数。
2.1.1 损失项
损失项一般采用残差平方和，衡量预测值与真实值之间的偏差。它反映了模型对训练数据的拟合程度，是回归问题中的基础部分。
2.1.2 正则化项
正则化项由 L1 与 L2 两部分构成，分别对应绝对值惩罚和平方惩罚。前者推动稀疏解的形成，后者则对系数整体进行平滑收缩。两者共同作用，构成弹性网络的主要特征。
2.2 参数含义
弹性网络通常包含正则化强度与混合比例等参数，用于控制惩罚项的影响程度。不同参数设置会显著改变模型的稀疏程度与稳定性。
2.2.1 L1 惩罚
L1 惩罚与系数绝对值之和相关，能够促使部分系数变为 0。它在特征选择方面作用明显，但在特征高度相关时，可能对变量选择产生波动。
2.2.2 L2 惩罚
L2 惩罚与系数平方和相关，主要用于缩小参数幅度。它不能直接产生稀疏解，但能降低估计方差，并改善相关特征下的数值稳定性。
2.3 标准化与尺度影响
由于 L1 与 L2 惩罚都与系数大小有关，特征量纲不同会影响惩罚效果。因此，在实际建模中通常需要对输入变量进行标准化或归一化处理。若不进行尺度统一，取值范围较大的特征可能在优化中占据不成比例的影响。
3 模型性质
3.1 稀疏性
弹性网络能够将一部分不重要变量对应的系数压缩为零，因此具备稀疏表示能力。虽然其稀疏程度通常不如纯 L1 方法那么强，但在保持稳定性的同时实现特征筛选，往往更符合实际需求。
3.2 组效应
当多个特征彼此高度相关时，弹性网络具有较明显的组效应倾向，即相近或相关变量更容易被一并保留，而不是只选中其中单个代表。这一性质有助于处理冗余特征，也提升了建模结果的一致性。
3.3 稳定性
相较于仅依赖 L1 的方法，弹性网络在样本扰动或特征相关性较强时通常更稳定。L2 项提供了额外的平滑约束，使参数估计不至于过于敏感，从而提升了模型的鲁棒性。
3.4 可解释性
由于模型仍属于线性回归范畴，其系数含义较为直观，具备一定可解释性。不过在特征较多、相关性复杂或同时涉及多重正则项时，解释难度也会相应增加，不能简单将系数大小等同于变量重要性。
4 求解方法
4.1 坐标下降法
坐标下降法是求解弹性网络的常用算法之一。它每次只更新一个参数，在循环迭代中逐步逼近最优解。该方法实现简洁，适合中高维问题，在实际软件中应用广泛。
4.2 近端梯度法
近端梯度法将光滑部分与非光滑部分分开处理，适用于包含 L1 惩罚的优化问题。它通过梯度步与近端映射交替推进，能够较稳定地处理弹性网络这类复合目标函数。
4.3 交叉验证选参
弹性网络对参数较敏感，通常需要借助交叉验证选择合适的正则化强度与混合比例。通过比较不同参数组合下的验证误差，可以较客观地确定模型配置，从而避免过拟合或欠拟合。
4.4 软件实现
4.4.1 常见统计软件
在统计分析环境中，弹性网络通常作为标准回归工具的一部分提供。相关实现一般支持参数搜索、标准化处理与交叉验证，可直接用于建模与变量筛选。
4.4.2 常见机器学习库
在机器学习生态中，弹性网络也有成熟实现，常见库通常提供统一接口，便于与其他模型进行比较。此类工具往往支持批量训练、模型评估以及与管线式流程结合。
5 超参数与调参
5.1 正则化强度
正则化强度决定惩罚项整体作用的大小。数值较大时，模型更保守，系数会被压得更小；数值较小时，模型更接近普通回归，拟合能力增强，但过拟合风险也会上升。
5.2 L1 与 L2 的混合比例
混合比例用于控制 L1 和 L2 的相对权重。比例偏向 L1 时，模型更稀疏；偏向 L2 时，模型更平滑、稳定。实际选择往往依赖数据结构、特征相关性以及预测目标。
5.3 模型选择策略
弹性网络的模型选择通常围绕参数调优展开，需要综合考虑训练表现与验证表现。合理的策略可以提升泛化能力，并减少对单次样本划分的偶然依赖。
5.3.1 训练集与验证集划分
通过将数据划分为训练集和验证集，可以初步评估模型在未见数据上的表现。该方法直观、便捷，但结果可能受划分方式影响，稳定性不如交叉验证。
5.3.2 K 折交叉验证
K 折交叉验证将样本分成若干部分，轮流作为验证集。它能够更充分利用数据，并获得较稳健的性能估计，因此常作为弹性网络选参的主要方法。
6 应用场景
6.1 基因表达数据分析
在基因表达数据中，特征数量往往远大于样本数，并且变量之间相关性较强。弹性网络能够在这种高维环境下筛选出与目标相关的基因集合，因此常用于生物统计建模与疾病标志物分析。
6.2 金融与风险建模
金融数据通常具有噪声较多、变量相关性高和样本分布不稳定等特点。弹性网络可用于信用评分、违约预测和风险因子筛选等任务，帮助构建较稳健的预测模型。
6.3 图像与信号处理
在图像和信号任务中，输入特征可能来自像素块、频域表示或提取后的统计量。弹性网络有助于从大量冗余特征中筛选有效成分，并在保持一定压缩能力的同时提升预测表现。
6.4 文本特征选择
文本数据经过词袋或向量化处理后，通常呈现高维稀疏特征结构。弹性网络可用于筛除无关词项，保留对分类或回归更有贡献的特征，因此在文本挖掘中具有较强实用性。
7 优缺点
7.1 优势
弹性网络兼具收缩与筛选能力，在许多复杂数据场景中表现均衡。它既能改善普通回归的稳定性，又能提供一定稀疏结构，因此被广泛视为兼顾精度与可用性的折中方案。
7.1.1 适合高维数据
在高维问题中，弹性网络能够通过正则化控制模型复杂度，避免参数过多带来的不稳定。对于“特征多、样本少”的情形，它尤其常见。
7.1.2 处理共线性特征
当特征之间存在明显共线性时，模型容易出现系数波动。弹性网络的 L2 部分可缓解这一问题，使估计过程更加平滑。
7.1.3 兼顾选择与收缩
该方法不仅能缩小参数幅度，还可以剔除部分变量。这种双重作用使其在建模与解释之间取得较好平衡。
7.2 局限
尽管弹性网络应用广泛，但它并非对所有数据都最优。其表现仍依赖参数设置、数据预处理以及样本结构，实际使用中需要认真调试。
7.2.1 对参数敏感
不同的正则化强度和混合比例会导致完全不同的结果，因此模型对调参较为敏感。若参数选择不当，可能出现欠拟合或特征筛选不足。
7.2.2 结果受特征尺度影响
如果未对特征进行标准化，惩罚项的作用可能失衡，进而影响系数估计与变量选择。尺度差异越大，这一问题越明显。
7.2.3 解释性仍有限
尽管系数具有一定直观意义，但在高维且相关性复杂的场景中，解释仍不完全清晰。模型可以告诉人们“哪些变量被保留”，却未必能精确说明因果关系。
8 变体与扩展
8.1 广义弹性网络
广义弹性网络将弹性网络思想推广到更一般的响应分布或损失函数中，适用于分类、计数和其他非正态数据建模问题。它保留正则化框架，同时拓宽了应用范围。
8.2 自适应弹性网络
自适应弹性网络通过为不同系数设置不同权重，增强对重要变量的保留能力。与普通弹性网络相比，它通常在特征选择上更灵活，也更能体现变量差异。
8.3 分组弹性网络
分组弹性网络面向具有天然分组结构的特征集合，如同源变量或多个相关指标。它强调组内联动与整体选择，适合处理层次化或模块化数据。
8.4 多任务弹性网络
多任务弹性网络用于同时建模多个相关输出变量。它利用任务之间的共享结构，在联合学习中提升估计效率，并常见于多目标预测和联邦式特征共享场景。
9 相关概念
9.1 正则化
正则化是通过增加约束来防止模型过拟合的通用方法。弹性网络正是正则化思想在线性回归中的典型体现之一。
9.2 特征选择
特征选择旨在从大量变量中挑选更有信息量的子集。弹性网络通过 L1 惩罚实现部分筛选，因此常被用于这一任务。
9.3 偏差与方差权衡
偏差与方差权衡描述了模型复杂度与泛化误差之间的关系。弹性网络通过引入惩罚项降低方差，同时保持适度表达能力，从而改善整体预测表现。
9.4 高维统计学习
高维统计学习研究特征维度较高时的建模、推断与预测问题。弹性网络是其中常见工具，尤其适用于变量筛选、稳定估计和相关特征处理。