L1回归

1 L1回归的基本概念

1.1 L1范数与稀疏性直觉

L1回归的核心是把系数向量 \(w\) 的 L1 范数作为约束或惩罚： \[

\|w\|_1=\sum_i	w_i	.

\] 与 L2 范数相比，L1 对小系数的惩罚“更有力度”，会在优化过程中把一些系数直接压到 0。直观上，可以把它理解为一种“经济性”准则：模型宁可牺牲少量拟合精度，也要让更多特征不参与（对应系数为 0），从而得到稀疏解。

1.2 典型形式：带L1正则的线性回归

最常见的表述是最小化“数据拟合误差 + L1 正则项”，例如最基础的线性回归情形： \[

\min_w \; \frac{1}{2}\|y-Xw\|_2^2+\lambda \|w\|_1,

\] 其中 \(X\) 为设计矩阵，\(y\) 为响应变量，\(\lambda\ge 0\) 控制正则强度。该形式强调：误差项决定“贴合数据”，而 L1 项决定“系数应尽量稀疏”。

1.3 与L2回归（岭回归）的对比要点

岭回归使用 L2 正则 \(\|w\|_2^2\)，倾向于把系数“均匀缩小”，但通常不会产生大量严格为 0 的系数；因此它更像是稳定性增强器。L1 回归则更容易导致特征被“选择/剔除”，更具可解释性与变量筛选能力。二者并非孰优孰劣：当特征强相关较多、且既希望稳定又希望稀疏时，常见做法是进一步使用弹性网等折中方案。

2 统计模型与目标函数

2.1 线性回归设定与符号约定

在统计学习与机器学习语境中，线性回归常采用 \[ y \approx Xw, \] 其中 \(X\in\mathbb{R}^{n\times p}\) 表示有 \(n\) 个样本、\(p\) 个特征；\(w\in\mathbb{R}^p\) 为待学习系数；响应 \(y\) 可以是连续变量（对应线性回归），也可以在更一般的广义模型中扩展。

为便于讨论，通常把截距是否需要单独处理视为实现细节：很多算法在预处理（如对特征与响应做中心化）后可以简化形式。

2.2 目标函数的构成：损失项与正则项

一般写法可抽象为 \[

\min_w \; \mathcal{L}(y,Xw)+\lambda \|w\|_1,

\] 其中 \(\mathcal{L}\) 为损失项。例如：

- 平方损失：\(\mathcal{L}=\frac12\|y-Xw\|_2^2\)（对应经典 Lasso 的一种形式）。

• 若扩展到分类或其他任务，损失项可换成逻辑回归损失、泊松回归损失等，但正则思想仍沿用 L1 的稀疏偏好。

正则项的作用是对系数复杂度施加偏好，从而提升泛化并减少无关特征带来的噪声影响。

2.3 系数约束与变量选择机制

L1 正则不仅是“数值稳定”的手段，也会诱导模型进行变量选择。一个常用理解是：当某些特征在当前数据下贡献不明显时，优化过程会将对应系数推向 0，使模型结构从“使用全部特征”变为“只保留少数有效特征”。因此：

• 训练结束后，系数恰为 0 的特征可被视为未被选择。
• 非零系数的特征被视为进入模型的候选变量。

这种机制让 L1 回归在需要解释“哪些特征重要”的场景中更受欢迎。

2.4 常见变体：Lasso与一般化L1正则

“Lasso”通常指在平方损失下的 L1 正则线性回归。更一般地，L1 正则可以用于不同损失函数或不同参数化形式，从而形成广义 L1 正则化模型。常见变体包括：

• 仅对部分系数施加 L1（例如不惩罚截距）。
• 组合式正则：如在 L1 与 L2 之间折中以缓解某些特征强相关时的选择不稳定问题（弹性网属于常见方向）。

3 数学性质与可解释性

3.1 收缩（shrinkage）与偏差-方差权衡

L1 正则带来“收缩”效应：相较无正则估计，系数会被压小，从而改变模型的方差水平。一般而言：

• 过小的 \(\lambda\)：正则不足，模型更贴合训练数据，可能方差较大。
• 过大的 \(\lambda\)：正则过强，系数被过度压缩，导致偏差增大。

因此 \(\lambda\) 的调节体现了典型的偏差-方差权衡：在更好的泛化之间找到平衡。

3.2 KKT条件与稀疏解的形成机制

L1 范数在 0 点不可导，这是理解其稀疏性的关键。优化一阶必要条件通常用 KKT（Karush-Kuhn-Tucker）形式表达。结果表明：对于某个特征系数 \(w_j\)，只有当它对应的“相关度/梯度信息”超过阈值时，\(w_j\) 才能保持非零；否则最优解会取 \(w_j=0\)。 这种“阈值裁决”对应了 L1 的几何与非光滑特性：在可行区域与等值面相切时，解更容易落在坐标轴上（坐标轴上的点正对应若干分量为 0）。

3.3 正则化参数 λ 对解的影响

\(\lambda\) 决定稀疏度与拟合程度：

• \(\lambda=0\) 时退化为不加 L1 的估计（具体取决于损失项与是否有其他正则/约束）。
• 当 \(\lambda\) 增大，非零系数的数量往往减少，模型更简化。
• 在经验上，\(\lambda\) 的调节常通过验证集或交叉验证完成，以避免欠拟合或过拟合。

此外，L1 回归的解随 \(\lambda\) 变化通常呈现“分段变化”的特征，许多算法会利用这一点进行路径计算。

3.4 可解释性：系数为0的含义

从可解释角度，L1 回归给出了一种“稀疏解释框架”：

• 系数为 0：在当前正则强度下，模型判定该特征不需要进入。
• 系数非 0：表示该特征对预测贡献至少达到某种阈值。

需要注意的是，系数为 0 的含义是“在该模型与该 \(\lambda\) 下被压到 0”，它不是对真实因果效应的直接结论；但在特征筛选、形成候选变量集合方面具有实用价值。

4 求解算法与数值实现

4.1 解析/半解析视角：为何通常需要数值优化

L1 正则项导致目标函数不可微（在 0 附近），使得“直接求导并解方程”的解析方法难以适用。虽然在某些特殊结构（如坐标方向上）可以得到半解析更新，但整体仍需数值迭代。典型目标是找到满足最优性条件的系数向量。

4.2 坐标下降法（Coordinate Descent）

坐标下降法把向量参数分量逐个更新：固定除 \(w_j\) 以外的其余分量，只优化当前坐标上的目标。由于 L1 的结构良好，对单个坐标的更新可形成高效的闭式形式（或近闭式形式），从而使算法在大规模问题上具有吸引力。实际实现中通常配合：

• 合理的特征预处理（如中心化与尺度化）。
• 迭代终止准则（例如目标函数改变量或参数改变量小于阈值）。

4.3 近端梯度与软阈值算子（Soft-thresholding）

近端梯度法把目标函数写成“光滑项 + 非光滑但可近端处理的项”。对于 L1 正则，近端算子对应软阈值算子：它会把某些系数收缩到 0，其余系数按规则减小幅度。 这种方法的优点是实现相对统一，且可以推广到各种损失函数（只要光滑部分可计算梯度、非光滑部分可求近端）。

4.4 内点法与其他优化策略（概览）

内点法在某些带约束的等价形式下可使用，适合中小规模或需要较高精度的场景。除此之外还存在：

• 基于增广拉格朗日的方法。
• 采用热启动与正则路径追踪的策略（逐步改变 \(\lambda\) 并复用上一次解）。

总体而言，L1 回归在工程上常见的选择取决于数据规模、稀疏度预期以及对速度或精度的要求。

5 模型选择与评估

5.1 正则化参数 λ 的选择（交叉验证）

实际建模通常通过交叉验证（如 K 折）选择 \(\lambda\)。常见流程包括：

1. 在一组候选 \(\lambda\) 上训练模型；
2. 在验证集上计算误差或评估指标；
3. 选取表现最好的 \(\lambda\)（或选取误差最接近最优的一组以提升稳定性）。

这样可以降低因 \(\lambda\) 选择不当造成的泛化损失。

5.2 特征尺度化与数值稳定性

L1 回归对特征尺度较敏感：因为正则项直接作用在系数上，而系数与特征的尺度存在互相抵消的关系。若特征未经尺度化，不同量纲的特征可能在正则惩罚下表现不一致，导致变量选择偏向某些特征。 因此工程实践中通常对特征进行标准化（例如零均值、单位方差），并在必要时单独处理截距。

5.3 评估指标：MAE、RMSE与拟合优度

在回归任务中常用指标包括：

• MAE（平均绝对误差）：对异常值相对更鲁棒。
• RMSE（均方根误差）：对大误差更敏感。
• 拟合优度类指标：用于衡量解释程度，但在正则化情境下需要结合样本划分与泛化评估一起看。

此外，若目标是特征筛选而不仅是预测，评估还应关注稀疏结构是否符合预期。

5.4 稀疏度指标与变量选择质量评估

稀疏度常用“非零系数数量”或其比例衡量：非零越少，模型越简洁。变量选择质量可以用不同方式评估，例如：

• 在合成数据中比较与真实相关特征的匹配情况。
• 在真实数据中结合业务或后验检验（例如是否与已有知识一致、是否在外部验证集继续保持稳定的预测贡献）。

稀疏性不是唯一目标；过度稀疏可能导致关键变量被误删，从而影响预测与解释。

6 扩展方向与应用场景

6.1 高维数据中的稀疏回归

当特征数 \(p\) 很大、甚至超过样本数 \(n\) 时，高维回归更需要“结构化的先验”。L1 正则通过稀疏性假设（只有少数变量真正重要）来降低有效自由度，从而使学习问题更可解。此时变量选择与预测往往同时受益。

6.2 特征工程与降维的结合方式

L1 回归常与特征工程协同使用。例如：

• 对候选特征集合进行构造（交互项、多项式展开、统计汇总特征）。
• 用 L1 回归筛掉冗余或噪声特征，再在较小特征集上做进一步建模。

它也可能与降维方法形成互补：降维偏向提取低维表示，L1 回归更偏向选择原始特征子集。两者目标不同，组合使用取决于任务需求。

6.3 与鲁棒损失的组合思路（概览）

L1 回归可与不同损失函数搭配，以增强对噪声或离群点的适应性。思路上可以将“稀疏性偏好（L1）”与“对误差分布更友好的损失”结合，从而在同一框架下同时提升鲁棒性与可解释性。具体选取哪种鲁棒损失取决于数据特征与误差模式。

6.4 计量经济学与信号处理的常见用法（非争议性概述）

在计量经济学中，L1 正则常用于从众多解释变量中筛选候选因素，并控制模型复杂度。 在信号处理领域，稀疏性假设也很常见（如信号由少数成分构成），L1 回归可视为一种将“稀疏先验”融入估计的工具，用于重建或回归式建模。整体而言，这些用法都利用了 L1 的稀疏建模能力，并不依赖敏感议题。

7 局限性与实践注意事项

7.1 多重共线性与解的稳定性

当特征之间高度相关时，L1 回归在变量选择上可能出现“替代效应”：几个高度相关的特征中，模型可能在不同样本划分下选择不同的那一个或组合，导致解不够稳定。 这不一定意味着算法错误，而是反映了数据中“可区分性不足”。实践中可借助更强的正则组合（如弹性网）或提高数据质量与特征处理来改善稳定性。

7.2 λ较大/较小导致的欠拟合与过拟合风险

• \(\lambda\) 太小：模型更复杂，可能拟合噪声，泛化变差。
• \(\lambda\) 太大：模型过度稀疏，关键变量可能被压到 0，从而欠拟合。

因此仅靠默认值往往不可靠，参数选择与验证评估是必要步骤。

7.3 组效应与相关特征的处理挑战

若特征具有“组结构”（例如同一来源的多维特征应一起进入模型），单纯 L1 可能在组内选择上表现得过于碎片化：它可能只保留组中的少数成员而丢弃其余。针对这种结构化稀疏，通常会考虑把惩罚从单个系数扩展到组层面（例如组稀疏正则的思路），以更符合领域结构。

7.4 数据偏态与异常值对结果的影响

尽管 L1 回归倾向于产生稀疏解，但对数据分布仍可能敏感。若存在明显异常值或误差分布偏态，平方损失会被较大残差主导，进而影响系数路径与变量选择。实践中可以通过：

• 选择更合适的损失（如更鲁棒的损失形式）。
• 进行适度的异常处理或数据清洗。

来降低这种影响。

8 相关条目与延伸阅读

8.1 与岭回归、弹性网（Elastic Net）的关系

岭回归通过 L2 正则提升稳定性，通常不产生稀疏结构；弹性网将 L1 与 L2 结合，兼顾稀疏与稳定性，常用于特征相关性较强或希望选择更稳健的场景。理解三者的差异有助于根据数据特性做模型选择。

8.2 与稀疏特征选择方法的区别

L1 回归属于“嵌入式（embedded）”变量选择：变量选择过程发生在模型训练之内。与之相对，存在过滤式（filter）方法与包装式（wrapper）方法，它们可能先独立评分特征再建模，或用模型效果反复搜索子集。嵌入式方法通常在效率与一致性上更有优势，但也会受限于正则形式与优化目标的假设。

8.3 理论教材与经典论文（方向性指引）

进一步阅读时，可从以下方向入手：

• 统计学习中关于正则化与稀疏估计的章节。
• 优化方法中关于非光滑凸优化、坐标下降与近端算法的内容。
• L1 稀疏性的理论分析（如稀疏一致性、收缩偏差、以及基于 KKT 条件的理解）。

具体文献可根据课程体系或研究方向选择，但建议优先掌握：目标函数几何、最优性条件与数值求解之间的联系。