1 基本概念
1.1 定义
回归任务是监督学习中的一类问题，其核心是在给定输入特征的条件下，预测一个连续型数值或连续范围。该数值通常用于描述某种“量”的大小，例如价格、温度、长度、销量、时间、能量消耗或风险评分等。与离散标签预测不同，回归任务更关注数值之间的连续关系和变化趋势。
1.2 任务目标
回归任务的目标通常是学习一个从输入空间到输出空间的映射关系，使模型能够尽可能准确地估计未知样本的数值结果。实际应用中，这一目标不仅包括点预测，也可能包括区间估计、趋势刻画和不确定性表达。对于某些场景，模型还需兼顾可解释性、稳定性和泛化能力。
1.3 与分类任务的区别
回归任务与分类任务都属于监督学习，但二者的输出形式不同。分类任务输出的是有限个类别，而回归任务输出的是连续数值。二者在损失函数、评价指标和模型设计上也存在差异：分类更常使用交叉熵、准确率等指标，回归则常使用均方误差、绝对误差和决定系数等指标。由于输出是连续的，回归模型通常需要处理数值尺度、误差分布和异常值等问题。
1.4 典型应用场景
回归任务广泛用于自然科学、工程技术、经济分析、医疗预测和商业决策等领域。例如，工程中可用于预测设备寿命和结构变形；气象中可用于估计温度、降水量和风速；医疗中可用于预测生理指标、病程变化或治疗反应；商业中可用于销量预测、需求估计和价格分析。凡是需要对“数量”进行估计的场景，回归都具有较高的实用价值。
2 问题形式化
2.1 输入与输出
在形式化描述中，回归任务的输入通常表示为特征向量，输出则是一个连续标量或向量。若样本数为 \(n\)，可记为输入集合与对应输出集合的配对关系。模型的任务是利用历史样本中的输入输出对应关系，学习出可用于新样本预测的函数。
2.2 特征与标签
特征是用于描述样本属性的变量，标签则是待预测的目标值。在回归问题中，标签一般为实数，也可能是多个连续值组成的向量。特征可以来自测量、统计、文本转换、图像提取或业务记录，其质量往往直接影响模型效果。标签则应尽量准确、稳定，并与业务目标保持一致。
2.3 监督学习框架
回归任务通常建立在监督学习框架之上，即模型通过带标签数据进行训练，并在训练过程中逐步调整参数，使预测结果与真实值之间的误差最小化。训练完成后，模型用于未见样本的数值估计。该过程一般包含数据划分、模型拟合、验证与测试等环节，以检验模型的泛化能力。
2.4 回归函数表示
回归函数可表示为从输入空间到实数空间的映射，记作 \(f(x)\)。当输入为多维特征时，函数形式可能是线性的、非线性的或由多个子模型组合而成。不同模型对函数的假设不同，因此对复杂关系的表达能力也不同。实际建模中，函数表示不仅决定预测形式，也影响训练方法与解释方式。
3 回归任务类型
3.1 单变量回归
单变量回归是指输入端只有一个主要自变量，输出为连续数值的回归问题。这类问题结构相对简单，常用于分析两个变量之间的关系，例如时间与销量、面积与价格之间的联系。由于变量较少，单变量回归便于可视化和解释，但在复杂场景中表达能力有限。
3.2 多变量回归
多变量回归是指模型使用多个输入特征共同预测一个连续输出。它是现实应用中最常见的回归形式，因为大多数目标都受到多个因素共同影响。多变量回归能够刻画不同特征对结果的综合作用，但也更容易受到共线性和特征冗余的影响。
3.3 多输出回归
多输出回归的目标是同时预测多个连续变量，例如同时预测温度、湿度和气压，或同时估计多个相关指标。此类问题中，各输出之间可能存在相关性，因此联合建模往往比分别建模更有效。多输出回归在多目标预测和系统状态估计中较为常见。
3.4 序列回归
序列回归主要处理输入或输出具有顺序结构的数据，例如按时间、位置或步骤排列的序列信息。模型需要利用前后上下文关系来估计连续值，因此常见于语音处理、传感器建模和过程预测等任务。此类问题通常比静态回归更依赖上下文特征。
3.5 时序回归
时序回归是面向时间序列数据的回归任务，重点在于利用历史时刻的数据预测未来的连续数值。该类任务常见于金融、气象、设备监测和需求预测等领域。与一般回归相比，时序回归更强调时间依赖、趋势变化、季节性和滞后效应。
4 经典回归模型
4.1 线性回归
线性回归是假设输出与输入特征之间存在线性关系的一类基础模型。它结构简单、训练高效、便于解释，常被用作回归分析的起点。尽管表达能力有限，但在许多场景中仍具有良好的基线价值。
4.1.1 一元线性回归
一元线性回归只使用一个自变量描述输出与输入之间的线性关系。其形式通常表现为直线拟合，参数包括斜率和截距。由于模型直观，常用于教学示例和简单趋势分析。
4.1.2 多元线性回归
多元线性回归将多个特征同时纳入模型，以线性组合的方式预测输出。它能够反映多因素共同作用下的目标变化，并可通过系数分析各特征的重要性。若特征之间存在较强相关性，模型稳定性可能下降。
4.2 多项式回归
多项式回归通过引入特征的高次项来拟合非线性关系。尽管其形式上仍可归入线性模型框架，但由于包含幂次扩展，能够表达更复杂的曲线变化。该方法适合存在明显弯曲趋势的数据，不过阶数过高时容易过拟合。
4.3 岭回归
岭回归是在普通线性回归基础上加入L2正则化的模型。它通过对参数大小施加约束，缓解过拟合并降低多重共线性带来的不稳定性。岭回归通常能使系数更平滑，尤其适合特征数量较多且彼此相关的情形。
4.4 套索回归
套索回归采用L1正则化，除了抑制参数过大，还具有一定的特征选择效果。部分系数会被压缩为零，从而形成稀疏模型。该特性使其在高维数据和变量筛选中十分常用，但在强相关特征场景下可能出现选择不稳定。
4.5 弹性网络回归
弹性网络回归结合了L1与L2正则化的优点，兼顾特征选择与参数稳定性。它适用于特征数量较多、变量间相关性较强的回归问题。与单独使用套索或岭回归相比，弹性网络在灵活性上通常更均衡。
4.6 支持向量回归
支持向量回归是支持向量机在回归问题上的扩展，强调在容忍一定误差范围内寻找更稳健的拟合函数。它可以通过核函数处理非线性关系，适合中小规模数据和复杂模式建模。该方法对参数设置较敏感，训练和调参需要一定经验。
4.7 决策树回归
决策树回归通过递归划分特征空间，将样本划分到不同区域并在叶节点输出预测值。它能够自然处理非线性关系和特征交互，解释也较为直观。缺点是单棵树容易过拟合，且对数据扰动较敏感。
4.8 随机森林回归
随机森林回归由多棵决策树组成，通过集成方式降低单树的不稳定性。它通常具有较好的泛化性能，对噪声和异常值的鲁棒性也较强。由于模型内部包含大量树结构，解释性不如单棵树直观，但整体效果往往更稳定。
4.9 梯度提升回归
梯度提升回归是一类逐步叠加弱学习器的集成方法，常以决策树为基学习器。模型通过不断修正前一轮的残差来提升拟合能力，因此在结构复杂的数据上表现突出。其优势在于预测精度高，但对超参数和训练过程较为敏感。
4.10 神经网络回归
神经网络回归利用多层非线性结构学习输入与输出之间的复杂映射。它适合处理高维、非线性和结构化程度较弱的数据，尤其在样本规模较大时表现良好。模型表达能力强，但训练成本较高，且可解释性通常较弱。
5 训练与优化
5.1 损失函数
损失函数用于衡量模型预测值与真实值之间的差异，是回归训练的核心目标函数。不同损失函数对误差的敏感程度不同，会影响模型的拟合方式和鲁棒性。选择合适的损失函数，往往需要结合数据分布和业务需求。
5.1.1 均方误差
均方误差通过计算预测误差平方后的平均值来衡量模型表现。由于平方操作会放大较大的偏差，它对离群点较为敏感，但有利于促使模型减少大误差。均方误差是回归中最常见的损失之一。
5.1.2 平均绝对误差
平均绝对误差计算预测值与真实值差异的绝对值平均。与均方误差相比，它对极端误差不那么敏感，通常更能反映平均偏差水平。该指标在需要稳健估计时较为常用。
5.1.3 Huber损失
Huber损失兼具均方误差和平均绝对误差的特点，在小误差区间近似平方损失，在大误差区间转为线性增长。它既能保持一定的平滑性，又能减弱异常点影响，因此常用于噪声较多的数据建模。
5.2 参数估计
参数估计是根据训练数据求解模型参数的过程。线性模型常可通过解析解或数值优化获得参数，复杂模型则通常依赖梯度下降及其变体。参数估计的目标是使损失函数最小化，同时兼顾计算效率与收敛稳定性。
5.3 正则化方法
正则化通过对模型复杂度施加约束，降低过拟合风险。常见方法包括L1正则化、L2正则化及其组合形式。正则化不仅影响参数大小，也会影响模型在新数据上的泛化性能。
5.4 过拟合与欠拟合
过拟合是指模型过于贴合训练数据，导致在新样本上表现变差；欠拟合则是模型过于简单，无法捕捉数据中的真实规律。两者都与模型复杂度、训练数据质量和特征表达有关。实践中通常通过调整模型结构、正则化强度和训练策略来平衡二者。
5.5 特征缩放与预处理
特征缩放用于将不同尺度的变量调整到相近范围，以改善优化过程和模型表现。常见方法包括标准化和归一化。对于距离敏感模型、梯度优化模型和正则化模型，特征缩放通常尤为重要。
6 模型评估
6.1 评估指标
回归模型的评估指标用于衡量预测与真实值之间的偏差程度。不同指标强调的误差特性不同，有的关注整体拟合，有的关注平均偏差，还有的强调相对误差。实际评估中，常需结合多个指标综合判断。
6.1.1 决定系数
决定系数用于衡量模型对目标变量变异的解释程度。其数值越高，通常表示模型拟合越好。该指标便于与基线模型比较，但在某些情况下也可能受到样本分布和模型复杂度影响。
6.1.2 均方根误差
均方根误差是均方误差开方后的结果，保留了原始量纲，因此更容易直观理解。它能够反映预测误差的典型大小，并对较大偏差保持一定敏感性。该指标在工程和预测类任务中使用广泛。
6.1.3 平均绝对百分比误差
平均绝对百分比误差衡量预测偏差占真实值的相对比例，适合用于不同量级样本之间的比较。它表达直观，便于业务解读，但在真实值接近零时可能不稳定。实际使用时需要结合数据特点谨慎解释。
6.2 交叉验证
交叉验证通过将数据多次划分为训练集与验证集，评估模型在不同样本划分下的稳定性。它可以减少单次划分带来的偶然性，提高模型选择的可靠性。对于样本量有限的回归任务，交叉验证尤其重要。
6.3 残差分析
残差分析用于考察预测值与真实值之间的差异是否具有系统性模式。若残差随机分布，通常说明模型较好地捕捉了主要规律；若残差呈现结构性趋势，则可能提示模型形式不足或存在遗漏变量。残差分析也是诊断模型问题的重要手段。
6.4 误差分布检验
误差分布检验关注残差是否符合某些统计假设，例如是否近似正态、是否独立同分布等。该分析有助于判断模型假设是否合理，并为后续推断和区间估计提供依据。在高要求的统计建模中，这一步常不可忽视。
7 特征工程
7.1 特征选择
特征选择旨在从众多候选变量中筛选出与目标最相关、最有用的特征。合理的选择可以降低噪声、减少维度并提升模型泛化能力。常见方法包括过滤式、包裹式和嵌入式策略。
7.2 特征构造
特征构造是通过对原始数据进行组合、转换或派生，生成更有信息量的新变量。它能够增强模型对复杂关系的表达能力。常见做法包括比值、差值、交互项、时间窗口统计和聚合特征等。
7.3 类别特征编码
类别特征编码是将离散类别变量转换为模型可处理的数值表示。常用方式包括独热编码、目标编码和频数编码等。不同编码方法对模型表现和维度规模影响不同，需根据数据特点选择。
7.4 缺失值处理
缺失值处理用于解决数据不完整的问题。处理方式可包括删除样本、删除特征、均值或中位数填补、模型填补等。合理处理缺失值有助于保持数据有效性，并减少偏差扩散。
7.5 异常值处理
异常值是指明显偏离多数数据分布的观测点。它们可能来源于测量错误、录入失误或真实极端情况。处理异常值时需要区分“错误噪声”和“有意义的极端值”，以免过度清洗导致信息损失。
8 实践流程
8.1 数据收集
数据收集是回归建模的起点，决定了后续分析的上限。数据来源可能包括传感器、业务系统、实验记录、公开数据库或第三方平台。收集阶段应尽量保证样本覆盖全面、标签可靠且字段一致。
8.2 数据清洗
数据清洗包括去重、纠错、缺失处理、异常检查和格式统一等工作。其目的在于提高数据质量，减少无效信息对模型的干扰。对于回归任务，清洗质量往往直接影响预测精度。
8.3 建模与调参
建模阶段需要根据任务特点选择合适模型，并通过调参优化性能。调参内容通常包括学习率、正则化强度、树深、网络结构或核函数参数等。实践中常结合验证集表现与交叉验证结果进行调整。
8.4 预测与部署
模型训练完成后，需要将其集成到实际业务或分析流程中，用于新数据预测。部署方式可以是批量推断、实时服务或嵌入式应用。部署阶段还要考虑响应速度、资源消耗和结果稳定性。
8.5 模型监控与更新
模型上线后，数据分布可能随时间变化，导致性能下降。因此需要持续监控误差、输入分布和输出稳定性，并在必要时进行重新训练或更新。模型更新机制是保持长期有效性的关键环节。
9 常见问题
9.1 非线性关系建模
许多真实问题并不满足简单线性假设，因此需要采用多项式模型、树模型、核方法或神经网络来刻画非线性关系。选择何种方法，通常取决于数据规模、可解释性要求和建模成本。对于复杂关系，适当的特征工程也能显著提升效果。
9.2 异方差问题
异方差是指误差的方差随输入变化而变化的现象。它会影响参数估计的稳定性，也可能使某些统计推断失真。处理方式包括变量变换、加权回归和更合适的误差建模。
9.3 多重共线性
多重共线性指多个特征之间存在较强相关关系，导致参数估计不稳定、解释困难。在线性回归中，这一问题尤为常见。常用缓解方法包括删除冗余变量、使用正则化或采用降维技术。
9.4 小样本与高维数据
在小样本与高维数据场景下，模型容易过拟合，且参数估计难度较大。此时应优先关注特征筛选、正则化和交叉验证。若数据结构复杂，也可考虑迁移学习或更强先验约束的方法。
9.5 噪声与离群点
噪声和离群点会干扰模型对真实规律的学习，尤其对传统线性方法影响明显。稳健损失、异常值检测和数据清洗可在一定程度上降低其负面作用。对于业务数据，离群点有时也代表有价值的极端情形，需要结合背景判断。
10 应用领域
10.1 工程预测
工程领域中的回归任务常用于设备状态估计、性能预测、寿命分析和故障趋势判断。模型可帮助工程人员提前发现风险，并优化维护策略。由于工程数据通常具有物理约束，模型解释性和稳定性常被重点关注。
10.2 经济与金融分析
在经济与金融分析中，回归常用于预测价格、收益、成本、需求和指标变化。相关模型可辅助趋势判断、资产评估和经营分析。此类数据往往受多因素影响，且噪声较大，因此对特征质量和稳健性要求较高。
10.3 医疗与生命科学
医疗与生命科学中，回归可用于预测生理指标、疾病进展、药物反应和实验结果。模型有助于支持临床分析和科研研究，但通常需要严格的数据质量控制与可解释性评估。由于样本异质性较强，建模时常需考虑个体差异。
10.4 环境与气象预测
环境与气象预测是回归任务的重要应用方向，包括温度、湿度、降水量、污染水平和风速等变量估计。该领域数据具有明显时序性和空间相关性，因此常需要结合历史记录与环境特征进行建模。预测结果通常服务于监测、预警和调度。
10.5 商业与运营优化
商业与运营场景中，回归可用于销量预测、库存规划、客流估计、成本控制和资源分配。通过对连续目标的估计，企业能够更合理地安排供应链和运营策略。此类任务通常强调可落地性、响应速度和对业务变化的适应能力。