1 基本概念
1.1 定义与研究对象
回归分析是一类用于刻画变量之间数量关系的统计方法。它以“因变量”为被解释对象，以“自变量”为解释来源，通过建立统计模型来描述它们之间的关联结构。研究者关心的往往不仅是关联是否存在，还包括关系的形式、强度、方向以及在一定条件下的稳定性。
1.2 因变量与自变量
因变量通常是需要被预测或被解释的结果变量，例如收入、疾病发生次数、成绩或满意度等。自变量则代表可能影响因变量的因素，如教育年限、年龄、用药剂量、学习时长或态度指标等。实践中，自变量可以来自实验设计，也可以来自观察性数据；回归框架能够统一描述这两类场景下的统计关系。
1.3 回归关系与相关关系
相关关系主要回答“两个变量是否同步变化”，而回归分析进一步回答“因变量如何随自变量变化”。从建模角度看，回归会引入误差项以表示不可解释部分，从而允许在抽样波动存在时估计参数，并进行推断。多自变量情形下，回归还能够在控制其他变量后讨论某个自变量的边际影响。
1.4 回归分析的用途
回归分析常用于解释、预测与推断。解释方面强调参数所代表的意义与控制变量后的关联；预测方面强调在给定自变量后对因变量的条件期望或条件分布进行估计；推断方面则依赖统计检验与置信区间来评估结论的不确定性。除上述核心用途外，回归还常作为进一步建模的基础，例如用于构建风险评分、评估政策变量影响或进行因果推断的中间步骤（前提与假设需谨慎）。
2 历史与发展
2.1 早期统计思想
回归思想的萌芽可追溯到对实验误差、观测偏差以及经验规律的数理刻画。早期的统计研究关注如何用较少的参数描述大量观测，并在噪声存在时稳定地提取规律。随着误差理论与相关概念的逐步完善，研究者能够更系统地描述“总体趋势”与“个体波动”的分离。
2.2 现代回归理论的形成
现代回归理论逐渐形成于对线性模型的系统化研究，包括参数估计、方差估计、检验方法以及在特定条件下的渐近性质。经典线性回归框架以可计算的最小二乘思想为基础，随后扩展到更一般的分布假设与模型形式，使回归不再局限于正态误差情形。
2.3 计算技术推动下的发展
计算能力的提升显著拓宽了回归的适用范围。非线性模型、复杂似然函数以及多参数情形可以借助数值优化与高效算法求解。与此同时，大规模数据处理与自动化建模流程促进了模型比较、交叉验证与特征工程在回归实践中的普及。
2.4 社会科学中的应用扩展
在社会科学领域，回归方法用于量化变量关系、控制混杂因素并检验理论假设。例如研究收入与教育的关系、社会支持与心理健康的关联，或政策变化与行为结果之间的统计联系。回归因其可解释性与可检验性，成为可重复研究与实证分析中的常用工具。
3 回归模型类型
3.1 线性回归
3.1.1 简单线性回归
简单线性回归刻画因变量与单一自变量之间的线性关系。模型通常写为因变量等于截距加上斜率乘以自变量，再加上误差项。该框架适用于关系近似线性的情形，并提供便于解释的参数含义：斜率表示自变量每变化一个单位时，因变量条件期望的变化量。
3.1.2 多元线性回归
多元线性回归扩展到多个自变量共同解释因变量。其核心优势在于控制其他变量后评估某个变量的独立贡献，从而减少单变量相关带来的混淆。实践中，参数解释依赖于自变量之间的统计关系与模型设定，例如是否包含非线性变换或交互项。
3.2 非线性回归
当变量关系并非线性可用时，可使用非线性回归。非线性可能来自函数形式（如指数、对数、幂函数等），也可能来自参数进入模型的方式。非线性回归通常需要数值方法进行参数估计，并对模型形式选择更敏感。
3.3 广义线性模型
3.3.1 逻辑回归
逻辑回归用于因变量为二分类结果的建模，模型通过将线性预测量映射到概率尺度，使得输出解释为事件发生的条件概率。其参数通常通过对数几率（log-odds）变化来进行解释，有助于理解在控制其他因素后概率的变化方向与幅度。
3.3.2 泊松回归
泊松回归常用于计数型因变量，例如单位时间内的发病次数或到达次数。模型假设均值与方差具有特定关系，以支持以计数分布为基础的似然估计。若数据呈现明显过度离散，可能需要进一步采用更一般的计数模型。
3.3.3 二项回归
二项回归适用于由多次试验结果构成的成功-失败计数，例如每个样本包含固定次数的观察并记录成功次数。与逻辑回归相关，但它明确利用“每行包含多个试验”的结构，从而更合理地利用信息并提升估计效率。
3.4 分位数回归
分位数回归关注条件分布的某个分位点（如中位数或高分位），而不是只对条件均值进行建模。它适合存在非对称误差或不同水平自变量影响分布不同位置的情形。相较于最常见的均值回归，分位数回归在稳健性与分布层面解释方面有独特优势。
3.5 多层线性模型
多层线性模型用于处理分层结构数据，例如学生嵌套在班级、班级嵌套在学校的情形。它通过引入随机效应来描述组间差异，从而减少忽略层级相关性带来的偏差。该类模型能够更自然地表达“个体差异”和“群体差异”同时存在的现实结构。
4 模型构建
4.1 变量选择
变量选择旨在确定哪些自变量进入模型。常见依据包括理论推导、已有研究、数据探索与预测目标。实践中还需考虑多重共线性、过拟合风险以及变量的可获得性与测量质量。若以解释为目标，变量进入模型的理由应更强调可解释性与假设一致性；若以预测为主，则更应重视泛化表现。
4.2 模型设定
模型设定包括选择函数形式、误差结构与链接函数（在广义线性模型中）。在线性回归中还需决定是否加入非线性变换、交互项以及是否存在截距。对于分层数据，需要设定随机效应结构与方差组成。设定环节决定了参数的含义与后续检验的合理性，因此需要基于研究问题与数据特征做出权衡。
4.3 参数估计
参数估计是用样本数据求取模型参数的过程。线性回归常用最小二乘估计；广义线性模型常用最大似然估计或其数值迭代形式。估计结果通常伴随标准误，用于后续推断。估计的稳定性还与样本量、变量尺度、数值收敛情况有关。
4.4 拟合优度评估
4.4.1 决定系数
决定系数用于衡量模型解释因变量变异的程度。在样本固定时，它直观反映拟合提升，但也可能因引入更多自变量而被动升高，因此在模型比较时需结合其他指标和目标一起评估。
4.4.2 调整决定系数
调整决定系数在考虑自变量数量的同时对决定系数进行修正，可在一定程度上缓解“变量越多越好”的偏向。它更适合用于同类模型之间的相对比较，但仍不能替代对残差行为、假设条件和外推能力的检查。
4.4.3 信息准则
信息准则（如AIC、BIC）通过在拟合度与模型复杂度之间折中来进行选择。通常在比较不同变量集合或不同模型形式时使用。AIC更偏向预测性能，BIC更偏向于更简洁的模型（在特定样本条件下）。选择时应与研究目的保持一致。
5 统计推断
5.1 假设检验
5.1.1 t检验
t检验用于检验单个参数是否显著偏离零（或某个给定值）。在回归语境下，它常用来评估某个自变量的回归系数是否具有统计显著性。检验结果依赖于标准误估计是否可靠，因此模型诊断与误差假设的合理性很关键。
5.1.2 F检验
F检验常用于联合检验多个参数是否同时为零，或者检验模型的子集与完整模型之间是否存在系统性差异。它在模型比较与变量分组检验中很常见，例如比较“加入某组变量后是否显著改善拟合”。
5.2 置信区间
置信区间提供参数估计的不确定性范围。与单一的显著性结论不同，置信区间能够反映估计精度：区间越窄，通常说明数据支持越充分。对于政策或业务含义较强的系数，置信区间往往比p值更便于解释“可合理预期的变化幅度”。
5.3 显著性水平
显著性水平（如0.05）是检验中用于控制第一类错误概率的阈值。研究中需要注意，显著性不等同于重要性；同时多重检验可能带来整体错误率膨胀，因此当进行大量回归或多项比较时，应结合研究设计考虑适当的校正或解释策略。
5.4 参数解释
参数解释依赖于所选模型类型。在线性回归中，系数通常可理解为条件均值的变化量；在逻辑回归中，系数与对数几率变化相关；在泊松回归中，系数与条件均值的对数尺度变化相关。正确解释还需结合变量是否标准化、是否包含交互项以及是否存在非线性变换。
6 模型诊断
6.1 残差分析
残差反映模型未解释的部分，常用作检查模型假设是否合理。通过绘制残差随拟合值、预测变量或时间的散布图，可以观察是否存在明显模式，如系统性偏离、非线性趋势或方差随水平变化等。良好的残差行为通常意味着模型对数据的近似更合适。
6.2 异方差检验
异方差指误差方差不恒定。若存在异方差，普通标准误可能失效，从而导致显著性判断偏差。异方差检验与稳健标准误调整是常用处理方式。选择是否调整取决于数据性质、样本量与分析目标。
6.3 多重共线性
多重共线性发生在自变量之间存在较强相关时，可能导致系数估计不稳定、标准误增大，使得单个变量的显著性难以判断。诊断工具包括相关矩阵、方差膨胀因子等。处理方法可包括合并变量、剔除冗余特征、采用正则化策略或改变模型表示形式。
6.4 自相关问题
自相关常见于时间序列或按顺序采集的数据。若误差项之间存在相关，可能造成标准误与检验结论偏离。处理通常涉及更合适的误差结构设定、使用滞后项、或采用专门的时间序列建模思路。
6.5 异常值与高影响点
异常值是与多数观测差异较大的点；高影响点是对参数估计变化特别敏感的点。它们可能来自测量错误、罕见情形或数据采样波动。诊断与处理应谨慎：在确认数据质量后可考虑稳健方法或敏感性分析，但不宜机械删除以“让结果显得显著”。
7 变量处理与扩展方法
7.1 分类变量的编码
当自变量为分类类型（如地区、专业、治疗组别）时，需要将其编码为可用于模型的数值形式。常见做法是使用哑变量或基准类别比较。编码选择会影响系数解释，例如相对于哪个类别作为参照。
7.2 交互项
交互项用于描述“一个自变量对因变量的影响取决于另一个自变量水平”。例如培训效果可能在不同基础水平人群中不同。加入交互项可以扩展模型表达能力，但也会增加参数数量，进而影响估计稳定性与解释复杂度。
7.3 虚拟变量
虚拟变量（哑变量）是一种用于表达分类特征的编码方式。通过将某类别出现与否转化为0/1指标，模型能够在数值框架内利用离散信息。虚拟变量与参照类别的设定共同决定参数含义。
7.4 中心化与标准化
中心化是将变量减去均值（或某个参考值），标准化则通常进一步缩放到特定尺度。它们常用于改善数值稳定性与解释方式，尤其在包含交互项、多项式项或多层模型时更有价值。标准化后系数的含义会转化为“每个标准差变化对应的因变量变化”。
7.5 缺失值处理
缺失值会影响样本代表性与估计精度。常见策略包括删除含缺失的样本、单变量或多变量插补、以及在更复杂的建模中对缺失机制进行建模。处理方法应基于缺失原因的可理解性与数据获取限制，避免不加区分的替换导致偏差放大。
8 应用领域
8.1 经济学中的应用
经济学中回归分析用于解释工资、消费、投资或价格等变量的决定因素。研究者常通过加入控制变量与固定效应思想来减少混杂影响，并用回归系数衡量边际效应或弹性相关的方向与大小。
8.2 社会学中的应用
社会学研究常关注教育、社会地位、家庭背景与行为结果之间的统计关系。回归能够同时容纳多个解释变量，并对不同群体特征差异进行分析。通过交互项或分层结构建模，还可以探索群体内外差异的来源。
8.3 心理学中的应用
心理学中回归用于研究量表得分与行为、情绪或干预效果之间的关联。分位数回归在解释不同水平人群的差异上具有优势；多层模型则适合处理被试在班级或机构等层级中的聚集结构。
8.4 教育学中的应用
教育数据常包含层级结构与多来源变量，如学生、班级与学校共同影响成绩或学习态度。多层线性模型与带分类变量的回归在教育场景较为常用。通过模型诊断与稳健标准误，还可以更可靠地评估影响因素。
8.5 公共卫生中的应用
公共卫生研究常用回归分析处理连续结局、二分类结局或计数结局，如血压水平、患病与否、发病次数等。广义线性模型适应多种结果类型，而模型诊断则有助于确认误差结构与假设是否匹配。
9 优点与局限
9.1 优点
回归分析具备较强的可解释性：系数与模型形式能够以统计意义描述变量关系。它也便于统计推断和比较模型；在控制多个变量后，能更细致讨论某个因素的关联强度与方向。此外，回归方法与多种数据类型兼容，适用于从基础研究到工程应用的多种场景。
9.2 局限性
回归的核心局限在于对模型形式与假设的依赖，例如线性假设、误差分布、独立性或无遗漏重要变量等。当关键变量缺失、存在严重测量误差或违反误差结构假设时，估计可能偏离真实关系。对因果结论而言，相关并不自动等同于因果，研究设计与假设检验同样重要。
9.3 误用与常见错误
常见问题包括：仅依赖显著性而忽略效应大小；在未经诊断的情况下直接使用默认标准误；忽视多重共线性导致解释不稳；把相关系数或简单拟合当作因果证明；以及在数据存在异常值或缺失机制不明时选择不合适的处理方式。良好的实践通常包含模型检查、稳健性分析与透明报告。
10 软件与实现
10.1 传统统计软件
传统统计软件提供了回归建模、诊断图与推断检验等功能，适合教学与常规分析。其优点在于界面友好与流程成熟；限制则可能在于对更复杂模型或自定义损失函数的灵活性不足。
10.2 编程语言实现
10.2.1 Python
Python生态提供了从数据处理到建模的工具链，可用于线性回归、广义线性模型与多层结构的实现。通过与科学计算库结合，研究者也能开展自定义估计、交叉验证与可视化。
10.2.2 R
R语言在统计建模领域历史悠久，回归模型类型覆盖广，并拥有丰富的诊断与可视化包。其优势在于统计方法表达简洁、模型比较与绘图能力强，适合研究与报告生成。
10.2.3 MATLAB
MATLAB适用于数值计算与工程场景，提供了多种回归分析相关工具箱。其特点是对矩阵运算支持良好，适合将回归嵌入更大的仿真或控制流程。
10.3 结果可视化
可视化用于检验拟合与帮助沟通结论。常见图包括残差图、拟合曲线、置信区间带、预测-真实对比图，以及特征重要性或系数路径的展示。可视化并不能替代统计检验，但能帮助快速发现模型设定不匹配的迹象。
11 学习与实践
11.1 基础统计前提
学习回归分析通常需要理解概率分布、估计与假设检验的基本思想，以及误差、方差与相关的概念。还需要掌握矩阵运算的基本直觉（如线性代数在最小二乘中的角色），以便更好理解参数估计与诊断方法。
11.2 数据准备流程
数据准备一般包括：确认目标变量与自变量定义、处理缺失与异常、编码分类变量、检查量纲与尺度、进行必要的标准化或变换，并划分训练与验证数据（尤其在预测任务中）。良好的准备能显著降低后续模型出错的概率。
11.3 结果报告写作
报告应包含研究问题、数据来源与处理步骤、模型选择依据、关键参数估计与区间、统计检验结果、模型诊断结论以及对局限的说明。对于解释型研究，建议将系数与研究含义对应起来；对于预测型研究，应强调验证指标与泛化表现。
11.4 典型案例练习
练习可从简单线性回归入手，逐步加入多变量、交互项与非线性变换，再切换到逻辑回归或计数回归以熟悉广义模型框架。与此同时，配套进行残差分析、异方差与共线性诊断，最后用可视化与敏感性分析巩固对模型可靠性的理解。