1 信息准则的基本思想
1.1 经验风险与模型选择的动机
在统计建模中，目标通常是在有限样本上同时兼顾两点：一是模型要能较好解释数据，即预测误差或拟合误差要尽量小；二是模型不宜过于灵活，否则容易把噪声当作规律，从而在新数据上表现变差。信息准则将“拟合效果”与“模型复杂度”合并成一个可用于比较的标量指标，用以在候选模型间做取舍。
1.2 拟合优度与复杂度惩罚的权衡
信息准则的形式可以概括为：越能提升对数据的拟合（例如对数似然更大），准则值通常越倾向更优；但当模型复杂度增加（例如参数数量增多或有效自由度增大）时，会受到相应惩罚，从而抑制过拟合。惩罚项的具体系数与增长速度决定了其对复杂度的“严格程度”，也就影响了模型选择结果是在偏向更复杂模型还是更简洁模型。
1.3 “最小化准则”在选择中的具体含义
常见做法是对每个候选模型计算一个信息准则值，然后选择使该值最小的模型。由于许多准则都可以写成“某种对数似然（或其等价形式）加上惩罚项”，因此“最小化”并不必然意味着“拟合误差最小”，而是意味着在同一数据集上，综合考虑拟合提升与复杂度惩罚后的综合代价最低。不同准则的差异主要体现在惩罚项的权重与统计含义上。
2 AIC（赤池信息准则）
2.1 定义与常见公式形式
AIC的核心表达通常写作 \[ \mathrm{AIC}=-2\log L(\hat\theta)+2k, \] 其中 \(L(\hat\theta)\) 为在模型假设下由极大似然估计（或等价估计）得到的似然，\(k\) 为模型的参数个数（或与之等价的有效参数数）。实际使用时，只要在候选模型之间采用一致的参数计数约定与似然计算方式，就可以直接对AIC进行比较，选择AIC最小的模型。
2.2 复杂度参数：有效参数个数的解释
AIC中的 \(k\) 表面上对应参数个数，但在更一般的情形下，人们会把它理解为“有效参数个数”。例如在某些带约束、重参数化或存在冗余结构的模型中，名义参数数与真实可支配的自由度可能并不完全一致。实践中往往通过模型结构直接计数，或在需要时使用更符合估计过程的有效自由度解释。
2.3 AIC的理论背景与近似含义
AIC的理论出发点常被概括为：在一定正则条件与大样本近似下，AIC能够与某种“与真实数据生成机制的接近程度”相关的目标（常见表述与信息散度如Kullback–Leibler散度有关）建立近似联系。其结果意味着AIC并非在每个有限样本上严格等价于某个固定的真实误差，而是给出一种在大样本极限下合理的近似准则。
2.4 AIC在不同模型类型中的使用要点
AIC的适用性较广，常见于线性回归、广义线性模型以及许多基于似然的时间序列结构。需要注意的是：候选模型必须在同一建模任务下进行比较，且对似然的定义、误差分布假设以及参数估计方法要保持一致。对于带有边界、非规整或非标准估计的模型，AIC的直观近似仍可能有效，但往往需要额外谨慎。
2.5 AIC的常见修正：AICc与样本量影响
当样本量较小或模型参数较多时，AIC中的大样本近似可能出现偏差。为此引入了修正版AIC（AICc），其思想是在AIC的基础上加入对小样本偏差的调整项，从而改善有限样本下的选择性能。AICc通常在“样本量相对参数规模不够大”的情形更值得考虑。
3 BIC（贝叶斯信息准则）
3.1 定义与常见公式形式
BIC常写作 \[ \mathrm{BIC}=-2\log L(\hat\theta)+k\log n, \] 其中 \(n\) 为样本量，\(k\) 为参数个数。与AIC相比，BIC的惩罚项系数随样本量增长，导致其在样本越来越大时对复杂度的约束更强。
3.2 复杂度惩罚随样本量增长的特性
BIC的惩罚项包含 \(\log n\)，因此当样本量增大，复杂度惩罚会以对数速度增强。这意味着在大样本情形下，BIC更倾向于选择更简洁的模型；只有当额外参数带来的拟合改进足够显著时，才会被BIC允许。该特性使BIC在“追求模型结构正确性”的某些语境下更受欢迎。
3.3 BIC的贝叶斯解释与渐近性质
BIC常被用作对某种贝叶斯模型选择准则的渐近近似。直观上，贝叶斯方法会对模型的后验概率进行比较，而BIC以大样本近似形式把“似然项”和“复杂度项”联系起来，从而得到一个可计算的近似指标。该解释强调了惩罚项的来源与渐近行为：复杂模型在先验与积分意义下通常需要更强的证据才能胜出。
3.4 BIC与模型选择一致性的讨论
“模型选择一致性”通常指：当样本量趋于无穷大时，准则以概率收敛到选择真实模型（在满足条件的理想设定下）。BIC由于其惩罚项增长较快，常被认为在某些常规条件下具备一致性性质；而AIC则更偏向于预测意义下的近似目标。需要强调的是，一致性结论依赖模型设定的正确性与正则条件等要素，并非任何情形下都自动成立。
3.5 BIC适用场景与局限
BIC适合当主要关心点是避免过度拟合，并且希望随着样本增加逐步收敛到更接近“正确模型结构”的选择结果。局限方面包括：其更强的复杂度惩罚可能在真实关系确实较复杂、或者候选模型都存在偏离时导致欠拟合；此外，在模型不满足常规正则条件、或存在强相关与非标准参数化时，BIC的理论近似也可能变得不那么直观。
4 一般信息准则框架与推导视角
4.1 统一表示：对数似然与惩罚项的通式
信息准则的一般形式可写为 \[ \mathrm{IC}=-2\log \hat L + \text{penalty}, \] 其中 \(\log \hat L\) 来自候选模型在估计参数下的对数似然（或等价的拟合指标），而“penalty”是与复杂度相关的项。AIC与BIC本质差别就在于惩罚项的具体形式与系数：AIC采用与参数个数成正比的惩罚，而BIC采用随样本量增长的对数倍惩罚。
4.2 复杂度惩罚的不同来源（参数规模/维度）
复杂度不仅可能来自“参数数量”，也可能反映在模型维度、自由度或更一般的有效复杂性上。对于某些模型类别，参数之间可能存在冗余或识别性不足，导致“名义参数”与“实际可学自由度”存在偏差。因而，信息准则中的复杂度项可以被理解为对估计不确定性与模型容量的度量：惩罚越大，等价于在比较时越保守。
4.3 似然与对数似然在准则中的角色
在许多模型族中，似然是反映“数据在模型假设下的解释程度”的核心量。由于对数似然具有加性与数值稳定等优点，信息准则通常以 \(-2\log L\) 作为基本拟合度量。此类写法也与许多统计检验中的对数似然比结构相兼容，使得不同方法之间在形式上能够建立联系。
4.4 与其他模型选择度量的差异：IC vs CV vs LRT
交叉验证（CV）通过在样本上评估预测性能来选择模型，通常更贴近实际泛化误差，但计算成本可能更高，且对数据划分策略敏感。似然比检验（LRT）则在嵌套模型或可比较结构上评估统计显著性，侧重于检验某些参数是否需要。信息准则介于两者之间：它利用似然构造一个“带复杂度惩罚的近似准则”，既不是纯粹的预测评估，也不是专门的假设检验。二者在惩罚来源、目标函数与渐近解释方面存在差异。
5 在实践中的应用流程
5.1 候选模型空间如何构建
首先需要确定比较范围与建模目标，例如在相同响应变量、相同分布假设框架下比较不同阶数或不同协变量集合的模型。候选集通常应包含合理的备选结构，避免在缺乏可比性的情况下进行“机械比较”。同时，若涉及多种建模族，需确保它们对应同一任务并能在统一似然或统一损失度量下解释。
5.2 估计步骤：最大似然（或等价）与参数拟合
信息准则大多基于由候选模型估计得到的参数。例如在含未知参数的似然模型中，常用极大似然估计得到 \(\hat\theta\)，并代入计算 \(\log L(\hat\theta)\)。在某些模型族里也可能使用与最大似然等价的估计策略（例如在特定分布假设下的等价估计），关键是保持一致的估计原则与计算方式。
5.3 计算细节：方差项、对数似然形式与约定
实际计算时，需明确似然函数中涉及的项（如方差参数是否被单独估计、常数项是否要包含在对数似然里）。尽管许多信息准则只在不同模型间比较，常数项通常会抵消，但在跨模型类型、或对似然定义方式不一致时可能导致偏差。建议在实现时固定同一似然定义与同一参数计数规则，避免由于约定不同造成的“不可比”。
5.4 如何处理同分/近似同分模型
当多个候选模型的准则值非常接近，可能出现“同分或近似同分”的情况。此时常用的策略包括：在准则最小者之间做二次判别（例如结合可解释性、参数稳定性或残差诊断），或在工程上选择参数更稳定、估计更稳健的一支。若需要形式化处理，也可以把“差异阈值”作为经验规则，避免因数值波动选择过于激进的复杂模型。
5.5 与业务目标的结合：解释性与泛化优先级
信息准则提供的是统计意义下的模型选择建议，但实际落地往往还要考虑业务约束：例如是否需要可解释性、是否允许模型随时间频繁重训练、是否更看重预测性能还是结构简洁。一般而言，若强调预测泛化且不追求完全正确的结构，AIC类思路可能更贴近；若强调模型简化并希望结构随样本增大趋于收敛，BIC类思路可能更合适。最终取舍通常结合诊断结果与验证流程共同完成。
6 典型注意事项与常见误区
6.1 模型可比性要求（同数据、同目标、同尺度）
信息准则用于比较的是“同一比较问题”下的候选模型。若数据划分不同、目标函数不同、或似然尺度与误差假设差异导致不可比，就可能出现“准则数值看似可比但结论不可靠”。因此，通常要求模型在相同数据集上估计、以同一响应与同一建模目标形成比较，并保持似然计算口径一致。
6.2 过拟合与欠拟合的相对风险
由于惩罚项大小不同，不同信息准则对过拟合与欠拟合的权衡力度也不同。惩罚过弱时容易选择过于复杂的模型，从而在样本有限时出现过拟合；惩罚过强时可能忽略真实信号，导致欠拟合。通过比较多个候选阶数或模型族并结合诊断（如残差结构、预测误差）可降低风险。
6.3 假设不满足时的稳健性问题
信息准则的理论近似往往建立在正则条件、独立同分布或可近似条件等前提之上。当数据存在强相关、分布偏离、模型设定明显错误或估计过程复杂时，准则的解释可能变弱。实践上可通过残差检验、替代似然假设或采用更稳健的验证策略来缓冲这种不确定性。
6.4 参数数目与“有效自由度”的混淆
常见误区是把 \(k\) 简单等同于参数个数，却忽略了参数之间的冗余、约束或识别性问题。若模型使用了正则化或产生有效稀疏结构，“参数个数”与“有效自由度”之间可能不一致。此时盲目套用简单计数会扭曲惩罚强度，从而影响选择结果。
6.5 小样本与高维场景的挑战
在样本量很小或自变量/参数维度较高的情况下，传统信息准则基于的渐近近似可能表现不理想。AICc对小样本有所修正，但高维情形下还可能出现估计不稳定、模型可辨识性差等问题。更合适的做法往往包括采用针对高维的“信息准则式”调整、引入正则化并估计有效自由度，或结合交叉验证获得更可靠的泛化评估。
7 扩展与相关准则（概览）
7.1 加权/修正信息准则的思想
在标准AIC/BIC之外，常见的扩展是对惩罚项进行加权或修正，以反映样本量规模、估计偏差或模型复杂度的更精细刻画。其共同目标是在保持计算可行的同时，提高有限样本或特殊情形下的选择质量。
7.2 面向高维或正则化模型的“信息准则式”做法
当模型包含正则化（如对系数的惩罚）时，名义参数个数不再直接等同于自由度。此类场景下的信息准则式方法通常通过估计“有效自由度”来构造惩罚项，使准则更贴近模型容量的实际大小。其具体实现依赖模型与正则化形式，计算也可能更复杂。
7.3 与广义交叉验证（GCV）等的联系
广义交叉验证（GCV）与某些平滑模型或正则化估计密切相关，常用于快速估计预测误差并减少显式交叉验证的计算负担。虽然GCV不总以“\(-2\log L+\text{penalty}\)”的形式呈现，但在思想层面都服务于同一目的：在数据拟合与复杂度之间实现平衡。因此，信息准则与GCV等方法常被视为在模型选择任务中的不同实现路径。
7.4 其他变体准则的选用原则（概述）
选用扩展准则时，一般需要匹配数据规模与模型类型：样本偏小考虑修正版本，高维或正则化模型关注有效自由度估计；若模型结构非标准或假设较弱，应更重视验证与诊断而非单一准则的机械选择。实践中可在同一候选集上比较多个准则趋势，并用预测性能或诊断结果作为最终校验。