1 概述与基本思想
AIC（赤池信息准则，Akaike Information Criterion）是一类用于统计模型比较的评价指标，常见于同一数据集上对多个候选模型进行筛选。其核心思想是：模型不仅要解释数据得足够好，也要避免不必要的复杂度。对比时，AIC 将“拟合优度”（通常与极大似然或对数似然相关）与“模型复杂度”（通常与参数数量相关）放入同一标度中，以实现折中。
1.1 拟合优度与复杂度的折中
在极大似然框架下，模型拟合得越好，往往意味着对数据的解释越贴近，因而似然值更大、对数似然更高；但更好的拟合也常伴随参数增多。AIC 通过对数似然项与对参数复杂度的惩罚项组合，使得“纯粹依赖拟合”的倾向被抑制。直观地说，当新增参数提升拟合效果不足以抵消复杂度带来的惩罚时，AIC 反而可能上升。
1.2 信息论视角下的“信息损失”
AIC 通常被解释为在给定数据与候选模型集合的条件下，对真实数据生成机制与候选模型之间某种“信息差异”的度量。该差异可以理解为：若用某个候选模型去近似真实机制，会产生可预期的“信息损失”。AIC 的构造使得较小的值对应较小的预期损失（在常见的正则条件与估计设定下），从而提供模型比较的原则。
1.3 与过拟合控制的关系
过拟合指模型在训练数据上表现良好，但对新数据的泛化能力较弱。由于过拟合通常与参数过多、对噪声拟合过度相关，AIC 的复杂度惩罚在机制上对这种风险形成约束。需要注意的是，AIC 不是专门为“最小化预测误差”而设计的单一目的准则；它更偏向于在模型集合内选择一个在信息意义上更合适的近似，从而与过拟合控制具有相关性但不等同于所有预测任务的最优策略。
2 AIC 的数学定义
2.1 常用公式（以极大似然为基础）
在以极大似然估计为基础的常见设定中，AIC 通常写作 \[ \mathrm{AIC}=2k-2\ln L, \] 其中 \(k\) 为模型中被估计的参数个数，\(L\) 为在该模型下的极大似然值（最大化后得到的似然）。在实际操作中，常用对数似然的形式计算，且基于同一数据集与相同样本条件进行比较时，可直接比较 AIC 大小。
2.2 参数个数 k 的含义与确定
这里的 \(k\) 指“有效参数数量”，常见情形是模型中需要从数据估计的自由度。参数个数的具体统计含义取决于模型如何设定，例如：
- 对参数有约束（如某些系数固定、或存在等式约束）时，应按约束后的自由度计数；
- 对是否包括截距项、尺度参数（如某些分布的方差）等，需要与 AIC 计算口径保持一致；
- 在复杂层级模型中，“有效参数”的概念可能比简单计数更贴近实际，但基础介绍通常先采用“按自由度计数”的近似。
对不同候选模型，应确保 \(k\) 的计算逻辑一致，否则会影响可比性。
2.3 在不同统计模型中的适用形式
AIC 的可用性并不限于某一种具体分布或回归形式。只要模型能够写出似然函数并完成参数估计，就可以构造 AIC。不同模型在实现上可能体现在：
- 对数似然项的计算方式随分布与误差结构改变；
- 参数个数的口径随模型参数化方式改变；
- 对数似然可能需要根据数值稳定性处理（例如避免下溢或对数域计算）。
总体而言，AIC 的比较原则依赖同一数据集与一致的计算定义。
2.4 对数似然与数值尺度解释
由于 AIC 含有 \(-2\ln L\) 的形式，AIC 的变化可以在一定程度上与对数似然的增量联系起来。对数似然的尺度之所以采用“2 倍”和“取负”，与统计估计理论中常见的似然比、渐近近似框架相协调，使得惩罚项 \(2k\) 与拟合项处于相对可比的量纲。实际比较时，重点通常不在绝对值，而在相对大小与差异的解释。
3 AIC 的使用方法
3.1 选择与比较：AIC 越小越优
在同一数据集上，对若干候选模型计算 AIC 后，通常选择 AIC 最小的模型作为当前集合内的优先候选。其含义是：在信息损失的视角下，该模型相对其他模型更“划算”，即改进拟合效果的收益与复杂度惩罚的成本之间更均衡。
需要强调的是，AIC 的比较前提通常是：候选模型对同一观测数据进行拟合，并采用一致的计数口径与似然构造。否则，比较结果的解释能力会下降。
3.2 ΔAIC（差异 AIC）解读
ΔAIC 指某个模型相对最优模型的 AIC 差异，常记为 \[ \Delta_i=\mathrm{AIC}_i-\min_j(\mathrm{AIC}_j). \] ΔAIC 越小，表明该模型越接近最优；ΔAIC 越大，则说明其在候选集合内相对更不占优势。由于 AIC 主要用于模型集合比较，ΔAIC 的解释往往以“相对优劣排序”和“是否存在明显的更优模型”为主，而非把差值直接当作某种严格的检验结论。
3.3 相对权重与模型集合视角
除了只看最小值，还可以将多个模型“按其相对支持度”组合进视角中。常见做法是把 AIC 差异转换为相对权重（例如基于指数形式的归一化权重），使得权重越大表示在候选集合内越可能是较优的近似。该视角强调：并不存在唯一的“绝对正确”模型，而是在给定候选集合条件下，多个模型可能都得到一定程度的支持。
3.4 多模型筛选流程示例框架（通用描述）
一个常见的通用流程如下：
1 概述与基本思想
2 AIC 的数学定义
3 AIC 的使用方法
4 与其他准则的关系
5 常见场景与注意事项
这一框架强调可比性、可复核性与解释清晰度。
4 与其他准则的关系
4.1 AIC vs BIC（贝叶斯信息准则）
AIC 与 BIC（贝叶斯信息准则）都是常用于模型比较的“信息准则”。二者在形式上都包含拟合项与复杂度惩罚项，但惩罚的强度不同。通常情况下，BIC 的复杂度惩罚随样本量增长更明显，因此它更倾向于选择更简洁的模型；而 AIC 的复杂度惩罚相对较弱，更容易保留额外参数带来的拟合收益。具体选择应结合目标：例如偏向预测还是偏向模型识别、样本规模大小以及模型集合的合理性等。
4.2 AIC vs 交叉验证（CV）的差异与互补
交叉验证（CV）通过反复划分训练与验证数据，直接评估模型在未见数据上的表现。其优势是更贴近“泛化性能”的评估目标，且不依赖复杂度惩罚的特定形式。AIC 则主要从似然与信息损失的理论近似出发。二者差异可概括为：
- AIC 更依赖模型似然与参数估计结果；
- CV 更依赖经验层面的预测误差估计。
在实务中，AIC 与 CV 经常形成互补：AIC 可用于快速筛选模型候选，CV 可用于验证筛选结果在预测层面的有效性。
4.3 AICc（小样本修正）概念与适用情形
AICc 是对 AIC 的小样本修正版本，适用于样本量相对有限、或模型复杂度与样本规模相比不够小的情况。由于标准 AIC 在某些渐近条件下表现更稳定，小样本修正旨在降低偏差，使比较更可靠。一般而言，当样本量不足以支持渐近近似时，使用 AICc 往往比直接使用 AIC 更谨慎。
5 常见场景与注意事项
5.1 正则化/惩罚项模型中如何对应“复杂度”
在含有正则化（如对系数加入惩罚项）的模型中，“复杂度”不一定等同于参数个数。因为正则化会改变有效自由度：有些系数可能被压缩到接近零，从而在实际层面减少模型的灵活性。若采用 AIC 风格的比较，需要确认所用惩罚模型与 AIC 的对应关系是否成立，或是否需要采用与有效自由度相关的替代复杂度度量。否则可能出现：模型实际更“克制”但 AIC 仍按原始参数数惩罚，导致偏差。
5.2 非嵌套模型与嵌套模型的比较要点
AIC 的使用并不要求候选模型必须相互嵌套。对嵌套模型，模型复杂度差异往往更直观；对非嵌套模型，比较更强调似然与信息损失视角下的综合判断。无论哪种情况，关键仍是：
- 候选模型需基于同一数据与一致的似然定义；
- 可比参数口径与计算设置需保持一致；
- 解释时避免把比较结果等同于单一假设检验的结论。
5.3 分布假设不匹配的影响
AIC 依赖似然函数的正确设定。若候选模型使用的分布假设与数据生成机制偏离较大，即使形式上似然很高，也可能对应偏差较大的近似质量。在这种情况下，AIC 的“优劣排序”仍可能成立于候选集合内部，但其排序是否对应真实世界的生成结构就会受到影响。实践上，需结合残差诊断、分布适配性检查等手段评估假设合理性。
5.4 数据量变化与稳定性问题
样本量变化会影响参数估计不确定性，从而改变 AIC 的数值与排序稳定性。通常来说，样本量越大，估计越稳定，比较结果更不易受偶然波动影响。相反，当样本量较小或噪声较强时，AIC 可能在相近模型之间频繁翻转。此时可考虑结合 ΔAIC 的幅度、采用 AICc、或配合交叉验证验证稳健性。
5.5 实务中的报告规范（AIC、ΔAIC、权重）
在论文或报告中，常见的透明做法包括：
- 列出每个候选模型的 AIC 值；
- 同时给出 ΔAIC，便于读者直观看出差异大小；
- 如使用相对权重，报告权重计算口径与归一化方式；
- 明确参数个数 \(k\) 的定义与计数规则（尤其在包含截距、尺度参数、约束结构或正则化时）。
这些信息有助于他人复算与比较，从而增强研究可复现性。
6 扩展与历史背景（概念性）
6.1 赤池（Akaike）与准则提出的背景
AIC 以日本统计学家赤池弘次（Hirotugu Akaike）的工作命名。其提出背景与统计模型选择的难题密切相关：当多个模型对数据都有解释能力时，应如何在“拟合程度”与“模型复杂度”之间做出合理取舍。AIC 将这种取舍转化为可计算的准则，使得模型比较从定性判断进入更可操作的框架。
6.2 作为模型选择工具的演化脉络
AIC 在传播后，逐渐形成与之相伴的“信息准则”家族与相关扩展思路，包括小样本修正（AICc）以及与其他准则的对照研究。与此同时，围绕其理论解释与适用条件的讨论也不断深化，使得使用者能够在不同数据规模、模型结构与目标任务下更恰当地选择方法。
6.3 “信息准则”家族的延伸概念（概览）
“信息准则”通常指一类基于似然与复杂度惩罚构造的模型评估指标。其共同点在于把模型选择问题转化为一种信息差异或预测性能的代理度量。不同成员通过调整复杂度惩罚强度、处理样本量效应或改变理论近似方式，形成多样化的工具箱。理解它们的共同逻辑与差异，有助于在实际建模时选择更匹配的准则。