1 基本概念
1.1 定义
先验分布是贝叶斯统计中对未知参数或随机变量在观测数据到来之前所作出的概率描述。它将研究者已有的经验、理论判断或不确定性以分布形式表达出来，并作为后续推断的起点。
1.2 直观理解
从直观上看，先验分布相当于“事先的看法”。例如，在还没有做实验之前，人们可能根据以往研究推测某个成功率大致落在什么范围内；这种预期并不是确定结论，而是带有不确定性的信念表达。先验分布的作用，正是把这种信息转化为可计算的概率形式。
1.3 在贝叶斯框架中的位置
在贝叶斯框架中，先验分布位于推断链条的前端。研究者先给出参数的先验分布，再结合观测数据所提供的似然函数，最终得到后验分布。整个过程体现了“先验知识 + 新数据 = 更新后的认识”这一基本思想。
1.4 与后验分布的关系
后验分布是先验分布与数据共同作用后的结果。先验分布提供初始信息，数据通过似然函数对其进行修正，二者结合后形成后验分布。一般来说，样本信息越强，后验越接近数据所支持的范围；样本较少时，先验的影响则更明显。
2 数学表达
2.1 参数的概率建模
设未知参数为 \(\theta\)，先验分布记为 \(p(\theta)\)。在贝叶斯建模中，\(\theta\) 不再只是一个固定但未知的常数，而被视为服从某种概率分布的随机对象。这样处理后，参数估计便转化为对分布的更新问题。
2.2 先验密度与先验质量函数
当参数是连续型变量时，先验通常用先验密度函数表示；当参数取值是离散的时，则用先验质量函数表示。前者常见于正态均值、方差等连续参数，后者常见于类别选择、有限状态模型等场景。
2.3 归一化与可积性
一个合法的先验分布必须满足概率分布的基本要求，即非负且总概率为 1。若为连续分布，其密度函数在参数空间上的积分应为 1；若只是未归一化形式，则需通过归一化常数将其转化为真正的概率分布。某些先验在数学上可能呈现非正规形式，此时需要进一步检验其可积性。
2.4 先验与似然的结合
2.4.1 贝叶斯公式
贝叶斯更新的核心公式可写为： \[ p(\theta \mid x) \propto p(x \mid \theta)p(\theta) \] 其中，\(p(\theta \mid x)\) 是后验分布，\(p(x \mid \theta)\) 是似然函数，\(p(\theta)\) 是先验分布。该关系表明，后验分布与先验和数据证据共同决定。
2.4.2 证据项
完整的贝叶斯公式中还包含证据项 \(p(x)\)，用于实现归一化： \[ p(\theta \mid x)=\frac{p(x \mid \theta)p(\theta)}{p(x)} \] 证据项也称边际似然，它表示在所有可能参数下观察到数据 \(x\) 的总体概率。虽然在参数更新时常作为分母被省略，但在模型比较中具有重要作用。
3 先验分布的类型
3.1 信息性先验
信息性先验包含较明确的先验知识，通常集中在某些参数区间内。它适合已有较可靠经验、历史研究或专家判断的情形，能够在数据较少时提供稳定约束。但若设定不当，也可能对结果产生明显影响。
3.2 非信息性先验
非信息性先验旨在尽量减少先验主观影响，使数据在推断中占据主导地位。它常用于先验知识有限的场景，不过“完全无信息”在严格意义上并不容易实现，因此这类先验往往只是近似地表达“弱约束”。
3.2.1 均匀先验
均匀先验在给定区间内对各取值赋予相同概率密度，表达“无偏好”的初始立场。它形式简单，但是否真正无信息，取决于参数化方式和变量尺度。
3.2.2 Jeffreys 先验
Jeffreys 先验由参数的费舍尔信息构造而成，具有一定的不变性特征，常被视为经典的非信息性先验之一。它在一些模型中能够提供较为自然的默认选择，但在具体应用中仍需结合问题背景判断。
3.3 共轭先验
共轭先验是指后验分布与先验分布属于同一分布族的先验形式。采用共轭先验可以显著简化计算，使后验更新具有解析表达，因此在理论和教学中都十分常见。
3.3.1 Beta-二项模型
在二项分布模型中，若成功概率 \(p\) 的先验取 Beta 分布，则后验仍为 Beta 分布。该组合常用于成功率、转化率和比例参数的分析，具有直观且易更新的优点。
3.3.2 Gamma-泊松模型
在泊松模型中，若事件发生率 \(\lambda\) 的先验取 Gamma 分布，则后验仍为 Gamma 分布。由于泊松过程常用于计数数据建模，这种组合在排队、事故次数和到达频次分析中较为常见。
3.4 弱信息先验
弱信息先验介于信息性和非信息性之间，既不放任参数取值过于极端，也不过度限制模型。它通常利用较宽的分布、温和的中心位置或合理的尺度参数，为推断提供适度约束。
3.5 经验先验
经验先验依据历史样本、外部数据或先前研究结果构造，而不是完全依赖主观判断。它能把已有数据中的规律引入当前分析，但也需要注意样本来源的一致性与可迁移性。
4 构造与选择
4.1 基于领域知识构造
当研究者对问题领域较为熟悉时，可以根据专业知识设定先验分布。例如，某药物疗效大致范围、某设备失效率水平等，均可作为先验信息来源。这类构造方式强调理论和经验的结合。
4.2 基于历史数据构造
历史数据可以为先验提供客观依据，特别是在重复实验、连续生产或长期观测场景中较为有效。通过汇总过去样本，可以形成较稳定的先验参数估计，再用于当前分析。
4.3 通过参数约束构造
有时先验并非直接来源于某个具体分布，而是先对参数范围、均值、方差或单调性等特征进行约束，再据此选择适合的分布形式。这种方法常见于需要体现专业常识或物理边界的模型。
4.4 先验敏感性分析
先验敏感性分析用于考察推断结果对先验设定的依赖程度。若不同先验下结论变化很大，则说明数据支撑不足或先验影响较强；若结果较稳定，则表明模型具有较好的稳健性。
4.4.1 稳健性检验
稳健性检验通常通过更换先验分布的形状、尺度或中心位置，观察后验是否显著变化。该过程有助于识别结论是否过于依赖某一特定设定。
4.4.2 不同先验方案比较
比较不同先验方案时，常关注后验均值、可信区间、预测结果及模型评价指标。若多个方案给出相近结论，说明推断较为可靠；若差异明显，则需进一步审视建模假设。
5 统计推断中的作用
5.1 参数估计
在贝叶斯推断中，参数估计通常来自后验分布的特征量，如后验均值、中位数或最大后验估计。先验分布通过影响后验形状，间接决定估计结果的收缩方向与幅度。
5.2 区间估计
贝叶斯中的区间估计一般表现为可信区间，由后验分布直接计算得到。先验越强，区间往往越受约束；先验越弱，区间则更接近纯数据驱动的结果。
5.3 假设检验
先验分布也可用于贝叶斯假设检验。通过比较不同假设下的后验概率或贝叶斯因子，可以对模型或参数假设进行量化评估。与传统方法相比，它更强调概率解释与模型整体比较。
5.4 预测分布
预测分布用于描述未来观测值的不确定性，通常由后验分布积分得到。先验通过影响后验，进一步影响预测结果，因此在样本有限时，先验对预测的作用尤为明显。
5.5 模型比较
在模型比较中，先验与边际似然密切相关。不同模型的边际似然反映了模型对数据的解释能力，同时也受到先验设定影响。因此，模型选择不仅是数据拟合问题，也包含对先验假设的考量。
6 常见分布示例
6.1 伯努利与二项模型中的 Beta 先验
在伯努利试验或二项试验中，成功概率通常设为 Beta 先验。其参数可理解为“伪样本量”与“先验成功比例”的组合，更新后仍保持 Beta 形式，便于解释和计算。
6.2 泊松模型中的 Gamma 先验
在计数数据建模中，泊松率参数常配以 Gamma 先验。Gamma 分布只取正值，与强度、速率等参数的取值范围相符，因此在事件发生次数分析中应用广泛。
6.3 正态模型中的正态先验
当未知量为正态均值时，常使用正态分布作为先验。若方差已知，这种搭配通常能得到解析后验，适合用于连续型测量数据的快速更新。
6.4 多项分布中的狄利克雷先验
对于多类别概率向量，狄利克雷先验是常用选择。它是多项分布的共轭先验，能够自然表示各类别概率之和为 1 的约束，并方便进行类别概率更新。
7 理论性质
7.1 可识别性与可交换性
先验分布的设定与模型可识别性密切相关。若模型结构无法区分不同参数组合，则即便加入先验，也可能出现多解或不稳定推断。可交换性则反映观测顺序不影响联合概率结构，是贝叶斯建模中的重要基础之一。
7.2 后验一致性
后验一致性指样本量增加时，后验分布逐渐集中到真实参数附近。一般而言，在合适模型与合理先验下，数据会逐步主导推断，使先验影响被削弱。
7.3 收缩效应
先验常带来收缩效应，即将参数估计拉向某个中心值或合理区间。适度收缩有助于减少过拟合，提高稳定性；但过强收缩可能掩盖数据中的真实差异。
7.4 先验与样本量的影响
样本量较小时，先验在后验中的权重较大；样本量增大后，数据影响通常逐渐增强。实际分析中，先验与样本信息之间的相对强弱，是决定结果解释方式的重要因素。
8 应用场景
8.1 医学统计
在医学研究中，先验分布常用于临床试验、疗效比较和诊断准确率分析。它能够整合既往研究和专家经验，尤其适合样本有限或伦理成本较高的情形。
8.2 机器学习
在机器学习中，先验分布常用于正则化、贝叶斯分类、参数共享和不确定性估计。它有助于提升模型泛化能力，并为预测结果提供概率解释。
8.3 工业质量控制
在工业生产中，先验可用于估计不合格率、设备故障率和工艺稳定性。结合在线检测数据后，能够更快地判断生产过程是否偏离正常状态。
8.4 金融风险分析
在金融风险分析中，先验分布常用于波动率、违约概率和损失分布建模。它可以把历史经验与当前市场数据结合起来，辅助风险评估与情景预测。
8.5 可靠性工程
在可靠性工程中，先验分布常用于元件寿命、失效时间和维修间隔分析。对于新产品或极端工况下的数据稀缺问题，先验信息尤其有价值。
9 争议与讨论
9.1 主观性问题
先验分布的一个常见讨论点是主观性。由于先验反映的是数据之外的知识来源，不同研究者可能给出不同设定。不过，这种主观性并不一定意味着任意性，只要构造过程透明且有依据，就可以被检验和讨论。
9.2 先验选择的偏差
如果先验设定过于偏向某种结论，后验结果可能受到明显牵引，形成偏差。为减少这种风险，通常需要结合数据、背景知识以及敏感性分析进行综合判断。
9.3 非信息性先验的局限
非信息性先验虽然强调客观，但在不同参数化下可能并不真正“无偏”。此外，在小样本条件下，即使是弱先验也会影响结果，因此它们并不能完全替代谨慎建模。
9.4 计算复杂度问题
当模型复杂、参数维数较高或先验结构较精细时，后验计算可能变得困难。此时常需要借助数值积分、马尔可夫链蒙特卡洛或变分推断等方法，计算成本也随之上升。
10 相关概念
10.1 后验分布
后验分布是给定数据后的参数分布，由先验和似然共同决定，是贝叶斯推断的最终结果。
10.2 似然函数
似然函数描述在不同参数取值下观测数据出现的相对可能性，是连接数据与参数的重要桥梁。
10.3 边际似然
边际似然是对参数积分后的数据总体概率，常用于模型比较与证据评估。
10.4 先验预测分布
先验预测分布是在尚未观察数据时，对未来观测结果的分布描述，可用于事前评估模型合理性。
10.5 超先验与层次模型
超先验是对先验分布参数再赋予分布的做法，层次模型则由此形成多层随机结构，适合表达更复杂的数据生成机制。