1 概念与定义
1.1 基本定义
层次贝叶斯是一类具有分层结构的贝叶斯统计建模方法。它将数据、参数与先验信息置于多个层级中统一描述，通常用于刻画个体、群组与总体之间的关系。与单一层级的贝叶斯模型相比，层次贝叶斯更适合处理具有自然分组或多来源结构的数据。
1.2 与贝叶斯统计的关系
层次贝叶斯属于贝叶斯统计的一个重要分支，其基本出发点仍是通过先验分布与数据似然共同确定后验分布。不同之处在于，它不只为单个参数指定先验，而是进一步为参数的生成过程建立上层结构，使先验本身也成为可建模对象。
1.3 与分层模型的关系
分层模型强调数据或参数按层级组织，层次贝叶斯则是在这一结构上引入贝叶斯推断框架。可以理解为：分层模型提供结构，贝叶斯方法提供不确定性表达与更新机制，二者结合后形成更灵活的统计建模方案。
1.4 核心思想
层次贝叶斯的核心在于把不同层级的信息联系起来，并通过概率方式表达这些层级之间的依赖关系。它既关注各组的局部特征，也重视总体规律，从而使推断结果兼顾个体差异与整体稳定性。
1.4.1 信息共享
信息共享是层次贝叶斯最重要的特征之一。不同群组的数据会通过共同的上层参数发生联系，样本较少的组可以借助整体信息获得更稳定的估计，而样本充足的组则更多地保留自身特征。
1.4.2 参数收缩
参数收缩指的是组别估计值向总体均值或共同中心靠拢的现象。这种机制能够缓解极端估计带来的波动，尤其在小样本或噪声较大的情形下，通常能提升推断的稳健性。
1.4.3 不确定性传播
层次贝叶斯会将每一层中的不确定性逐级传递到下一层。这样不仅能得到参数点估计，还能同时反映估计误差、组间波动和总体层面的不确定范围。
2 理论基础
2.1 贝叶斯公式
层次贝叶斯建立在贝叶斯公式之上，即后验分布与先验分布、似然函数的乘积成正比。通过这一公式，模型能够将观测数据与已有知识结合起来，形成更新后的参数分布。
2.2 先验分布与后验分布
先验分布用于表达观测数据到来之前对参数的认知，后验分布则是在数据给定后得到的更新结果。在层次模型中，先验分布往往还会依赖更高层级的参数，因此形成嵌套式结构。
2.3 超参数与超先验
超参数是控制先验分布形状或尺度的参数，例如均值、方差或精度等。若将超参数本身也视为随机变量，并为其指定先验分布，则该分布被称为超先验。超先验的引入使模型具有更强的自适应能力。
2.4 条件独立性假设
许多层次贝叶斯模型会使用条件独立性假设，即在给定上层参数后，各个观测单位之间相互独立。该假设有助于简化模型结构，也便于构造似然函数和进行计算推断。
2.5 概率图模型表示
层次贝叶斯常可用概率图模型表示。图中的节点代表随机变量，连线表示依赖关系。通过这种方式，模型结构、层级关系和条件独立性都能得到直观呈现。
3 模型结构
3.1 单层贝叶斯模型
单层贝叶斯模型通常只对一组参数设定先验，并直接根据观测数据进行后验更新。它结构简单，适合参数较少、层级关系不明显的问题，但对复杂分组数据的适配能力有限。
3.2 两层层次贝叶斯模型
两层模型是最常见的层次结构之一。第一层描述观测数据与局部参数之间的关系，第二层则描述局部参数与总体参数之间的关系。它能够清晰体现群组差异与整体规律的结合。
3.3 多层层次贝叶斯模型
多层模型在两层结构基础上继续向上扩展，可用于描述更复杂的嵌套关系，如学生、班级、学校、地区等多级单位。层级越多，模型越能贴近现实结构，但计算与设定也更复杂。
3.4 群组参数与个体参数
群组参数反映某一类别或分组的总体特征，个体参数则描述具体观测单位的差异。层次贝叶斯通过上层参数对群组参数进行约束，再由群组参数影响个体参数，从而形成层层递进的生成过程。
3.5 总体参数与局部参数
总体参数刻画所有群组共享的背景规律，局部参数则体现每个群组或个体的特殊性。二者相互配合，使模型既能提取共性，也能保留差异。
4 建模过程
4.1 研究问题定义
建模首先要明确研究目标，例如预测、解释、比较还是分类。只有清晰定义问题，才能决定层级结构、变量形式与推断重点。
4.2 数据分层与变量划分
在层次建模中，需要先识别数据中的自然分层关系，并区分响应变量、协变量、群组变量与潜在参数。合理的变量划分是构建有效模型的基础。
4.3 先验设定
先验设定包括选择参数分布形式、确定尺度范围以及表达已有知识。若缺乏强先验信息，研究者也常采用弱信息先验，以避免过度主观约束。
4.4 似然函数构建
似然函数用于描述数据在给定参数条件下出现的可能性。不同类型的数据对应不同的似然形式，如正态分布、二项分布或泊松分布等。
4.5 后验推断目标
后验推断的目标是获得参数的分布特征，包括中心位置、离散程度以及区间范围。与只给出单一点估计的方法相比，后验推断更全面地呈现不确定性。
4.6 模型检验与修正
模型建立后，需要检查其是否合理地反映数据结构。若拟合不足或预测性能较差，则可能需要调整层级、修改先验、替换似然形式或引入新的解释变量。
5 推断方法
5.1 解析推断
在少数结构较简单的层次模型中，后验分布可通过解析方式求得。此类方法计算直接，但适用范围有限，通常依赖共轭先验或特殊模型结构。
5.2 马尔可夫链蒙特卡洛方法
马尔可夫链蒙特卡洛方法通过构造随机采样序列近似后验分布，适用于大多数无法解析求解的层次模型。它是现代贝叶斯计算中最常见的工具之一。
5.2.1 Metropolis-Hastings算法
Metropolis-Hastings算法通过提出候选样本并按接受概率决定是否采纳，逐步生成服从目标分布的样本。它具有较强通用性，但采样效率受提议分布影响较大。
5.2.2 Gibbs采样
Gibbs采样按条件分布逐个更新参数，每次只对一个变量采样，其余变量固定。若条件分布形式简单，它通常实现方便，且在许多共轭模型中表现良好。
5.2.3 Hamiltonian Monte Carlo
Hamiltonian Monte Carlo借助梯度信息在参数空间中高效移动，相比传统随机游走方法通常能获得更好的采样效率。它在高维层次模型中尤其受重视。
5.3 变分推断
变分推断通过构造一个易处理的近似分布来逼近真实后验分布。它通常比MCMC更快，适合大规模数据分析，但近似误差需要谨慎评估。
5.4 拉普拉斯近似
拉普拉斯近似利用后验分布在峰值附近的局部二次展开进行近似。该方法实现较为简洁，常用于参数维度较低或后验形状较平滑的模型。
5.5 经验贝叶斯方法
经验贝叶斯方法先用数据估计超参数，再将其代入贝叶斯更新过程。它在计算上往往较为方便，但由于部分先验信息直接由数据估计而来，严格意义上的不确定性表达会略受限制。
6 参数估计与计算
6.1 后验均值与后验中位数
后验均值是后验分布的期望值，常作为平方损失下的最优估计；后验中位数则对偏态分布较为稳健，适合不希望受极端值影响的情形。
6.2 最大后验估计
最大后验估计是在后验分布中取概率密度最高的位置作为参数估计。它可视为将先验信息纳入的正则化估计，在某些模型中具有较强的可解释性。
6.3 置信区间与可信区间
在贝叶斯框架下，通常使用可信区间描述参数不确定性，即参数落入某一范围的后验概率。它与频率学派中的置信区间概念不同，含义也不完全等同。
6.4 收敛诊断
层次贝叶斯模型常依赖迭代采样或优化算法，因此必须检查计算是否稳定收敛。收敛诊断的目的在于确认采样序列或近似结果是否足以代表目标后验分布。
6.4.1 链混合情况
链混合情况反映不同链是否在参数空间中充分探索并达到一致。若混合不佳，说明采样可能停留在局部区域，结果可靠性不足。
6.4.2 自相关分析
自相关分析用于评估相邻样本之间的相关程度。自相关过高通常意味着有效信息较少，需要更长的采样序列或更好的采样策略。
6.4.3 有效样本量
有效样本量是衡量相关样本中实际独立信息量的指标。即使链长很大，若样本高度相关，有效样本量也可能偏低。
7 典型模型
7.1 正态-正态层次模型
正态-正态层次模型常用于连续型数据分析。它假设观测值与群组参数服从正态分布，并在上层为群组均值设定正态先验，是层次建模中最经典的例子之一。
7.2 二项-贝塔层次模型
二项-贝塔层次模型适合处理成功次数、比例或二分类数据。二项分布描述观测结果，贝塔分布则常用于刻画成功概率的上层不确定性。
7.3 泊松-伽马层次模型
泊松-伽马层次模型常用于计数数据，例如事件发生次数。泊松分布用于描述计数过程，伽马分布常作为其强度参数的先验或超先验。
7.4 线性回归层次模型
线性回归层次模型将回归系数设为层次结构中的随机变量，适合多个组别共享部分回归信息的场景。它能够同时估计组内效应和组间差异。
7.5 广义线性层次模型
广义线性层次模型把层次结构与广义线性模型结合起来，可处理二元、计数、比例等多种数据类型。它扩展了传统回归方法的适用范围。
7.6 混合效应模型
混合效应模型可视为层次贝叶斯的重要相关形式，其中既包含固定效应，也包含随机效应。若采用贝叶斯处理方式，便能自然得到随机效应的不确定性分布。
8 应用领域
8.1 教育测量
在教育测量中，层次贝叶斯可用于分析学生、班级与学校之间的差异。它能够在学生样本不均衡时提供更稳定的能力估计。
8.2 医学与临床研究
医学研究中常存在中心、医院或病人亚组等分层结构。层次贝叶斯有助于整合多中心信息，并在样本较少的亚组中改善参数估计。
8.3 社会科学调查
社会科学调查数据往往具有地区、家庭或个体的嵌套结构。层次贝叶斯能够处理不同调查单元之间的异质性，并辅助比较群体差别。
8.4 生态与环境科学
在生态与环境科学中，物种分布、监测站点和时间序列常呈现多层特征。层次贝叶斯可将空间与群组信息结合起来，提高对稀疏观测的利用效率。
8.5 机器学习与人工智能
在机器学习中，层次贝叶斯常用于参数共享、元学习和不确定性估计等任务。它为模型提供了更灵活的先验结构，也便于表达任务之间的关联。
8.6 工业质量控制
工业质量控制中，产品批次、生产线与工厂通常存在层级差异。层次贝叶斯能够帮助识别异常批次，并对小批量抽样数据做出更稳健的判断。
9 优势与局限
9.1 优势
9.1.1 适合小样本与稀疏数据
层次贝叶斯在样本较少或数据分布不均时表现突出，因为它可以借助上层信息弥补局部数据不足的问题。
9.1.2 可处理异质性
该方法能够显式描述不同组别之间的差异，不会强行将所有观测视为完全同质，从而更贴近实际数据结构。
9.1.3 支持层级信息借用
层次结构允许各组之间共享统计信息，这种“借用强度”可随着数据量和组间相似度自动变化，提升总体估计质量。
9.2 局限
9.2.1 计算成本较高
复杂层次模型通常需要迭代采样或近似推断，计算时间和资源消耗较大，尤其在高维情形下更为明显。
9.2.2 先验选择敏感
先验分布的设定会影响结果，若先验过强或不合适，可能导致推断偏移。因此，先验通常需要结合领域知识谨慎选择。
9.2.3 模型设定复杂
层级过多、变量过多时，模型结构容易变得繁复。若分层逻辑不清晰，可能带来识别困难、解释困难或计算不稳定等问题。
10 模型诊断与评估
10.1 后验预测检验
后验预测检验通过从后验分布中生成模拟数据，并与真实观测比较，判断模型是否能够重现数据的主要特征。它是检验模型拟合程度的重要工具。
10.2 模型比较
当存在多个候选模型时，需要从拟合优度与复杂度平衡的角度进行比较。贝叶斯框架下的模型比较方法较多，常用于选择更合适的层次结构。
10.2.1 DIC
DIC是一种常见的贝叶斯模型比较指标，兼顾拟合程度与模型复杂度。它计算相对简便，因此在应用中较为常见。
10.2.2 WAIC
WAIC基于逐点预测性能评估模型，通常被认为比部分传统指标更适合复杂贝叶斯模型。它能够更直接地反映模型的泛化能力。
10.2.3 Bayes factor
Bayes factor通过比较两个模型在数据下的边际似然来衡量相对支持程度。它具有明确的概率解释，但对先验和计算精度较为敏感。
10.3 敏感性分析
敏感性分析用于考察先验设定、模型假设或数据处理方式变化后，结论是否稳定。若结果对某些设定特别敏感，说明模型结论需要更谨慎地解释。
11 扩展与相关主题
11.1 非参数贝叶斯
非参数贝叶斯不固定参数维度，而是允许模型复杂度随数据增长而变化。它与层次思想相结合后，可用于更灵活的分组建模与聚类分析。
11.2 动态层次模型
动态层次模型将时间变化纳入层级结构，用于描述参数随时间演化的过程。它适合处理环境监测、经济序列和行为变化等问题。
11.3 空间层次模型
空间层次模型在层次结构中加入地理位置或邻接关系，适合分析区域数据。它能捕捉空间相关性，并处理不同地点之间的局部差异。
11.4 时序层次模型
时序层次模型将多层结构与时间依赖结合，常用于状态随时间变化但又存在群组差异的场景。它在预测和动态估计中应用广泛。
11.5 多层次因果推断
多层次因果推断研究的是在嵌套结构中识别因果效应的方法。层次贝叶斯可在此类问题中帮助整合不同层级信息，并处理样本不均衡。
12 历史与发展
12.1 贝叶斯统计的发展背景
贝叶斯统计源于对概率作为不确定性度量的理解，后来逐步发展为一套系统的统计推断框架。随着计算能力提升，其应用范围不断扩大。
12.2 层次建模的形成
层次建模最初来源于对复杂分组数据的需求。研究者发现，许多现实问题不能用单层模型充分解释，于是逐渐形成了分层参数与共享信息的建模思路。
12.3 计算方法的进步
层次贝叶斯的广泛应用与计算方法的发展密切相关。随着数值优化、随机模拟和近似推断技术成熟，原本难以计算的模型变得可操作。
12.4 现代应用的扩展
在现代统计与机器学习中，层次贝叶斯已从传统的学术分析工具扩展到大规模数据建模、个性化预测和不确定性量化等场景。其分层表达能力使其在复杂数据分析中持续受到重视。