1 基本概念
1.1 定义与核心思想
Gibbs采样是一类用于近似从复杂多维概率分布中抽样的马尔可夫链蒙特卡洛方法。其核心思想是：当联合分布整体难以直接抽样时，转而利用各变量在给定其余变量条件下的条件分布，按顺序或按规则逐个更新变量，从而构造出一条样本序列。
与直接在高维空间中“整体跳跃”的方法相比，Gibbs采样采取的是局部更新策略。每一次更新只改变一个变量或一组变量，因此在条件分布容易求得的情况下，算法实现较为自然。经过足够多次迭代后，这些样本可近似反映目标联合分布的特征。
1.2 方法背景
Gibbs采样来源于统计物理和计算统计的交叉发展。它的提出与推广，主要是为了解决高维系统中无法解析求解、又难以直接采样的分布问题。随着贝叶斯统计与机器学习的发展，这一方法逐渐成为重要的通用推断工具。
1.2.1 马尔可夫链蒙特卡洛基础
马尔可夫链蒙特卡洛方法通过构造一个马尔可夫链，使其平稳分布等于目标分布，再利用链上生成的样本近似计算期望、概率或其他统计量。Gibbs采样正是MCMC中的代表性算法之一，特点是转移规则由条件分布直接给出，避免了复杂接受率计算。
1.2.2 条件分布与联合分布关系
Gibbs采样依赖于一个关键事实：在许多多变量模型中，虽然联合分布形式复杂，但单个变量在给定其余变量后的条件分布往往更容易处理。若这些条件分布与联合分布彼此相容，便可通过反复更新各分量，逐步逼近联合分布的结构。
1.3 适用场景
Gibbs采样适用于以下情形：目标分布维度较高；联合分布难以直接抽样；但各个条件分布已知或容易推导；变量之间存在明确的条件依赖结构。它常见于贝叶斯后验推断、缺失数据补全、潜变量模型训练以及格点系统模拟等任务。
2 算法原理
2.1 逐变量更新机制
Gibbs采样的基本机制是逐变量更新。设目标分布包含多个随机变量，则在每一步中固定其余变量，只对某一变量按其条件分布重新抽样。如此循环往复，形成一个新的状态序列。
2.1.1 坐标轮换式采样
这种做法也可理解为一种坐标轮换式采样：每次只在一个坐标方向上刷新状态，而不是同时对全部坐标进行更新。它在形式上非常简单，但能在统计意义上保留目标分布。
2.1.2 全条件分布
Gibbs采样所使用的条件分布通常被称为全条件分布，即某个变量在给定其余所有变量时的条件概率分布。若联合模型已知，则全条件分布往往能够通过代数化简、共轭关系或局部结构直接得到。
2.2 迭代过程
2.2.1 初始化
算法通常从一个初始状态出发。初值可以随机选取，也可以基于经验值、近似解或其他启发式方法设定。初始化并不会决定最终分布，但会影响前期迭代的表现。
2.2.2 顺序更新
每轮迭代中，各变量按照预设顺序依次更新。更新某个变量时，使用当前最新的其他变量取值作为条件。这种“边更新边替换”的方式，是Gibbs采样区别于一次性同步更新方法的重要特征。
2.2.3 样本记录
在完成若干轮迭代后，链上的状态即可作为近似样本保存。实际应用中，通常不会保留每一步状态，而是结合烧入期和抽样间隔，仅记录部分迭代结果，以减弱初始值影响与样本自相关。
2.3 理论依据
2.3.1 平稳分布
如果构造得当，Gibbs采样对应的马尔可夫链以目标分布作为平稳分布。换言之，当链运行足够长时间后，状态分布将趋近于目标分布，从而使链上样本可用于统计推断。
2.3.2 详细平衡条件
在许多常见设定下，Gibbs采样满足详细平衡条件，即从状态A到状态B的转移流与从B到A的转移流在平稳分布下相互匹配。该性质有助于保证目标分布能够作为链的稳定极限。
3 算法类型
3.1 标准 Gibbs 采样
标准Gibbs采样通常指按照固定顺序逐个更新每个变量的基本版本。该形式最易理解，也最便于实现，适合变量数目不多、条件分布表达清晰的模型。
3.2 随机扫描 Gibbs 采样
随机扫描Gibbs采样在每一步随机选择一个变量进行更新，而不是按固定顺序循环。它有时能减少更新顺序带来的结构性偏差，在某些模型中也有助于改善混合行为。
3.3 系统扫描 Gibbs 采样
系统扫描Gibbs采样则严格按既定顺序依次更新全部变量。由于更新规则稳定、实现方便，这一形式在实践中应用广泛。不过，当变量之间相关性较强时，固定顺序未必总是最优。
3.4 分块 Gibbs 采样
分块Gibbs采样不是一次只更新单个变量，而是将若干变量组成一个块，按块进行条件抽样。它常用于变量之间耦合紧密、单变量更新效率较低的场景。
3.4.1 变量分组策略
分块方式可以依据模型结构、相关性强弱或计算便利性来设计。合理分组后，块内变量可被联合更新，从而在一定程度上减少链的粘滞现象。
3.4.2 高维情形下的应用
在高维模型中，分块策略尤为重要。通过将局部相关变量归并到同一块中，可以提高每次迭代的信息传递效率，缓解逐坐标更新过慢的问题。
4 数学性质
4.1 收敛性
Gibbs采样是否收敛，以及收敛速度如何，取决于目标分布的结构、更新方式和链的可达性。理论上，只要满足一定条件，链就会趋向目标分布；但在实际计算中，收敛速度可能差异很大。
4.1.1 遍历性
遍历性意味着链在足够长的时间内能够访问状态空间中的相关区域，并使长期频率反映目标分布。它是Gibbs采样能够用于统计估计的重要基础。
4.1.2 不可约性
不可约性要求从任意状态出发，链有机会到达状态空间中的其他区域。若某些区域之间完全隔离，采样结果可能只局限于局部子空间，导致偏差。
4.1.3 非周期性
非周期性指链不会被固定在严格重复的周期模式中。具备非周期性后，链更容易在平稳分布下稳定游走，从而形成有效样本。
4.2 相关性与自相关
Gibbs采样生成的相邻样本往往彼此相关，这种相关性称为自相关。若变量间耦合很强，链可能短时间内变化有限，导致样本信息增量较小。此时，即使样本数量很多，有效独立信息也可能并不高。
4.3 混合效率
混合效率描述链在状态空间中扩散并覆盖目标分布的快慢。混合越好，样本越快摆脱初值影响，也越能准确反映整体分布形状。
4.3.1 变量相关性的影响
变量相关性越强，单变量逐步更新就越容易出现“缓慢爬行”的现象。此时链在高概率区域内移动迟缓，收敛与混合都会变慢。
4.3.2 状态空间结构的影响
如果目标分布呈现多个峰值、狭长谷地或复杂约束结构，Gibbs采样可能在局部区域内徘徊较久。状态空间越复杂，设计合适的更新策略就越重要。
5 实现方法
5.1 初始化策略
初始化时可采用随机赋值、经验均值、简单优化结果或先验中心值。良好的初值不改变最终极限分布，但能减少前期“热身”时间，并降低进入低概率区域的风险。
5.2 条件分布推导
实现Gibbs采样的关键之一，是为每个待更新变量推导出可直接抽样的条件分布。常见做法包括利用共轭先验、指数族结构、局部因子分解或模型的层级表示。
5.3 采样顺序设计
采样顺序可以固定，也可以随机。若模型中某些变量彼此依赖较强，可考虑让相关变量分属不同更新阶段，或使用分块方式以改善效率。
5.4 迭代次数与烧入期
迭代次数需要根据模型复杂度与收敛情况确定。通常不会将全部早期样本直接用于分析，而是先丢弃一段过渡阶段。
5.4.1 烧入期处理
烧入期用于消除初始状态带来的偏差。其长度没有统一标准，往往需结合轨迹图、诊断指标或经验判断来决定。
5.4.2 采样间隔设置
为减少样本间自相关，可在连续迭代中隔若干步再保存一个样本，这一做法称为抽稀或采样间隔设置。不过，过度抽稀并不一定提升统计效率，因此通常需折中处理。
5.5 伪代码与流程图
Gibbs采样的伪代码通常包括：初始化状态；按变量顺序循环更新；在达到设定轮数后记录样本；重复直到获得足够多的样本。其流程清晰，适合程序化实现，也便于嵌入更复杂的推断框架中。
6 应用领域
6.1 贝叶斯统计
在贝叶斯统计中，Gibbs采样常用于近似后验分布。由于许多贝叶斯模型存在共轭结构或层级结构，条件分布往往容易求解，因此该方法尤其常见。
6.1.1 参数后验估计
对于模型参数的后验估计，Gibbs采样可以生成一组近似后验样本，再据此计算均值、中位数、可信区间等统计量。
6.1.2 缺失数据插补
当数据表中存在缺项时，Gibbs采样可在模型假设下反复抽样缺失值与参数，从而实现插补与不确定性传播。
6.2 机器学习
在机器学习中，Gibbs采样常作为潜变量推断和模型训练的一部分。它能够在不显式求解整体后验的情况下，近似获得隐藏结构信息。
6.2.1 潜变量模型
对于含有潜在类别、隐状态或隐因子的模型，Gibbs采样可交替更新观测层与隐藏层变量，帮助估计未观测结构。
6.2.2 聚类与主题模型
在聚类与主题模型中，Gibbs采样经常用于分配样本类别、词项主题或局部潜状态。其操作直观，便于与概率图模型结合。
6.3 统计物理
Gibbs采样最早与统计物理中的格点系统模拟密切相关，常用于研究粒子、自旋或局部相互作用系统的平衡状态。
6.3.1 格点模型
在格点模型中，每个格点状态受邻域影响。Gibbs采样通过局部更新模拟系统演化，因此适合描述具有近邻耦合的物理系统。
6.3.2 玻尔兹曼分布采样
对于玻尔兹曼分布这类能量模型，Gibbs采样可依靠局部能量差推导条件分布，从而生成符合热平衡特征的样本。
7 优缺点
7.1 优点
7.1.1 实现简单
Gibbs采样的实现通常比较直接。只要能写出条件分布，就可以构造更新步骤，因此在很多模型中都具有较强的可操作性。
7.1.2 易于利用条件分布
该方法充分利用了条件分布往往比联合分布更容易处理这一优势，特别适合共轭模型和层级模型。
7.2 缺点
7.2.1 收敛较慢
在复杂分布下，Gibbs采样可能需要较长迭代时间才能接近平稳状态，尤其在高维或多峰问题中更为明显。
7.2.2 变量相关时效率较低
若变量之间强相关，单步更新的推进幅度会较小，链容易出现“慢移动”现象，从而降低有效采样效率。
7.2.3 对条件分布要求较高
Gibbs采样依赖可直接抽样的条件分布。若条件分布难以求得或无法高效采样，则需要借助其他算法，或与其他MCMC方法联合使用。
8 变体与扩展
8.1 多重 Gibbs 采样
多重Gibbs采样通常指一次更新多个变量块，或在不同层次上嵌套Gibbs式更新。它可用于结构更复杂的模型，以增强适应性。
8.2 Metropolis-within-Gibbs
当某些条件分布难以直接抽样时，可在Gibbs框架内嵌入Metropolis-Hastings步骤，形成Metropolis-within-Gibbs方法。这样既保留了Gibbs的分块更新思想，又拓宽了适用范围。
8.3 部分可观测模型中的扩展
在部分可观测模型中，隐藏状态与观测数据交织在一起。Gibbs采样可通过交替抽样隐变量和参数，逐渐恢复模型中的潜在结构。
8.4 并行化与加速方法
为提升效率，研究中还发展出并行更新、块并行、图结构分解等加速手段。若变量之间依赖较弱，部分更新步骤可以并行执行，从而缩短计算时间。
9 相关概念
9.1 马尔可夫链
马尔可夫链是一类未来状态仅依赖当前状态的随机过程。Gibbs采样正是基于这一性质构造状态转移。
9.2 蒙特卡洛方法
蒙特卡洛方法通过随机抽样近似计算复杂问题的数值结果。Gibbs采样属于其中用于概率推断的典型分支。
9.3 Metropolis-Hastings 算法
Metropolis-Hastings算法是另一类经典MCMC方法，依靠提议分布和接受拒绝机制构造目标分布样本。与之相比，Gibbs采样在条件分布可直接抽样时更为简洁。
9.4 贝叶斯推断
贝叶斯推断以先验、似然和后验为基本框架，常需处理难以解析的后验分布。Gibbs采样是实现其数值近似的重要工具之一。
10 历史与发展
10.1 早期统计物理背景
Gibbs采样的思想与统计物理中的局部更新方法密切相关，早期主要用于描述具有大量相互作用成分的平衡系统。其名称也与Gibbs在统计力学中的贡献相关。
10.2 计算统计中的推广
随着计算能力提升和统计建模复杂化，Gibbs采样被广泛引入计算统计领域，并逐渐发展为贝叶斯计算中的标准工具之一。其适用范围也从物理系统扩展到社会科学、生物统计与工程建模等多种场景。
10.3 现代机器学习中的应用
在现代机器学习中，Gibbs采样常与概率图模型、潜变量模型和生成式建模结合使用。尽管近年来出现了许多替代性近似推断方法，它仍因结构清晰、理论基础扎实而具有持续影响力。