1 图模型的基本概念
图模型（Graphical Models）是一类用图结构刻画随机变量及其概率依赖关系的形式化框架。其基本思想是：把随机变量当作图中的节点，把变量之间的统计依赖关系用边（或更一般的超边、因子关系）表达。借助图的结构特征，图模型能把“概率推断”组织成在图上进行的结构化计算。
在实际工作中，图模型常用于以下任务：给定观测求后验分布；计算边缘分布或条件分布；寻找使后验最大的解释（即 MAP）；以及从数据中估计参数或学习图结构。不同类型的图模型在“允许的依赖表达方式”和“图上推断规则”上各有侧重，但都围绕同一核心目标：用图结构把概率计算拆解成可管理的局部运算。
1.1 图与随机变量的对应
将一组随机变量记为 \(X_1,\dots,X_n\)。图模型用一个图 \(G\) 来对应这些变量：
- 节点：通常每个随机变量对应一个节点，或在扩展形式中允许一个节点代表一组变量或一个潜变量。
- 边/连接：边用于刻画变量之间的依赖或相互作用；在更一般的建模里，连接关系也可能由“因子”（一个同时关联多个变量的关系）来表示。
- 连通性含义：图是否连通、分成哪些子图，会直接影响条件独立关系以及后续推断的计算量。
在许多模型中，图结构不仅描述“关系存在与否”，还隐式规定了联合分布如何被分解，从而把全局概率表达转化为局部因子的组合。
1.2 条件独立与分离性质（直观到形式）
条件独立刻画“在给定某些变量条件下，其余变量之间不再提供额外信息”。图模型把这种关系与图上的“分离”概念绑定：如果某组节点在图中阻断了信息流（或在形式上满足分离条件），则对应的随机变量满足条件独立。
直观上可理解为两点：
形式化层面，不同类型的图模型使用不同的分离准则（例如有向图、无向图、以及带因子结构的图），但共同点是：图的结构决定了可推导的条件独立语句；反过来，这些独立语句又决定联合分布能否以特定方式被分解。
1.3 联合分布的结构化表示
图模型的关键价值在于把联合分布 \(P(X_1,\dots,X_n)\) 用图的局部结构表示出来。典型做法是将联合分布分解为一组因子/条件概率的乘积（或在对数域里变成加和）。
结构化表示通常带来两方面好处：
- 表达更清晰：复杂系统的统计依赖不必以全局高维分布形式直接书写，而是由局部关系逐步构成。
- 计算更可行：通过变量消去或消息传递等机制，推断任务可以在图上分解为更小的子问题，从而降低计算成本。
不同图模型类型对应不同的“分解形式”，但都遵守“图结构—概率分解—条件独立推导”的一致性。
2 经典图模型类型
图模型并非单一形式。根据边的方向性、允许的因子结构以及分离规则，常见的经典类别包括贝叶斯网络（有向图）、马尔可夫随机场（无向图）以及更一般、统一表示联合分布的因子图。
2.1 贝叶斯网络（有向图）
贝叶斯网络（Bayesian Networks）用有向无环图（DAG）来描述随机变量的依赖结构。它把每个变量与其父节点的条件概率作为基本构件，从而实现对联合分布的因子分解。
2.1.1 因子分解与条件概率表
在贝叶斯网络中，若节点 \(X_i\) 的父节点集合为 \(\mathrm{Pa}(X_i)\)，则联合分布可写为：
\[ P(X_1,\dots,X_n)=\prod_i P(X_i \mid \mathrm{Pa}(X_i)). \]
每一项条件概率通常用条件概率表（离散变量）或条件分布形式（连续变量）实现。此分解使得网络中的局部依赖以“父—子”关系出现，而全局联合分布由这些局部规则乘起来得到。
2.1.2 有向无环图的角色
有向无环性保证了分解在数学表达上与因果/生成式解释相容：变量的依赖不会形成循环，从而避免了“递归定义而无法展开”的困难。
在工程与算法层面，DAG 结构也影响推断方法的适用性与实现方式。例如，父节点的给定会“屏蔽”部分不必要的相关性，使得条件独立关系更容易由图结构推出。
2.2 马尔可夫随机场（无向图）
马尔可夫随机场（Markov Random Field, MRF）使用无向图来表示随机变量的相互作用。它更强调“局部团（clique）之间的能量/势函数”以及由图上的团结构带来的马尔可夫性质。
2.2.1 图分解与势函数思想
在无向图里，联合分布常用势函数（potential）来表示。典型形式是：
\[ P(X)=\frac{1}{Z}\prod_{C} \psi_C(X_C), \]
其中 \(C\) 表示图中的团（clique），\(\psi_C\) 是与该团相关的势函数，\(Z\) 是归一化常数（配分函数）。势函数不一定直接对应“概率”，而是提供相对权重；通过除以 \(Z\) 才得到归一化后的概率分布。
这种表示特别适合刻画对称、相互作用较自然的场景，例如空间邻接或网格结构中的变量耦合。
2.2.2 分离准则与马尔可夫性质
无向图的条件独立可通过分离准则（与无向图相关的阻断概念）推导：如果给定某些节点后，某两组节点在图中被分离，则对应变量满足条件独立。
马尔可夫性质通常表现为“局部邻域决定全局”：某个节点在给定其邻域（或其团相关结构）后，与更远处的节点不再直接相关。此性质使得联合分布的建模可以只依赖局部势函数。
2.3 因子图（Factor Graph）
因子图（Factor Graph）是一种用于分解联合分布的通用表示。它把变量与因子分为两类节点，通过因子连接其涉及的变量，从而统一描述有向与无向模型的某些计算视角。
2.3.1 因子与变量节点的两分结构
因子图通常包含两类节点：
- 变量节点：对应随机变量。
- 因子节点：对应某个与若干变量同时相关的函数（因子），例如上面的 \(\psi_C\) 或某种条件概率组件。
联合分布可写成因子的乘积形式，例如：
\[ P(X)\propto \prod_a f_a(\mathbf{X}_a), \]
其中 \(f_a\) 为因子函数，\(\mathbf{X}_a\) 是因子涉及的变量子集。通过把每个因子局部化到图结构上，可以更方便地说明消息传递等算法如何在图上流动。
2.3.2 消息传递的通用视角
因子图的两分结构使得“消息传递”更自然：消息从变量节点到因子节点、再从因子节点到变量节点交替进行。不同模型只要能写成因子乘积，就可以在同一框架下讨论推断算法的实现形式。
这种统一性使得因子图成为研究推断与近似推断的重要载体。
3 图模型中的推断问题
推断（Inference）指在给定图模型与部分观测的情况下，计算目标概率量或最优解释。图模型把推断问题拆成边缘化、条件化、最大化或变量消去等操作。
3.1 边缘化与条件化
若需要得到某些变量的分布，常见操作包括：
- 边缘化（marginalization）：对不关心的变量求和或积分。
- 条件化（conditioning）：把观测变量固定为给定值，得到条件分布。
例如若要计算 \(P(Y\mid E)\)，其中 \(E\) 为证据（观测），则可从联合分布或因子分解出发进行相应的消去与归一化。
3.2 MAP 估计与后验计算
MAP（Maximum A Posteriori）估计寻找使后验概率最大的变量取值。它通常与“全后验”计算不同：
- 后验计算：要得到 \(P(Y\mid E)\) 的完整分布（或其边缘）。
- MAP 估计：只需最大化后验概率，得到最可能解释。
在实现层面，MAP 往往对应把某些求和运算替换为最大化运算，这会改变计算结构与算法性质。因子图与消去框架使得这种差异可以被形式化地讨论。
3.3 证据处理与变量消去
证据处理（evidence handling）指把观测变量固定，并在图上更新相关因子，从而减少待计算的不确定性。变量消去（variable elimination）则是把变量逐个从计算表达式中移除，形成新的中间因子。
3.3.1 消去顺序对复杂度的影响
变量消去通常会产生“中间因子”的维度扩张。消去顺序决定中间因子的规模，从而显著影响计算复杂度。
一般规律是：若消去顺序不合理，某些中间因子会涉及大量变量，导致状态空间爆炸；相反，选择更合适的顺序能抑制相互作用的增长，使推断可计算。该现象与图结构中的宽度类指标紧密相关。
4 推断算法与计算框架
推断算法的目标是以尽可能低的代价求得所需概率量。根据图的结构与所需结果类型，常见方法包括消息传递、变分推断与采样近似。
4.1 消息传递（Belief Propagation）
消息传递（Belief Propagation, BP）是一类在因子图上迭代更新“局部信息”的算法。它把全局边缘分布的计算转化为在图上反复发送与接收消息。
4.1.1 在树上的精确性
当图结构是树（无环）时，BP 的计算可得到精确的边缘分布。直观原因在于：从某节点回传的信息不会产生多重回路，因而局部一致性不会与全局矛盾，迭代过程等价于对树结构上的分解进行正确消去。
4.1.2 在一般图上的近似与收敛讨论
在含环图中，BP 通常不再保证精确性，而是作为近似方法使用。常见现象包括：
- 收敛性问题：迭代可能不收敛或收敛到不稳定结果。
- 近似误差：环路带来的“重复信息”使得局部更新不等价于真实边缘化。
因此，在一般图上，BP 的表现依赖于图的结构、因子形状以及实现细节；工程上常配合阻尼、调度策略或监控指标来降低风险。
4.2 变分推断（Variational Inference）
变分推断把后验推断转换为优化问题。核心思想是用一个可计算的近似分布族去逼近真实后验，并通过某种目标函数衡量逼近质量。
4.2.1 近似分布族与目标函数
常见做法是选择近似分布 \(q\) 来近似真实后验 \(p\)，并最小化二者之间的差异（例如某种散度）。变分框架通常会给出等价的优化目标，使得原本难以直接计算的后验量变为可优化的函数。
近似分布族的选择决定了方法的能力与计算代价。过于灵活可能难以计算，过于受限可能造成明显偏差。
4.2.2 常见下界与优化思路
很多变分方法会引入对证据（边缘似然）的下界（lower bound）。当优化目标最大化该下界时，等价于在一定意义上改进近似质量。实践中，优化通常可通过坐标上升、梯度方法或解析更新（在某些共轭模型下）完成。
该框架适合大规模模型，因为其计算通常可通过批量化与局部更新实现。
4.3 抽样推断（Sampling-based Methods）
抽样推断通过从某种分布中抽取样本，用样本估计边缘分布或期望量。与确定性算法相比，抽样方法往往更具通用性，但可能需要更多样本以获得精度。
4.3.1 马尔可夫链与采样近似
马尔可夫链方法（如马尔可夫链蒙特卡洛）通常构造一个转移过程，使得其平稳分布与目标分布一致。采样过程中，逐步生成的样本用于逼近后验或其相关边缘量。
在某些实现中，会加入提案机制与接受准则，保证长期采样分布正确。
4.3.2 收敛与诊断的基本注意点
抽样方法的挑战在于：链是否已充分“混合”、样本是否能代表目标分布。常见注意点包括：
- 收敛速度：链可能需要较长的热身期。
- 样本相关性：自相关会降低有效样本量。
- 诊断工具：需要使用统计检查来评估近似质量。
因此，抽样推断通常需要更谨慎的工程验证。
5 图模型的学习与参数估计
学习阶段包括两类主要目标：估计参数（给定结构）与学习结构（从数据推断图）。还可进一步讨论结构与参数的联合估计思路。
5.1 参数学习（最大似然、正则化）
在结构固定时，参数学习关注如何选择模型参数使得数据出现的概率最大化。常见准则包括：
- 最大似然估计：最大化观测数据的似然函数。
- 正则化：在过拟合风险较大时，引入先验或惩罚项，使估计更稳健。
对于图模型中需要计算的对数似然或其梯度，通常依赖推断子程序（例如期望计算），因此参数学习与推断算法之间存在紧密耦合。
5.2 结构学习（从数据推断图）
结构学习试图从数据中确定依赖关系的组织方式，即确定图的边或因子连接方式。它比参数学习更困难，因为搜索空间随变量数增长迅速膨胀。
5.2.1 评分准则与约束思想
结构学习常使用评分准则来衡量某个候选结构与数据的匹配程度。例如通过对数似然、信息准则或带先验的评分函数进行比较。许多方法还会引入约束以减少不必要的候选结构，例如限制某类图的可接受形式（如有向无环性）或限制局部连接规模。
5.2.2 搜索策略与可计算性
结构空间的搜索可采用：
- 穷举搜索（通常只适用于小规模）
- 贪心搜索（逐步添加/删除边）
- 局部搜索与随机化（在较大规模上更常见）
- 基于分解的策略（利用局部结构减少计算）
计算性问题主要来自：每评估一个结构都可能需要复杂的推断或参数拟合，因而选择合适的搜索策略与近似评分至关重要。
5.3 结构与参数联合学习的思路
联合学习通常尝试在“结构选择”和“参数估计”之间同步优化。常见思路包括交替优化（先固定结构估参数，再固定参数更新结构）或在统一目标中同时处理两者，但联合优化往往更容易陷入局部最优或带来更高计算开销。
在工程上，常以可计算性为约束，在表现与成本之间做折中。
6 复杂度、图结构与工程实践
图模型的计算难度与图结构强相关。即便形式上写出了概率分解，实际推断仍可能因变量交互方式导致指数级复杂度。
6.1 树宽与推断难度的关联
树宽（treewidth）是反映图“接近树结构程度”的指标。一般而言，树宽越小，变量消去时中间因子越容易保持在较小规模，从而推断更可能在可接受时间内完成。
这使得工程实践中常需要关注：图结构是否具有层次性、是否可分解成更容易处理的子结构，或能否通过建模方式降低有效宽度。
6.2 证据与稀疏性对计算的影响
证据（已观测变量）会减少不确定维度，从而降低计算量。若大量变量被观测，许多因子在代入证据后可简化或被消去更快。
稀疏性指图中连接数量相对较少或局部因子较小。稀疏图往往意味着局部计算规模更可控，也更利于消息传递等方法在局部邻域内运行。
6.3 近似推断的适用边界
近似推断方法在复杂图上很常用，但适用边界取决于：
- 图中环的结构与长度
- 因子是否“相对平滑”（避免强不确定性导致的数值不稳定）
- 目标是否对精确边缘高度敏感
当模型结构接近树、或近似分布族足够贴近真实后验时，近似方法往往更有效；反之则可能出现明显偏差或不稳定输出。因此在部署时通常需要通过验证集或一致性检查评估可靠性。
7 应用场景（以方法映射为主）
图模型的应用跨度很广。这里以“问题类型—适用建模/推断方式”的映射方式概述其常见用途。
7.1 计算机视觉与分割
图模型常用于图像分割、标注与去噪等任务。典型做法是把像素或超像素作为变量，把空间邻接关系写进无向图或因子图中：
- MRF/条件随机场式建模：用局部相邻关系与外观/边缘等特征构成势函数。
- 消息传递：在图规模较大时用于近似边缘或边界对齐。
- 变分/抽样：在更复杂能量形式或非线性观测下提供替代求解手段。
7.2 自然语言处理与序列建模
语言数据常呈现序列依赖与局部上下文影响。图模型可以以链式或层级方式表示：
- 有向模型：适合按生成顺序描述条件概率（例如词序或结构生成）。
- 因子图与序列模型：把局部转移与观测关联分解，便于使用消息传递或近似推断。
- 后验计算与MAP：用于标注、解析或最可能结构选择。
7.3 生物信息学与网络关联建模
在生物数据中，往往存在复杂的相互作用网络与多尺度依赖。图模型可用于：
- 基因/蛋白网络关联：把候选因果或统计依赖用图结构表达。
- 层级与多模态观测：通过因子分解把不同数据源（实验读出、表型、序列特征）组合起来。
- 结构学习：用于从数据中探索潜在连接方式。
7.4 推荐系统与排序/偏好建模
推荐系统需要处理用户偏好与物品属性之间的非独立关系。图模型可用于：
- 偏好排序与相关性建模：把用户与物品的交互视为局部因子。
- 后验推断：根据历史行为对潜在偏好状态做更新。
- 图结构参数化：在交互稀疏或特征复杂时提供更可解释的依赖组织方式。
8 相关概念与术语
本节列出与图模型密切相连、常在相关文献中出现的概念与容易混淆的点。
8.1 马尔可夫毯与贝叶斯网络等价表述
马尔可夫毯（Markov blanket）刻画某变量在图模型中“用来屏蔽其余变量”的最小条件集合。它与贝叶斯网络的父子关系、以及无向图中的邻域结构都存在对应关系，常用于理解条件独立、特征选择与局部学习。
由于不同图类型对应的分离准则不同，表达细节会随模型形式变化，但其核心思想一致：用最小必要的信息集合描述条件依赖。
8.2 图的表示技巧（分解、聚合）
在复杂模型中，常使用表示技巧降低计算或增强可解释性：
- 分解：把高阶关系用多个因子分解成更小组件。
- 聚合：把一组变量或状态压缩为更少的等价量，减少状态空间。
- 重参数化：在不改变分布语义的情况下，改变因子形状以改善优化或数值稳定性。
这些技巧往往与因子图表示紧密相关，因为因子图便于显式组织局部结构。
8.3 常见“坑点”：模型假设与误用风险
图模型的“误用”通常并非算法错误，而是建模假设与实际数据机制不匹配，例如：
- 独立性假设过强：图结构表达的条件独立可能与真实依赖不符，导致系统性偏差。
- 因子形式不当：势函数或条件分布的选择过于简单，无法表达关键非线性关系。
- 忽视计算边界：选择不合适的推断方法或消去顺序，导致计算不可承受或近似失效。
- 变量类型忽略：离散/连续处理方式不同，若在实现上混淆会造成严重偏差。
因此，建模前的图结构选择与验证（例如用留出数据评估预测与校准）对图模型的有效性至关重要。
9 发展脉络与形式化地位
图模型作为概率建模与推断的一种统一语言，在统计学习、人工智能与计算科学中占据重要位置。
9.1 从概率图到通用框架
早期的概率图概念帮助人们以图结构表达依赖；随着理论发展，图模型逐步形成了更通用的形式化体系，能够在不同图类型之间切换推断视角，并统一解释局部因子如何组合成全局分布。
因子图等表示进一步增强了这种统一性，使得消息传递、变分与消样方法都能在同一图上被讨论与比较。
9.2 与统计学习的关系
图模型与统计学习之间存在双向影响：一方面，统计学习中的损失函数、正则化与估计思想可用于图模型参数与结构学习；另一方面，图模型提供了结构先验与概率一致性，使得学习过程不只是“拟合”，还包含对依赖结构的建模与约束。
在实践中，这种关系常体现在：通过图结构组织特征、通过推断计算对数似然或其近似来驱动学习。
9.3 在形式化科学（Formal_sciences）中的位置
在形式化科学语境下，图模型可被视为“概率推断的可计算形式主义”：它把随机性表达成图的数学结构，并把推断过程形式化为分解、消去、消息更新或优化问题。由此，图模型不仅是工程工具，也是一种便于推导性质、分析复杂度与对比算法的理论框架。
同时，它与逻辑式的约束、代数化的表示方式相互借鉴，使得“结构—推断—学习”链条能够在严谨条件下被研究。