贝叶斯网络（Bayesian Network）是一种基于有向无环图（DAG）的概率图模型，用于表示变量之间的条件依赖关系，并通过条件概率表（CPT）进行定量刻画。它结合了图论与贝叶斯统计，能够高效地进行概率推理、因果推断和不确定性下的决策分析，广泛应用于机器学习、生物信息学、故障诊断等领域。其核心思想是：若图中每个节点在给定其父节点时条件独立于非后代节点，则整个联合概率分布可分解为局部条件概率的乘积。
1 基本概念
1.1 有向无环图与节点
贝叶斯网络的结构由一个有向无环图构成。图中的每个节点代表一个随机变量（可以是离散或连续），有向边表示变量间的直接依赖关系。由于图中不允许存在有向环，因此节点之间不会形成“你依赖我、我依赖你”的死循环——这比某些人际关系要清爽得多。
1.2 条件概率表
每个节点附带一张条件概率表，记录该节点在给定其父节点取值时的概率分布。例如，若节点“下雨”有父节点“季节”，则CPT会列出“夏季下雨的概率为0.3，冬季为0.7”。CPT是贝叶斯网络进行数值计算的基础，也是模型“记忆力”的体现——它精确记忆了每个局部关系。
1.3 条件独立性假设
贝叶斯网络的核心假设是：给定一个节点的父节点，该节点条件独立于它的所有非后代节点。这一假设极大地简化了联合概率分布的表示，使其从指数级复杂度降为线性或多项式级。
1.3.1 d-分离准则
d-分离是一种图论判据，用来判断两个节点集在给定第三个节点集时是否条件独立。直观来说，如果图中所有连接两个节点的路径都被“阻塞”（例如通过一个中间节点被观测到，或路径上的分岔点未观测），则它们d-分离，从而条件独立。这就像侦探破案：如果所有线索都被截断，那么两个嫌疑人可能毫无关联。
1.3.2 马尔可夫毯
一个节点的马尔可夫毯包括它的父节点、子节点以及子节点的其他父节点（即共同父节点）。给定马尔可夫毯中的所有节点，该节点条件独立于图中所有其他节点。这个概念在特征选择中尤其有用——你只需要关注毯子里的“亲戚”，其他“远方亲戚”可以忽略。
1.4 联合概率分解
基于条件独立性假设，整个联合概率分布可以分解为每个节点在其父节点条件下的条件概率的乘积：
\[ P(X_1, X_2, \ldots, X_n) = \prod_{i=1}^n P(X_i \mid \text{Pa}(X_i)) \]
这个公式是贝叶斯网络的“宪法”，它把全局复杂分布拆解为一系列简单的局部模块，使得推理和学习变得可行。
2 构建与学习
2.1 结构学习
结构学习的目标是从数据中自动发现节点之间的依赖关系，即确定有向无环图的边。主流方法分为两类。
2.1.1 基于约束的方法
这类方法通过统计独立性检验（如卡方检验、互信息）来判断变量是否条件独立，进而构建图结构。它好比警察查案：逐一测试变量对是否有关联，再根据独立关系反推图的结构。优点是直观，缺点是检验次数多且容易受样本量影响。
2.1.2 基于评分的方法
基于评分的方法搜索所有可能的图结构，并选择一个得分最高的模型。搜索空间巨大（指数级），因此常用启发式算法如贪婪搜索或遗传算法。
2.1.2.1 BIC评分
贝叶斯信息准则（BIC） 在似然函数基础上引入模型复杂度惩罚项，平衡拟合优度与过拟合风险。公式为：\(\text{BIC} = -2\ln(\text{最大似然}) + k \ln N\)，其中\(k\)为参数数量，\(N\)为样本量。得分越低，模型越好。
2.1.2.2 贝叶斯狄利克雷评分
贝叶斯狄利克雷（BD）评分基于贝叶斯视角，为每个可能的图结构赋予先验概率，并计算后验概率。它假设参数服从狄利克雷分布，能够自然处理零频率问题，适合小样本场景。对于崇尚“先验”的贝叶斯信徒来说，这是最正统的评分法。
2.2 参数学习
在结构已知（或已学习得到）后，参数学习估计各节点的条件概率表。
2.2.1 极大似然估计
极大似然估计（MLE） 直接使用数据频率来估计CPT中的概率值。如果数据充足，MLE简单高效。但遇到某些组合未出现的情况（零频率），MLE会输出0——这有时过于乐观，好像没见过的事情就绝对不可能发生。
2.2.2 贝叶斯估计
贝叶斯估计引入参数的先验分布（通常为狄利克雷分布），将数据与先验结合得到后验分布。它通过“伪计数”平滑零频率问题，更具鲁棒性。贝叶斯估计的格言是：“即使没见过外星人，也不妨给它们一个很小的概率。”
3 概率推理算法
推理任务包括计算后验概率、最可能解释等。方法分精确和近似两大类。
3.1 精确推理
3.1.1 变量消元法
变量消元法通过逐步求和（消除）不需要的变量来计算目标概率。它相当于在一场数学魔术中，用代数方法把不相关的变量“变消失”。当网络节点数较少时，效率不错；但网络规模大时，中间因子可能膨胀。
3.1.2 团树传播算法
团树传播（Clique Tree Propagation） 先将贝叶斯网络转换为一种树状的团结构（团树），然后在团之间传递消息。它支持一次计算得到所有节点的边际概率，类似信息在朋友圈里层层转发，最终人人都能看到总览。该算法是精确推理的标准工具。
3.2 近似推理
当网络节点多或条件概率表复杂时，精确推理可能计算量过大，转而求诸近似方法。
3.2.1 重要性采样
重要性采样从某个提议分布中采样，并对每个样本赋予一个权重（重要性系数）来估计目标概率。它有点像投票模拟：找一个容易抽样的“代理分布”，然后用权重校正偏差。若提议分布与目标分布差得远，样本权重可能波动极大。
3.2.2 吉布斯采样
吉布斯采样是一种马尔可夫链蒙特卡洛方法，依次对每个变量在给定其他变量当前值的情况下进行采样。它像个“社交恐惧症患者”在聚会中逐一问候每个人：每次只更新一个变量，但最终所有变量都能收敛到联合分布。实现简单，但收敛速度可能较慢。
3.2.3 变分推断
变分推断用一族简单的分布去近似复杂的目标后验，通过优化KL散度获得近似解。它把推理问题转化为优化问题，速度较快，适合大规模数据。代价是近似结果可能有偏，但“近似总比没有好”。
4 典型应用
4.1 医疗诊断
贝叶斯网络被广泛用于疾病诊断系统，如“快速内科专家”（QMR）。节点代表症状、疾病和检测结果，医生输入观察到的症状，网络计算出各种疾病的概率。它不会像某些庸医一样一拍脑袋下结论，而是严谨地计算“感冒导致流鼻涕”的可能性。
4.2 语音识别（隐马尔可夫模型作为一种贝叶斯网络特例）
隐马尔可夫模型（HMM）是贝叶斯网络的一种特例，其结构是一条链：隐藏状态序列依赖于上一个状态，观测值只依赖于当前状态。HMM是语音识别的基石之一，它把“啊呜咦”这种声学信号转换为文本拼写，仿佛会解读人类的“外星语”。
4.3 推荐系统（概率图协同过滤）
在推荐系统中，贝叶斯网络可以建模用户、物品及其属性之间的依赖关系。例如，贝叶斯网络协同过滤利用用户对电影的评分，推断用户对未看过电影的偏好。它深谙“喜欢《泰坦尼克号》的人也喜欢《阿凡达》”这类关联，尽管卡梅隆的这两部电影主题截然不同。
4.4 故障诊断（如飞机引擎异常检测）
飞机引擎的多个传感器数据（温度、压力、振动等）可建模为贝叶斯网络，通过推理识别故障根源。当引擎“打个喷嚏”，贝叶斯网络能迅速判断是油路堵塞还是叶片疲劳。比某些“按一按、拍一拍”的修理方法靠谱得多。
5 扩展与关联模型
5.1 动态贝叶斯网络
动态贝叶斯网络（DBN）将时间维度引入基本模型，通过重复相同结构的“时间片”来建模时序数据。它允许每个时间片的节点从上一时间片继承依赖关系，同时保持内部结构。
5.1.1 隐马尔可夫模型
如4.2所述，HMM是DBN的特例，其隐藏状态构成一阶马尔可夫链。HMM擅长处理序列数据，从语音到基因序列无所不包。
5.1.2 卡尔曼滤波器
卡尔曼滤波器是DBN在连续状态、线性高斯情况下的精确推理算法。它广泛应用于导航、跟踪和控制系统，能够从带噪声的观测中估计连续系统状态。比如你的手机导航应用里的“定位修正”就少不了它的功劳。
5.2 因果贝叶斯网络（Do-演算）
因果贝叶斯网络通过引入干预（do-算子） 来区分“观察”与“操作”。例如，观察“某人吸烟”与强制“让某人吸烟”对肺癌的影响可能不同。珍妮·珀尔（Judea Pearl）的Do-演算为因果推断提供了形式化工具，使贝叶斯网络不仅能表达“是什么”，还能回答“如果怎样”的问题。它让网络从“八卦”升级为“科学算命”。
5.3 概率专家系统（继承贝叶斯网络的“八卦”精神）
概率专家系统将贝叶斯网络嵌入到推理引擎中，用于辅助决策。它们擅长综合零散证据，给出概率化建议，就像一位知识渊博又谨慎的顾问。但与传统的确定性专家系统不同，贝叶斯网络从不打包票，只会说“根据现有证据，有70%的把握”――这正是其“八卦”精神的体现：结合传闻与数据，给出靠谱的猜测。
6 常见误区与趣闻
6.1 “贝叶斯网络是算命的吗？”——不，它只是虔诚地相信条件概率
贝叶斯网络虽然能给出概率，但它的结论严格基于数据、图结构和概率公式，而非水晶球或塔罗牌。它相信的不是命运，而是数学；“算”的命也只是条件概率，而非宿命。
6.2 名字里的“贝叶斯”：托马斯·贝叶斯本人并没有画过一张图
贝叶斯网络虽以托马斯·贝叶斯命名，但这位18世纪的英国牧师仅提出了贝叶斯定理，从未画过有向图。现代贝叶斯网络是统计学家与计算机科学家在20世纪80年代合作发展的成果。贝叶斯若看到今天“自己的网络”，大概会谦虚地认为这是“集体智慧的结晶”。
6.3 网络≠互联网：它的“节点”不会掉线，但可能独立
这里的“网络”指概率图，而非互联网。贝叶斯网络中的节点是随机变量，它们不会因为Wi-Fi信号差而失联，但可能由于条件独立性而相互“断绝关系”。如果你听到有人说“贝叶斯网络又崩了”，那多半是它的推理算法在崩溃，而不是你的浏览器。