1 基本概念
概率分布是用来描述随机变量在不同取值上出现可能性的数学表示。它把“可能发生什么”以及“各自有多大可能发生”用统一的方式表达出来，因此在概率论中处于基础地位。对于同一随机现象，若只关注结果是否出现，往往还不够；概率分布则进一步给出结果的整体结构与规律。
1.1 随机变量与分布
随机变量是把随机试验的结果映射为数值的函数，而分布则说明这些数值出现的概率如何分配。二者密切相关：随机变量提供研究对象，分布提供描述方法。通过分布，可以比较不同随机变量的行为差异，也可以据此建立模型。
1.1.1 离散随机变量
离散随机变量的取值是有限个或可数无限个，例如掷骰子的点数、一天内来访人数等。此类变量的概率通常集中在若干个明确的点上，每个点对应一个具体概率。分析离散随机变量时，常通过逐点列出其可能取值及对应概率来刻画其分布。
1.1.2 连续随机变量
连续随机变量的取值通常位于一个区间内，如身高、时间、温度等。由于单个精确值的概率一般为零，研究时更关注某一区间内取值的概率。连续随机变量的分布往往通过密度函数来描述，反映其在数轴上的“集中”或“分散”程度。
1.2 分布函数
分布函数是概率分布的统一表达形式之一，适用于离散型、连续型以及更一般的情形。它描述随机变量小于或等于某一给定值时的累积概率，因此能够从整体上反映分布的形状和范围。
1.2.1 累积分布函数
累积分布函数通常记为 \(F(x)\)，表示随机变量不大于 \(x\) 的概率。随着 \(x\) 增大，累积概率不会减少，因此该函数具有单调递增特征。它是研究分布的重要工具，也常用于推导其他分布性质。
1.2.2 概率质量函数
概率质量函数用于离散随机变量，给出每个可能取值对应的概率。若随机变量取某一点的概率可以直接写出，就可通过概率质量函数完整描述其分布。它的数值非负，且对所有可能取值求和应等于1。
1.2.3 概率密度函数
概率密度函数主要用于连续随机变量，表示概率在数轴上的分布密集程度。密度值本身不是某点概率，而是区间概率的计算基础。连续分布中，概率通常通过对密度函数在区间上积分得到。
1.3 分布的基本性质
概率分布无论形式如何，都必须满足若干基本条件。这些性质保证了分布能够合理地表示随机现象，并与概率的公理体系相一致。
1.3.1 非负性
概率不能为负，因此分布中的各项概率、以及密度函数在定义域上的取值都应满足非负要求。非负性体现了“可能性”这一概念的基本直觉，也避免了不符合实际解释的情形。
1.3.2 归一性
分布的总概率应当等于1，即所有可能结果加总后构成完整的概率空间。对于离散分布，这表现为概率之和为1；对于连续分布，则表现为密度函数在全域上的积分为1。归一性确保分布覆盖了全部可能情况。
1.3.3 单调性
累积分布函数具有单调不减性质，意味着随着阈值上升，随机变量不超过该阈值的概率不会下降。这一性质常用于验证分布函数是否合法，也便于进行比较和推导。
2 概率分布的分类
按照取值方式和描述形式，概率分布通常分为离散型、连续型和混合型三类。不同类别对应不同的数学工具，也适用于不同类型的数据和随机过程。
2.1 离散型分布
离散型分布用于描述有限或可数结果的随机现象。这类分布往往可以直接列举取值及概率，因而在计数问题中十分常见。
2.1.1 伯努利分布
伯努利分布描述只有两种结果的随机试验，例如成功与失败、通过与不通过。它通常由一个参数表示“成功”的概率，是许多更复杂分布的基础模型。
2.1.2 二项分布
二项分布用于刻画多次独立伯努利试验中成功次数的分布。它适合分析重复实验、合格品数量或某类事件发生次数等问题。其参数通常包括试验次数和单次成功概率。
2.1.3 泊松分布
泊松分布常用于描述固定时间或空间范围内事件发生次数，如单位时间内的到达数、故障数等。它适用于稀有事件或随机到达过程的近似建模，具有较强的应用广度。
2.2 连续型分布
连续型分布用于描述连续变量的概率结构，常通过密度曲线表现其集中程度和变化趋势。它们在自然科学、工程测量和统计分析中都非常常见。
2.2.1 均匀分布
均匀分布表示在给定区间内各点的“相对可能性”相同。它常作为最简单的连续分布之一，用来描述没有偏向的随机选择过程，也常用于模拟和随机数生成的理论基础。
2.2.2 正态分布
正态分布是最重要的连续分布之一，曲线呈对称钟形。许多自然测量值在一定条件下近似服从正态分布，因此它在统计学中具有中心地位。均值和方差通常决定其位置与分散程度。
2.2.3 指数分布
指数分布常用于描述等待时间或寿命时间等非负随机变量。它具有无记忆性质，即未来等待时间与已经等待的时间无关，这一特点使其在排队与可靠性分析中很有价值。
2.3 混合型分布
混合型分布同时包含离散与连续成分，适合描述更复杂的随机结构。它们常出现在分段机制、零膨胀数据或带有点质量与连续波动并存的模型中。
2.3.1 组合结构
混合型分布通常由若干分量按权重组合而成，其中一部分概率集中在特定点上，另一部分分布在连续区间上。这种结构能较好地反映实际数据中的“堆积点”与连续变化并存的现象。
2.3.2 应用场景
混合型分布常见于保险赔付、设备失效时间、消费金额等数据分析中。它们能处理“零值很多”或“部分观测离散、部分观测连续”的情况，因此在建模时颇为实用。
3 常见分布
除最基础的几类分布外，还有一些在统计推断和随机过程研究中经常出现的经典分布。它们多具有明确的参数解释和成熟的理论性质。
3.1 基础离散分布
基础离散分布主要用于计数、等待次数和抽样问题，具有直观的概率结构和较强的可解释性。
3.1.1 几何分布
几何分布描述首次成功前所经历的试验次数，适用于重复独立试验的等待问题。它与伯努利试验紧密相关，具有无记忆特征的离散对应形式。
3.1.2 负二项分布
负二项分布可视为几何分布的推广，描述达到固定成功次数前失败的次数或总试验次数。它适用于成功概率稳定但需要重复试验的场景。
3.1.3 超几何分布
超几何分布用于有限总体中不放回抽样的成功数问题。与二项分布不同，它反映抽样之间的依赖关系，因此更适合描述抽检、抽签等情形。
3.2 基础连续分布
基础连续分布覆盖了许多常见的随机量形态，在统计建模、推断和分布族构造中占据重要位置。
3.2.1 伽马分布
伽马分布常用于表示多个指数型等待时间之和，因此在寿命分析和排队理论中应用广泛。它具有较强的可塑性，可通过参数变化呈现不同的偏斜程度。
3.2.2 贝塔分布
贝塔分布定义在有限区间内，常用于表示比例、概率或成功率的不确定性。由于形状灵活，它常作为先验分布出现在贝叶斯分析中。
3.2.3 卡方分布
卡方分布常与正态样本平方和相关，广泛用于方差分析、拟合优度检验和统计推断。它是许多经典统计检验方法的基础分布之一。
3.3 特殊分布
特殊分布往往具有较强的理论意义或独特的性质，虽不如正态分布常见，但在特定分析中十分重要。
3.3.1 柯西分布
柯西分布的尾部较重，典型地缺乏有限均值和方差。它在理论研究中常被用来说明“极端值影响很强”的情形，也能作为反例展示某些统计量的局限。
3.3.2 朗伯特分布
朗伯特分布在部分文献中用于描述具有特定变换结构的随机变量，常与非线性变换和尾部建模有关。由于定义和命名在不同语境下并不完全一致，实际使用时需要结合具体文献说明。
3.3.3 其他特殊形式
除上述分布外，还存在许多专门针对工程、金融、物理或生物数据设计的分布形式，如对数正态分布、威布尔分布等。它们通常通过参数化方式来适配不同数据特征。
4 分布的参数与特征
概率分布通常由若干参数控制，这些参数决定分布在位置、宽窄和形状上的变化。理解参数有助于解释模型含义，并提升分布拟合的可读性。
4.1 位置参数
位置参数决定分布在数轴上的整体落点，反映随机变量集中在哪一带。改变位置参数，往往会使整个分布图像发生平移。
4.1.1 平移效应
当位置参数增加或减少时，分布整体向右或向左移动，而形状保持基本不变。这个效应在建模中很直观，常用来调整中心水平。
4.1.2 中心位置
中心位置通常指分布的代表性水平，如均值、中位数或众数附近。不同分布对“中心”的定义可能不同，但都表达了数据大致聚集的区域。
4.2 尺度参数
尺度参数控制分布的展开程度，决定变量波动的范围大小。它常影响曲线的“宽窄”，并与单位换算密切相关。
4.2.1 离散程度
尺度越大，分布通常越分散；尺度越小，分布则更集中。这个参数可帮助比较不同随机变量的变动幅度。
4.2.2 缩放效应
对随机变量进行倍数变换时，分布常随之按比例伸缩。尺度参数正是这种缩放关系的数学表达，因此在不同量纲之间的比较中很重要。
4.3 形状参数
形状参数影响分布曲线的偏斜、尖峭程度和尾部厚度。它们决定了分布不仅“在哪里”，还“长什么样”。
4.3.1 偏度
偏度描述分布是否左右不对称，以及不对称的方向和程度。正偏度意味着右尾较长，负偏度则表示左尾较长。
4.3.2 峰度
峰度反映分布在中心附近的尖峭程度以及尾部的厚重程度。峰度较高的分布往往更集中于中心，同时更可能出现极端值。
4.3.3 尾部特征
尾部特征指分布远离中心区域时概率衰减的快慢。重尾分布更容易产生大偏离，轻尾分布则对极端值更不敏感。
5 统计量与矩
统计量与矩是刻画概率分布的重要数值特征，能够把分布的整体性质浓缩为少量可计算的指标。它们在估计、比较和推断中极为常用。
5.1 期望
期望表示随机变量的平均水平，是最核心的统计量之一。它给出长期重复观察下的平均结果，也常被视作分布的“重心”。
5.1.1 定义
期望可理解为按概率加权的平均值。离散情形中是各取值与其概率的加权和，连续情形中则对应对变量乘以密度后的积分。
5.1.2 计算方法
计算期望时，需要根据分布类型选用求和或积分。对于复杂分布，也可借助变换、分解或已知性质进行简化。
5.2 方差
方差衡量随机变量围绕期望的波动程度，是描述离散性的标准指标。它越大，说明分布越分散；越小，则表示数值更集中。
5.2.1 离散程度衡量
方差通过考察各取值偏离平均值的平方来反映波动大小。由于采用平方处理，它对较大偏差更敏感。
5.2.2 常见公式
方差常可写成“平方期望减去期望平方”的形式，便于实际计算。许多经典分布都有标准方差公式，可直接用于分析和估计。
5.3 高阶矩
高阶矩用于描述比均值和方差更细致的分布特征，如偏斜程度、峰态以及整体形状变化。它们在理论研究和模型识别中很有价值。
5.3.1 偏度矩
偏度矩与分布的不对称程度相关，能够量化左偏或右偏的方向。它常通过三阶中心矩标准化得到。
5.3.2 峰度矩
峰度矩主要反映分布的尖峭性和尾部行为，通常由四阶中心矩导出。它有助于区分“尖峰厚尾”和“平坦薄尾”等不同形态。
5.3.3 矩母函数
矩母函数是一种生成分布各阶矩的工具，通过函数展开即可获得期望、方差及更高阶矩。若矩母函数存在，通常可较方便地研究分布的多个性质。
6 分布之间的关系
概率分布并非彼此孤立，许多分布之间存在极限、变换和组合关系。通过这些联系，可以从简单模型推导复杂模型，也能理解不同分布为何会在现实中相互转换。
6.1 极限定理
极限定理说明大量随机因素叠加后常呈现稳定规律，是概率论连接微观随机与宏观规律的重要桥梁。
6.1.1 中心极限定理
中心极限定理指出，在适当条件下，大量独立同分布随机变量的和经过标准化后，会趋近于正态分布。这一结论解释了正态分布在自然与统计中的普遍性。
6.1.2 大数定律
大数定律表明，当重复试验次数增多时，样本平均通常会稳定地接近总体平均。它为频率与概率的联系提供了理论基础。
6.2 变换与组合
通过线性运算、求和或条件约束，一个分布可以转化为另一个分布，或形成新的分布结构。这类关系在推导和建模中非常常见。
6.2.1 线性变换
对随机变量进行加常数或乘常数等线性变换，会引起分布位置和尺度的变化。许多分布在这种变换下仍保持同类结构，便于分析。
6.2.2 卷积分布
两个独立随机变量相加后的分布通常可由卷积得到。卷积是研究总和、误差叠加和随机系统输出的基本方法。
6.2.3 条件分布
条件分布描述在已知某些事件或变量取值的情况下，另一个随机变量的分布变化。它是分层建模和相关分析的重要工具。
6.3 收敛性质
收敛性质描述一列随机变量或分布在某种意义下逐渐接近某一极限对象的过程，是现代概率理论的重要内容。
6.3.1 依分布收敛
依分布收敛强调随机变量的分布形状趋于某个极限，而不要求逐点接近。它常用于极限定理和渐近分析。
6.3.2 依概率收敛
依概率收敛表示随机变量越来越接近某个常数或随机变量，在概率意义下偏离目标的可能性趋于零。它比依分布收敛更强。
6.3.3 几乎处处收敛
几乎处处收敛是更强的收敛形式，指随机变量序列在几乎所有样本点上都收敛。该概念在严格理论讨论中具有重要地位。
7 相关概念
研究单个随机变量之外，还常需要考虑多个随机变量之间的共同分布、相互关系及样本表现。这些概念构成了多变量概率分析的基础。
7.1 联合分布
联合分布描述多个随机变量同时取值时的概率结构，能够揭示变量之间是否存在关联，以及这种关联如何体现。
7.1.1 边缘分布
边缘分布是从联合分布中“抽出”某一个变量后得到的单变量分布。它反映在不考虑其他变量时，该变量自身的概率特征。
7.1.2 条件分布
条件分布是在其他变量已知情况下，某一变量的分布。它常用于理解依赖关系，并在决策、预测和贝叶斯分析中广泛出现。
7.1.3 独立性
若两个随机变量的联合分布可分解为各自边缘分布的乘积，则称它们独立。独立性简化了概率计算，也是理论分析中的关键假设之一。
7.2 多元分布
多元分布用于同时描述多个随机变量的联合行为，尤其适合研究协同变化、相关性和整体结构。
7.2.1 协方差矩阵
协方差矩阵记录多元随机变量两两之间的协方差信息，能够概括变量之间的线性相关程度。它是多元统计分析中最常用的结构之一。
7.2.2 联合密度
对于连续型多元随机变量，联合密度函数给出其在多维空间中的概率分布方式。通过对相应区域积分，可计算变量同时落入该区域的概率。
7.2.3 多元正态分布
多元正态分布是正态分布在多维情形下的推广，具有良好的数学性质。它在回归分析、信号处理和协方差建模中非常常见。
7.3 经验分布
经验分布来自实际样本，是对总体分布的观测性估计。它直接反映样本数据中各取值或区间的出现情况。
7.3.1 样本分布
样本分布体现了观测数据本身的数值结构，常用于描述数据的集中、离散和偏斜情况。它并不等同于总体分布，但可以作为其近似。
7.3.2 频率解释
频率解释强调在大量重复观察中，某事件出现的相对频率会趋近其概率。经验分布正是这种思想在数据分析中的具体体现。
8 应用领域
概率分布不仅是理论对象，也广泛服务于统计分析、系统建模和数据科学任务。它为处理不确定性提供了统一语言。
8.1 统计推断
统计推断依赖概率分布来从样本反推总体特征，是现代统计学的核心任务之一。
8.1.1 参数估计
参数估计通过样本数据推断分布中的未知参数，如均值、方差或成功概率。估计结果的可靠性通常与样本量和分布假设有关。
8.1.2 假设检验
假设检验借助分布理论判断数据是否支持某种假设。检验统计量往往具有已知分布，因此可以据此计算显著性水平和拒绝域。
8.2 随机建模
随机建模把现实系统中的不确定环节抽象为概率分布，从而便于分析、预测和优化。
8.2.1 排队论
排队论研究顾客到达、服务时间和等待过程，常采用泊松分布、指数分布等刻画随机到达与服务机制。它在交通、通信和服务系统中应用广泛。
8.2.2 可靠性分析
可靠性分析关注设备或系统在一定时间内正常工作的概率，常使用寿命分布和失效分布进行建模。它有助于评估维护周期和故障风险。
8.3 数据科学
在数据科学中，概率分布用于建立数据生成假设、处理噪声并支持算法设计。它是理解数据结构与不确定性的基础工具。
8.3.1 概率建模
概率建模通过假设数据服从某种分布来描述数据生成过程。合理的分布假设可以提升拟合效果，也有助于解释异常值和波动来源。
8.3.2 机器学习中的分布假设
许多机器学习方法默认数据或误差项满足特定分布条件，例如正态误差、伯努利标签或类别分布。分布假设影响模型训练、损失函数选择及预测结果的解释方式。