1 基本概念
鞅差序列是概率论中描述“在已知过去信息条件下,没有系统性可预测偏差”的随机序列。它通常与滤过一起讨论,用来刻画逐步累积的随机波动。与独立同分布序列相比,鞅差序列允许相邻项之间存在复杂依赖,但仍保留条件均值为零这一核心特征,因此在极限定理、随机过程分析和统计推断中十分常见。
1.1 定义
鞅差序列的定义建立在滤过和条件期望之上。直观地说,它要求每一项在给定前面信息后,其平均增量为零。
1.1.1 过滤与适应性
设有一列递增的σ-代数 \(\{\mathcal F_n\}\),称为滤过。随机变量序列 \(\{X_n\}\) 若满足每个 \(X_n\) 都对 \(\mathcal F_n\) 可测,则称其对该滤过适应。适应性表示第 \(n\) 项只依赖于截至时刻 \(n\) 的信息,而不使用未来信息。
1.1.2 条件期望为零
若 \(\{X_n\}\) 对滤过 \(\{\mathcal F_n\}\) 适应,并且满足 \[ E[X_n \mid \mathcal F_{n-1}] = 0, \] 则称 \(\{X_n\}\) 为鞅差序列。这里的条件期望为零,意味着在已知过去的情况下,当前项的平均偏移消失。
1.2 与鞅的关系
鞅差序列与鞅密切相关,常被视为鞅的“增量部分”。许多鞅结果可以通过对增量的分析转化为鞅差序列的性质。
1.2.1 鞅增量的形式
若 \(\{M_n\}\) 是鞅,则其增量 \[ X_n = M_n - M_{n-1} \] 通常构成鞅差序列,因为 \[ E[X_n \mid \mathcal F_{n-1}] = E[M_n - M_{n-1} \mid \mathcal F_{n-1}] = 0. \] 因此,鞅可以看作由一系列零条件均值的增量逐步叠加而成。
1.2.2 从鞅到鞅差序列
反过来,若给定鞅差序列 \(\{X_n\}\),令 \[ M_n = \sum_{k=1}^n X_k, \] 则 \(\{M_n\}\) 构成鞅。也就是说,鞅差序列与鞅之间可以通过“求和”和“取差”相互转换。
1.3 常见记号与表述
在不同文献中,鞅差序列的写法并不完全一致,但核心含义基本相同,即“相对于过去信息的条件均值为零”。
1.3.1 离散时间情形
在离散时间下,常写作 \(\{X_n, \mathcal F_n\}\) 满足 \(E[X_n\mid \mathcal F_{n-1}]=0\)。有时也会直接写成“\(\{X_n\}\) 是关于 \(\{\mathcal F_n\}\) 的鞅差序列”,默认其适应性已成立。
1.3.2 向量值与标量值情形
鞅差序列既可以是标量随机变量序列,也可以是向量随机变量序列。标量情形主要讨论数值和、方差与尾概率;向量情形则更关注协方差矩阵、各分量之间的耦合关系,以及多维极限定理中的行为。
2 性质
鞅差序列最重要的性质是去偏性,即条件期望为零。这一特征带来了一系列有用结论,如无条件均值为零、不同时间项之间的某些正交关系,以及在矩条件下可开展的收敛分析。
2.1 平均零与去偏特征
鞅差序列的“无偏”并不只是直观说法,而是由条件期望严格定义的。
2.1.1 无条件期望
| 若 \(E | X_n | <\infty\),则由塔式性质可得 |
|---|
\[ E[X_n] = E(E[X_n\mid \mathcal F_{n-1}]) = 0. \] 因此,每一项在总体平均意义下也为零。这并不意味着样本路径没有波动,而是长期平均没有固定方向上的偏移。
2.1.2 条件独立与非独立情形
鞅差序列不要求独立。相反,很多有用的模型正是因为存在依赖结构,才需要借助鞅差工具来分析。即便各项并非独立,只要条件均值为零,很多极限定理仍然可以成立。若进一步满足条件独立,则分析通常更接近经典独立随机变量理论。
2.2 正交性与协方差结构
鞅差序列在二阶矩意义下常具有某种“正交”特征,这使得累积和的方差分解较为简洁。
2.2.1 二阶矩性质
若 \(\{X_n\}\) 为鞅差序列且 \(E[X_n^2]<\infty\),则对 \(i<j\) 往往有 \[ E[X_iX_j]=0, \] 在适当可积条件下可成立。由此,部分和的方差可写成各项方差之和,这一点与独立情形十分相似。
2.2.2 相邻项相关性
尽管鞅差序列在二阶意义下呈现正交性,但相邻项仍可能通过滤过产生复杂依赖。也就是说,前一项与后一项未必独立,只是后一项在给定过去信息后没有可预测的线性偏差。因而,它比独立序列更灵活,也更能反映现实中的动态变化。
2.3 可积性与矩条件
不同的应用场景会要求不同阶数的矩存在性。矩条件越强,可得到的结论通常越精细。
2.3.1 一阶可积
| 若 \(E | X_n | <\infty\),则条件期望和无条件期望都具有良好定义。这是讨论鞅差序列最基本的可积要求,也是许多基础定理的前提。 |
|---|
2.3.2 二阶可积与方差有限
若 \(E[X_n^2]<\infty\),则可以研究方差、协方差以及均方收敛等问题。二阶可积性在证明中心极限定理、建立最大不等式和控制误差累积时尤为重要。
3 典型例子
鞅差序列并非抽象到只能停留在理论层面。许多经典随机模型和实际统计问题,都能自然地产生鞅差结构。
3.1 独立中心化随机变量序列
最简单的例子来自独立随机变量经过中心化后的序列。
3.1.1 零均值独立序列
若 \(\{Y_n\}\) 相互独立且 \(E[Y_n]=0\),则在自然滤过下,\(\{Y_n\}\) 就是鞅差序列。因为过去信息不会改变当前变量的平均值,所以条件期望仍为零。
3.1.2 标准化后的随机误差
在统计模型中,观测值往往由信号和误差组成。若将误差项减去其条件均值,得到的残差序列常表现为鞅差序列。这种标准化处理有助于分离系统结构与随机波动。
3.2 随机游走增量
随机游走是鞅差序列最直观的来源之一。
3.2.1 对称步进模型
在对称随机游走中,每一步向左或向右的概率相等,增量的条件均值为零。于是,每一步本身构成鞅差序列,而位置过程则是这些增量的累积和。
3.2.2 偏移项的消除
若原始随机游走带有某种固定漂移,可以通过减去漂移项将其转化为零均值增量。这样处理后,剩余部分更便于运用鞅工具分析波动规律和极限性质。
3.3 回归与残差分解
3.3.1 估计误差序列
参数估计过程中,估计值与真实值之间的差异可分解为一系列随机误差的累积。若这些误差对历史信息条件均值为零,则可用鞅差序列刻画其渐近性质。
3.3.2 预测残差序列
在时间序列预测中,若某一时刻的预测误差在给定过去后没有系统偏向,则残差序列可视为鞅差序列。它常被用来检验模型是否充分吸收了可预测信息。
4 重要定理
围绕鞅差序列,概率论建立了大量极限定理。它们说明:在适当条件下,零条件均值的局部波动会表现出类似独立随机变量的整体规律。
4.1 大数定律相关结果
大数定律描述部分和的平均行为。对于鞅差序列,只要满足合适的矩条件,也可以获得类似结论。
4.1.1 弱大数定律
在一定可积条件和增长控制下,鞅差序列的平均值往往依概率收敛到零。其含义是:虽然单项波动存在,但当样本量增大时,平均偏差会逐渐消失。
4.1.2 强大数定律
更强的结果表明,在更严格的条件下,部分和除以 \(n\) 可几乎处处收敛到零。该结论常依赖方差控制、矩条件或截断技术,是研究长期稳定性的基础工具。
4.2 中心极限定理
中心极限定理揭示鞅差序列部分和的渐近正态性,是其最重要的应用之一。
4.2.1 Lindeberg型条件
在鞅差情形下,若满足类似 Lindeberg 条件的“小项主导”要求,则标准化后的部分和往往收敛到正态分布。其核心思想是避免少数大项主导整体波动。
4.2.2 Lyapunov型条件
若高阶矩存在,并且相应比率趋于零,则可得到 Lyapunov 型中心极限定理。该条件通常比 Lindeberg 条件更易验证,特别适合具有较好矩性质的模型。
4.3 收敛性定理
鞅差序列的收敛结论既包括概率收敛,也包括几乎处处收敛和 \(L^p\) 收敛。
4.3.1 依概率收敛
当部分和经过适当归一化后,若尾部波动逐渐减弱,则可得到依概率收敛。此类结果常作为更强收敛形式的前奏。
4.3.2 几乎处处收敛
在更严格条件下,鞅差序列的部分和或其变换可几乎处处收敛。这类结论通常依赖最大不等式、可控增量和某些可和条件。
4.3.3 Lp收敛
若在 \(p\) 阶矩下误差能够被充分控制,则可讨论 \(L^p\) 收敛。它不仅要求随机变量逐点稳定,还要求整体波动在平均意义下趋于消失。
5 常用不等式
分析鞅差序列时,不等式工具非常关键。它们常用于估计极大值、控制尾部概率和建立矩界。
5.1 Doob型思想的辅助工具
Doob型方法的核心在于从部分和的结构出发,控制其最大波动。
5.1.1 最大不等式
最大不等式用于估计部分和在整个时间区间上的最大值。它在证明收敛、控制极端波动和处理停止时刻问题时非常有用。
5.1.2 截断技巧
当随机变量可能取大值时,常先将其分解为“截断部分”和“尾部部分”。这种技巧可将难以直接处理的重尾问题转化为可控的有界情形,再分别估计两部分影响。
5.2 Burkholder类不等式
Burkholder类不等式专门处理鞅及其差序列的 \(L^p\) 估计,在现代概率中占有重要地位。
5.2.1 二阶估计
在二阶情形下,鞅差序列部分和的平方可与条件方差过程建立紧密联系。这使得均方误差和方差累积之间的关系变得清晰。
5.2.2 高阶矩估计
对于 \(p>2\) 的高阶矩,Burkholder类不等式可提供上界和下界估计,帮助刻画极值行为、尾部衰减以及更精细的收敛速度。
5.3 Azuma-Hoeffding不等式
当鞅差序列具有有界增量时,可获得强有力的指数型尾界。
5.3.1 有界差分条件
若每一项的变化幅度受限,即增量绝对值不超过某个常数,则适合使用 Azuma-Hoeffding 不等式。这一条件在组合概率和算法分析中尤其常见。
5.3.2 尾概率界
该不等式给出部分和偏离均值的指数衰减上界。它说明:即便随机波动不可避免,只要每步变动有界,大偏差事件仍然较少发生。
6 构造方法
鞅差序列并不总是直接给出,很多时候需要从原始问题中提炼出零条件均值结构。
6.1 由条件期望构造
通过条件期望可以把原序列拆成“可预测部分”和“不可预测部分”。
6.1.1 观测更新序列
在逐步观测的模型中,每次新增信息都可对应一个更新量。若从观测值中减去基于过去信息的最佳预测,剩余更新通常形成鞅差序列。
6.1.2 误差修正项
某些递推关系中,系统会引入修正项来抵消偏差。将观测值与修正项配对后,差异部分往往满足条件均值为零,从而适合鞅分析。
6.2 由鞅分解获得
许多随机过程可分解成可预测部分与鞅差部分,后者正是研究重点。
6.2.1 累积和分解
若一个过程可以写成趋势项加随机扰动项,则扰动项常可进一步整理为鞅差序列。这样,复杂演化就被拆成确定性与随机性两部分,便于分别处理。
6.2.2 投影方法
投影方法利用条件期望将随机变量投影到过去信息生成的空间上。原变量减去该投影后,得到的残差常具有鞅差性质,因此这种方法是构造鞅差序列的重要途径。
6.3 由中心化处理获得
中心化是最直接的去偏方式。
6.3.1 去均值变换
对一般随机变量减去其均值,可以得到零均值序列。在独立或适应条件合适时,这种去均值处理即可产生鞅差序列。
6.3.2 条件中心化
比单纯去均值更一般的是按过去信息做条件中心化,即减去条件期望。这样得到的序列天然满足鞅差定义,能更准确地反映“不可预测部分”。
7 应用
鞅差序列在理论概率、统计推断和随机计算中都有广泛用途。其共同点在于:许多问题都可化为对零条件均值误差的累积分析。
7.1 概率极限理论
在极限定理研究中,鞅差序列常作为独立序列的推广对象。
7.1.1 随机和的分析
对随机和进行分解后,鞅差结构使得方差、尾界和收敛速度更容易控制。因此,它在研究部分和行为、波动规模和渐近分布时非常有效。
7.1.2 渐近正态性
很多非独立模型的渐近正态结果,最终都可归结为鞅差序列的中心极限定理。这使其成为构造近似分布的重要桥梁。
7.2 统计学
统计模型中的误差和残差,常可借助鞅差序列表述。
7.2.1 参数估计
在参数估计中,估计方程的随机部分若满足鞅差条件,则可利用鞅极限定理研究估计量的一致性、渐近正态性和方差表达式。
7.2.2 假设检验中的误差控制
检验统计量在序列数据下可能累积依赖误差。将误差项视为鞅差序列后,可以更系统地控制第一类错误概率和统计量偏离程度。
7.3 随机算法与数值方法
许多随机迭代算法都包含一个“期望上无偏”的更新过程。
7.3.1 随机近似
随机近似算法中,每次更新通常由真实梯度或目标信息加上随机噪声组成。若噪声在条件期望下为零,则它可视作鞅差序列,从而便于分析算法稳定性。
7.3.2 迭代收敛分析
在数值迭代中,鞅差结构可用于分离系统性下降与随机扰动。借助不等式和收敛定理,常能证明算法在平均意义或几乎处处意义下收敛。
8 推广与变体
鞅差序列的概念可以推广到更复杂的阵列、连续时间过程和多维随机系统中。
8.1 鞅差阵列
当随机变量不仅按时间变化,还随另一个索引变化时,就会出现鞅差阵列。
8.1.1 非同分布情形
在许多实际问题中,各项随机变量并不同分布。鞅差阵列允许每一项具有不同分布和不同尺度,只要条件均值结构仍然成立即可。
8.1.2 三角阵列
三角阵列是鞅差阵列中常见的一类结构,常用于渐近分析。它适合描述样本规模增大时,逐层展开的随机项及其极限行为。
8.2 连续时间类比
在连续时间框架中,鞅差思想对应于鞅积分和随机微分方程中的随机增量。
8.2.1 鞅积分
鞅积分可看作连续时间的零条件均值随机累积。它在随机分析中扮演类似“连续增量鞅差”的角色,是布朗运动和一般鞅过程的重要工具。
8.2.2 随机微分方程中的增量
随机微分方程的解通常包含漂移项和随机扰动项。离散化后,随机扰动增量往往呈现鞅差特征,因此鞅差序列可用于理解连续模型的离散近似。
8.3 向量鞅差序列
当随机变量具有多个分量时,鞅差结构可自然推广到向量情形。
8.3.1 多维条件期望
向量鞅差序列要求每个分量或整个向量在条件意义下均值为零。这样不仅能研究单个方向上的波动,也能分析不同分量间的联动。
8.3.2 协方差矩阵分析
向量情形下,协方差矩阵比单一方差更能反映结构信息。通过分析条件协方差,可以刻画各分量的尺度、相关方向以及极限分布的形状。