1 基本定义与组成
随机过程是由一族随机变量构成的数学对象，通常用来描述某个系统在时间、空间或其他参数变化下的随机演化。与单个随机变量只刻画某一时刻或某一状态不同，随机过程强调“整体随参数推进而变化”的结构，因此既能反映瞬时不确定性，也能呈现长期依赖、波动和演化规律。
1.1 随机过程的定义
一般地，随机过程可以表示为定义在同一概率空间上的随机变量族 \(\{X_t, t \in T\}\)，其中 \(T\) 为参数集。对每一个固定的参数 \(t\)，\(X_t\) 是一个随机变量；而当 \(t\) 改变时，整个族共同描述一个随机现象的发展过程。
从建模角度看，随机过程并不要求每一步都可预测，但要求其统计规律能够被描述和分析。例如，某一设备的寿命演化、一次通信信号的噪声波动，都可以用随机过程来抽象。
1.2 参数集与状态空间
参数集 \(T\) 用来标记过程发生的“时刻”或“位置”，常见形式包括离散集合和连续区间。若参数代表时间，通常写成 \(T=\{0,1,2,\dots\}\) 或 \(T=[0,\infty)\)。
状态空间则是随机变量可能取值的集合，记为 \(S\)。它可以是有限集合、可数集合，也可以是实数空间或更一般的度量空间。参数集决定“沿什么维度变化”，状态空间决定“变化到哪里去”，两者共同构成随机过程的基本框架。
1.3 样本空间与样本路径
对固定的一个样本点 \(\omega\)，过程 \(\{X_t(\omega)\}\) 随参数 \(t\) 变化形成一条具体轨迹，称为样本路径或轨道。样本路径从“整体随机族”中抽出一条确定曲线，因此它是随机过程直观形态的重要体现。
从另一角度看，随机过程也可以视为从样本空间到路径空间的映射。不同样本点对应不同路径，这些路径的形状、连续性、跳跃性和波动幅度，往往反映了过程的重要性质。
1.4 随机过程的表示方式
随机过程既可以通过其全部有限维分布来定义，也可以用函数族的形式来表达。不同表示侧重不同：分布表示更强调统计结构，函数族表示更强调路径与参数依赖。
1.4.1 联合分布表示
随机过程可由任意有限多个时刻上的联合分布所刻画。也就是说，只要知道对任意 \(t_1,\dots,t_n\) 的联合分布，就能在概率意义上确定该过程的基本特征。
这种表示方式特别适合讨论平稳性、马尔可夫性和极限定理等问题，因为这些性质往往直接涉及多个时刻之间的相关结构。
1.4.2 函数族表示
在函数族表示中，随机过程被看作参数到随机变量的映射族。此时更关注过程的路径行为，例如是否连续、是否分段常数、是否具有可测性等。
这种观点在随机分析和数值模拟中很常见，因为实际计算往往要处理具体路径，而不只是抽象分布。
2 分类与类型
随机过程的类型很多，常按参数集、状态空间和依赖结构分类。不同分类方式对应不同研究重点，也决定了过程的典型性质和适用场景。
2.1 按参数集分类
参数集的离散或连续，直接影响过程的结构复杂度和分析工具。离散参数常对应按步推进的系统，连续参数则更适合描述连续演化。
2.1.1 离散时间随机过程
离散时间随机过程的参数集通常是整数集合，如 \(\{0,1,2,\dots\}\)。这类过程以“步”为单位变化，适用于库存、队列、代际变化等场景。
由于时刻可逐个枚举，离散时间过程在递推关系、差分方程和算法实现上往往更方便。
2.1.2 连续时间随机过程
连续时间随机过程的参数集通常是实数区间，如 \([0,\infty)\)。它适用于现象在任意时刻都可能变化的情形，例如信号波动、粒子运动和连续监测系统。
连续时间过程通常需要借助极限、微分或积分工具来描述，因此理论上更精细，分析上也更具挑战。
2.2 按状态空间分类
状态空间反映过程取值的类型。不同状态结构会影响概率转移方式、极限行为和表示技巧。
2.2.1 离散状态随机过程
若状态空间是有限或可数集合，则称为离散状态随机过程。此类过程常见于马尔可夫链、分枝模型、排队系统中的顾客数变化等。
离散状态过程的优点是结构清晰，便于枚举状态并建立转移关系。
2.2.2 连续状态随机过程
若状态空间包含连续区间或欧氏空间中的点，则称为连续状态随机过程。布朗运动、随机微分方程解、某些金融价格模型都属于这一类。
连续状态过程通常与测度论、微积分和随机分析结合更紧密，路径性质也往往更复杂。
2.3 按依赖结构分类
除了参数和状态的形式，过程内部各时刻之间的依赖关系也是重要分类标准。
2.3.1 独立增量过程
若不相交时间区间上的增量相互独立，则称该过程具有独立增量性质。经典例子包括泊松过程和布朗运动。
这类过程便于分解和计算，常用于刻画累计随机变化。
2.3.2 马尔可夫过程
马尔可夫过程满足无后效性，即未来只依赖当前状态，而与过去细节无关。其结构以“状态转移”为核心，适合描述逐步演化系统。
这一性质使得过程可用转移核、生成元等工具系统分析。
2.3.3 平稳过程
平稳过程强调统计性质随时间平移保持不变。平稳性可以体现在严格分布意义上，也可以只体现在均值和协方差层面。
平稳过程在信号处理、时间序列分析和随机建模中占有重要地位，因为它便于提取稳定统计规律。
3 经典随机过程模型
随机过程理论中形成了若干具有代表性的经典模型。它们不仅是理论研究的基础，也广泛出现在应用场景中。
3.1 马尔可夫链
马尔可夫链是一类具有离散时间和离散状态的随机过程，其核心特征是当前状态决定下一步转移概率。它是研究随机演化最基础的模型之一。
3.1.1 转移概率
马尔可夫链中，从一个状态转移到另一个状态的概率称为转移概率。若将所有转移概率整理成矩阵，就得到转移矩阵，用于描述系统一步步演化的规则。
通过反复乘法可以研究多步转移行为，进而分析长期趋势、状态可达性和循环结构。
3.1.2 状态分类
马尔可夫链中的状态通常可分为可达状态、常返状态、瞬时状态等。不同分类反映了状态在长期运行中的地位。
某些状态可能被系统反复访问，而另一些状态只会短暂出现。状态分类有助于理解链的结构稳定性与演化方向。
3.1.3 平稳分布
若某个概率分布在转移作用下保持不变，则称为平稳分布。它描述了链在长期运行中的稳定状态比例。
平稳分布在许多实际模型中很重要，因为它能反映系统经过充分演化后的平均占比或长期频率。
3.2 泊松过程
泊松过程是描述随机到达事件的经典连续时间计数模型，常用于研究稀疏、独立、均匀发生的事件序列。
3.2.1 强度与到达间隔
泊松过程由强度参数刻画，强度越大，单位时间内事件发生的平均次数越多。相邻事件之间的到达间隔通常服从指数分布。
这种“间隔独立且具有无记忆性”的结构，使泊松过程成为随机到达建模的标准工具。
3.2.2 计数性质
泊松过程在任意时间区间内的事件数服从泊松分布，且不相交区间上的计数相互独立。这一性质使它在排队、通信和故障统计中极为常见。
此外，泊松过程的增量分布只与区间长度有关，体现了其典型的平稳增量特征。
3.3 布朗运动
布朗运动是连续时间、连续状态随机过程的代表，也是随机分析中的核心对象。它最初源于对粒子随机运动的观察，后来成为现代概率论的重要基础。
3.3.1 独立增量性质
布朗运动在不相交时间区间上的增量相互独立，且增量分布与时间长度相关。这使它具有明显的随机扩散特征。
独立增量性质为构造随机微分方程和连续时间模型提供了基本噪声源。
3.3.2 连续样本路径
布朗运动的样本路径几乎处处连续，但通常极其粗糙，不可微。它既不像跳跃过程那样突变，也不是平滑曲线，而是一种高度曲折的连续轨迹。
这种路径性质使其成为研究随机连续性和极限行为的典型例子。
3.3.3 高斯过程特征
布朗运动具有高斯过程性质，即任意有限多个时刻上的联合分布都是多元正态分布。其均值通常为零，协方差结构由时间参数决定。
高斯特征使布朗运动在理论推导和应用建模中都具有较强可处理性。
3.4 更新过程
更新过程描述一系列相继发生的事件，其间隔时间由独立同分布随机变量给出。它适合刻画设备更换、顾客到达、寿命轮换等累积事件。
3.4.1 首达时间
首达时间指过程首次达到某一状态或发生某一事件所需的时间。它是更新理论中的重要量，常用于可靠性和等待时间分析。
首达时间的分布能够揭示系统第一次触及目标状态的快慢。
3.4.2 更新方程
更新方程是描述更新过程演化的递推关系，常用于求解长期平均、分布函数和期望次数等量。
通过更新方程，可以把复杂的随机演化分解为若干相互联系的阶段，从而便于分析。
3.5 分枝过程
分枝过程用于描述群体按世代繁殖或扩散的随机演化，广泛见于生物种群、信息传播和树状结构建模。
3.5.1 世代演化
在典型分枝模型中，每一代个体独立地产生后代，下一代规模由当前代随机决定。其核心问题是群体是否持续增长、稳定或消亡。
这一模型具有清晰的层次结构，便于讨论代际传递规律。
3.5.2 灭绝概率
灭绝概率是分枝过程中的关键指标，表示群体最终走向零个体的概率。它受繁殖分布影响，常用于判断系统是否有长期存续可能。
当平均繁殖能力不足时，灭绝往往具有较高概率；反之则可能出现持续扩张。
4 重要性质
随机过程的研究不仅关注具体模型，也关注一类普遍适用的性质。这些性质帮助人们比较不同过程，并建立统一理论。
4.1 平稳性
平稳性描述统计特征是否随时间平移而改变，是随机过程理论中的核心概念之一。
4.1.1 严平稳
若过程任意有限维联合分布在时间平移后保持不变，则称为严平稳。它要求最强，直接针对整体分布结构。
严平稳过程在理论上最完整，但验证起来通常较困难。
4.1.2 宽平稳
若过程仅要求均值恒定、协方差只依赖时差，则称为宽平稳。它比严平稳弱，但在实际分析中更常用，尤其适合时间序列和信号处理。
宽平稳过程便于利用二阶矩工具进行估计和预测。
4.2 马尔可夫性
马尔可夫性体现了“当前状态概括过去信息”的特征，是许多随机模型得以简化的关键。
4.2.1 无后效性
无后效性意味着给定当前状态后，未来演化与更早历史无关。它使复杂系统可被压缩为当前时刻的信息。
这一性质在队列、决策和随机控制中尤为重要。
4.2.2 转移核
转移核是马尔可夫过程的概率转移规则的统一表达方式，适用于离散和连续状态情形。它给出了从任一状态出发，在下一时刻进入不同区域的概率。
通过转移核可以系统研究过程的演化、平稳性和可达结构。
4.3 独立增量与平稳增量
独立增量指不同时间段内的增量互不影响；平稳增量指增量分布只与时间长度有关，而与具体起点无关。两者常同时出现于经典模型中，但并非必然共存。
这两种性质使过程的局部变化具有统一规律，也便于构造解析结果。
4.4 遍历性
遍历性关注时间平均与总体平均是否一致。若过程满足遍历性，则长期观察一条样本路径所得结果，可以代表整体统计特征。
该性质在实际观测中很重要，因为人们往往只能得到单条时间序列，而无法重复无限多次实验。
4.5 连续性与可测性
连续性描述样本路径是否平滑或至少是否连续；可测性则保证随机过程与概率论中的积分、期望等操作相容。二者是严格定义和分析过程时不可缺少的技术条件。
在理论研究中，常需要证明存在适当的可测版本或连续修改，以便将抽象过程转化为可处理对象。
5 分布与矩结构
随机过程的统计特征常通过分布和矩来表达。分布描述全貌，矩则提供低维摘要。
5.1 边缘分布
边缘分布指固定某一时刻时随机变量的分布。它反映过程在单个时点上的随机特征。
研究边缘分布可以了解过程在不同时间上的取值范围、集中趋势和波动程度。
5.2 联合分布
联合分布刻画多个时刻之间的整体概率关系，是随机过程定义和分析的基础。它决定了各时刻之间是否独立、相关以及如何依赖。
许多结构性质，如平稳性和马尔可夫性，都可从联合分布中读取。
5.3 均值函数
均值函数给出每个时刻随机变量的期望值，反映过程的平均演化趋势。若均值函数平滑变化，常意味着系统存在某种总体趋势或漂移。
在应用中，均值函数常作为预测基线或趋势项使用。
5.4 协方差函数
协方差函数描述两个时刻之间的线性相关程度，是二阶结构的重要组成部分。它不仅反映相关性强弱，也体现依赖随时间差如何衰减或增强。
协方差函数在谱分析、平稳过程和滤波理论中尤为重要。
5.5 自相关函数
自相关函数通常由协方差归一化得到，便于比较不同尺度下的相关程度。它揭示过程对自身过去状态的记忆长度和衰减方式。
在时间序列分析中，自相关函数是诊断模型结构的重要工具。
5.6 高阶矩与累积量
高阶矩用于描述偏度、峰度和更复杂的分布形状特征；累积量则常用于分析独立性、叠加结构和近似展开。与一阶、二阶矩相比，高阶统计量能提供更细致的信息。
在非高斯过程研究中，高阶矩和累积量具有特殊价值。
6 随机过程的极限定理
极限定理研究随机过程在规模增大、时间拉长或适当缩放后的收敛行为，是连接局部随机性与整体规律的重要桥梁。
6.1 大数定律相关结果
大数定律相关结果说明，当观测次数增多时，随机平均往往趋近于确定值。对于随机过程而言，这意味着长期平均行为可能稳定下来。
这类结论为估计长期频率、平均收益和平均等待时间提供理论依据。
6.2 中心极限定理相关结果
中心极限定理相关结果表明，许多独立或弱相关的随机波动在适当标准化后趋近正态分布。它解释了为何大量微小随机扰动常表现为近似高斯噪声。
在随机过程里，这一思想常用于误差分析、波动近似和统计推断。
6.3 功能型极限定理
功能型极限定理研究的是随机函数或随机路径的收敛，而不仅是单个数值的收敛。它关注整个过程在某种拓扑下是否逼近另一个极限过程。
布朗运动作为许多离散随机模型的极限对象，便是功能型极限定理中的经典例子。
6.4 弱收敛与分布收敛
弱收敛，也称分布收敛，指随机过程或随机变量列的分布逐步逼近某个极限分布。对于过程而言，往往需要在路径空间中讨论其弱收敛。
这一概念是现代概率论的基础语言，广泛用于极限过程、渐近统计和随机模拟分析。
7 随机过程的分析方法
随机过程的分析不仅依赖分布论，也依赖一系列结构化工具。这些方法使复杂动态模型能够被微分、积分和优化框架所处理。
7.1 生成元与半群
生成元描述过程在无穷小时间内的变化规律，半群则描述随时间推进的状态演化算子。二者构成连续时间马尔可夫过程分析的重要工具。
通过生成元可以导出偏微分方程或积分方程，从而把概率问题转化为分析问题。
7.2 鞅方法
鞅是一类在条件期望意义下“公平”的随机过程。鞅方法利用这一性质研究收敛、停止、界估计和极限定理。
由于鞅具有较强的结构性，它在随机过程理论中扮演着统一工具的角色。
7.3 停时与首次穿越
停时指只依赖当前和过去信息即可确定的随机时刻，例如首次到达某阈值的时间。首次穿越问题则研究过程第一次跨过某条边界的时刻和概率。
这类问题在风险控制、信号触发和故障检测中很常见。
7.4 随机微分方程
随机微分方程用随机项修正经典微分方程，以刻画连续时间中的随机驱动过程。它常用于物理、金融和生物系统建模。
其解通常是随机过程，并且与布朗运动或更一般噪声过程紧密相关。
7.5 随机积分
随机积分是对随机过程进行积分的理论工具，尤其适用于不规则路径上的累积效应。与普通积分相比，它需要处理路径的随机性和非光滑性。
随机积分在构造随机微分方程、金融定价和滤波理论中都不可缺少。
8 典型应用
随机过程的应用范围很广，凡是存在时间演化、不确定性和统计规律的系统，都可能用到相关模型。
8.1 排队论
排队论研究顾客到达、等待、服务和离开的随机规律。泊松过程、更新过程和马尔可夫链常用于描述到达流、服务台状态和系统负载。
该领域常用于电话交换、网络流量和服务系统优化。
8.2 可靠性理论
可靠性理论关注设备或系统随时间运行的失效与维修过程。随机过程可以描述部件磨损、故障发生、修复循环和寿命分布。
通过分析失效率、首次故障时间和更新结构，可以评估系统可用性与维护策略。
8.3 金融数学
金融数学中，资产价格、利率和波动率常被视为随机过程。布朗运动及其扩展模型常作为连续时间价格变动的基础。
随机过程在风险定价、衍生品分析和资产配置中具有核心地位。
8.4 信号处理
在信号处理中，噪声通常被建模为随机过程，以便分析滤波、估计和谱特性。平稳过程和自相关函数是这一领域中的常用工具。
通过随机模型，可以更好地区分有效信号与随机干扰。
8.5 生物统计与群体动力学
随机过程可用于描述种群数量变化、基因漂变、传播扩散和个体出生死亡等现象。分枝过程和马尔可夫模型尤其常见。
这类模型有助于解释小样本下的随机波动和群体长期趋势。
8.6 物理与工程建模
在物理和工程中，随机过程常用于描述热噪声、粒子扩散、材料疲劳和随机激励响应。连续时间模型在这一领域尤其重要。
它们帮助工程师分析系统鲁棒性、响应分布和失效风险。
9 模拟与计算
由于随机过程往往难以得到封闭解析解，模拟与数值方法成为研究和应用中的重要部分。
9.1 蒙特卡洛模拟
蒙特卡洛模拟通过重复随机采样来近似过程的统计特征。它可以估计期望、概率和分布函数，也能评估复杂系统的表现。
该方法直观、通用，但通常需要较大计算量。
9.2 路径生成方法
路径生成方法专门用于构造随机过程的样本轨迹，如离散随机游走、泊松计数路径或布朗路径。生成路径后，可以进一步分析极值、首次穿越和长期行为。
在实际计算中，路径生成是连接理论模型与数值结果的关键步骤。
9.3 参数估计
参数估计旨在根据观测数据推断过程模型中的未知参数，如强度、转移概率或波动系数。常见方法包括极大似然、矩估计和贝叶斯推断。
估计结果的准确性直接影响预测和决策质量。
9.4 模型检验
模型检验用于判断所设随机过程是否与观测数据相符。它包括拟合优度检查、残差分析和假设检验等内容。
通过模型检验，可以避免把不合适的模型误用到实际问题中。
9.5 数值近似与离散化
对于连续时间或复杂路径模型，常需将其离散化以便计算。数值近似方法包括步进模拟、Euler格式及其他离散方案。
离散化会带来误差，因此需要在精度与效率之间作出权衡。
10 相关概念与扩展
随机过程理论不断向更高维度、更复杂依赖和更强应用导向发展。相关概念与扩展领域构成了现代概率分析的重要延伸。
10.1 随机场
随机场是随机过程在多维参数空间上的推广，参数不再局限于时间，还可以是空间坐标、时空坐标或更一般区域。它常用于图像、地质和空间统计。
与一维过程相比，随机场更强调空间相关结构与区域整体特征。
10.2 随机分析
随机分析研究带有随机性的微积分、微分方程和路径积分，是连接概率论与经典分析的重要分支。它以布朗运动和随机积分为基础，形成了一整套处理随机动态的工具。
该领域对连续时间模型尤为关键。
10.3 随机控制
随机控制关注在不确定环境中如何选择控制策略，以优化某种目标函数。它将随机过程与最优化理论结合起来，常用于资源调度、库存管理和动态决策。
在此框架下，控制对象的未来演化不仅受随机因素影响，也受决策规则制约。
10.4 随机动力系统
随机动力系统研究受到随机扰动的动态系统，既包含确定性演化部分，也包含随机驱动部分。它适合分析长期稳定性、吸引子和随机分岔等现象。
这一方向连接了动力系统理论与概率方法。
10.5 过程的泛化与现代发展
现代随机过程研究不断向高维、非马尔可夫、长程依赖和非平稳方向拓展。与此同时，数据驱动方法、机器学习与随机建模的结合也越来越紧密。
在更一般的框架中，研究者不仅关注具体模型，还关注过程族、函数空间和随机结构的统一描述，这使随机过程理论持续保持活力。