1 基本概念
1.1 定义与含义
光流是指图像序列中，场景或相机发生运动后，在成像平面上呈现出的像素位移模式。它通常用二维向量场表示，其中每个向量对应某一位置在相邻帧之间的运动方向和大小。作为一种描述局部运动的工具，光流广泛用于视频理解、行为分析和动态场景建模。
1.2 运动场与光流场
运动场通常指三维世界中真实物体点的运动投影到图像平面后的结果，而光流场则是从图像观测中推断得到的二维运动表示。二者密切相关，但并不完全等同，因为光流受到成像过程、遮挡和纹理分布等因素影响，未必能直接还原真实三维运动。
1.3 亮度恒常假设
亮度恒常假设认为，同一物体点在短时间内移动到新位置时，其亮度或灰度值近似保持不变。这一假设是许多光流算法的基础，用于将“位置变化”与“强度变化”联系起来。实际场景中，光照变化、阴影和反射会使该假设近似成立而非严格成立。
1.4 小位移假设
小位移假设指相邻帧之间的运动幅度较小，使得像素位置变化可以通过局部线性近似来处理。该假设便于建立光流约束方程，也是早期经典方法得以求解的关键前提。对于大位移场景，通常需要借助金字塔、多尺度或更强的匹配机制。
1.5 空间连续性假设
空间连续性假设认为，图像中相邻区域的运动通常具有平滑性，即运动向量在空间上不会无规律剧烈跳变。该假设有助于在纹理稀少或信息不足的区域进行补偿，但在物体边界、刚体交界处或快速分裂运动中，过强的平滑约束也可能带来过度平滑问题。
2 数学基础
2.1 图像序列建模
2.1.1 像素坐标与时间维度
在光流建模中，图像通常表示为随时间变化的二维函数，可写为 \(I(x,y,t)\)。其中 \(x\) 与 \(y\) 是空间坐标，\(t\) 是时间维度。通过比较不同时刻的图像，可分析每个像素在时间轴上的变化规律。
2.1.2 运动向量表示
运动向量一般记作 \((u,v)\)，表示像素在水平和垂直方向上的位移。若把所有位置的向量组合起来，就形成完整的光流场。实际算法常将其视为一个连续或离散的向量函数，以便进行估计与优化。
2.2 光流约束方程
2.2.1 偏导数形式
基于亮度恒常假设，可将图像在运动前后的亮度关系展开为偏导数形式，得到经典光流约束。其核心表达式通常写作： \[ I_x u + I_y v + I_t = 0 \] 其中 \(I_x\)、\(I_y\)、\(I_t\) 分别表示图像在空间和时间上的偏导数。该方程体现了像素变化与运动之间的线性关系。
2.2.2 局部线性近似
由于真实运动往往并非严格微小，实际求解中常在局部邻域内对图像函数进行泰勒展开，从而把非线性问题转化为近似线性问题。局部线性近似是许多经典算法的计算基础，尤其适合短时间间隔与平滑运动场景。
2.3 可观测性与孔径问题
2.3.1 单点运动歧义
仅凭单个像素的亮度变化，往往无法唯一确定其完整运动方向，这就是光流中的单点歧义。因为一个点在局部范围内只能观测到法向变化，而切向运动可能无法被直接识别，从而造成求解不唯一。
2.3.2 边缘与角点差异
边缘区域通常只能提供单一方向的信息，因而更容易出现孔径问题；角点或纹理丰富区域则包含更多方向的变化，通常更适合进行运动估计。基于这一特性，许多稀疏光流方法倾向于选取角点作为跟踪对象。
2.4 误差来源与不适定性
2.4.1 噪声干扰
图像采集过程中不可避免地会引入传感器噪声、压缩伪影和量化误差，这些因素会影响梯度计算和匹配结果。噪声越强，光流估计越容易出现抖动、偏差或局部失真。
2.4.2 遮挡与反射变化
当目标被其他物体遮住，或表面因视角、材质和光照发生反射变化时，亮度恒常假设会被破坏。此类情况常导致局部光流不连续，甚至在遮挡边界产生错误的运动估计，因此也是算法设计中的重点难题。
3 经典算法
3.1 稀疏光流方法
3.1.1 Lucas-Kanade方法
Lucas-Kanade方法是一种经典的局部稀疏光流算法，通常在小窗口内假设邻域像素具有相似运动，并通过最小二乘法求解位移。该方法计算简单、效率较高，适合追踪特征点，但在大位移或低纹理区域性能受限。
3.1.2 金字塔Lucas-Kanade
金字塔Lucas-Kanade通过构建图像多分辨率表示，先在低分辨率层估计粗略位移，再逐层细化结果。该策略能够显著增强对大位移运动的适应能力，也提升了算法在实际视频中的稳定性。
3.2 稠密光流方法
3.2.1 Horn-Schunck方法
Horn-Schunck方法通过同时最小化数据项和平滑项来求取全图稠密光流。它强调运动场的全局平滑性，因此能在纹理不足区域生成连续结果，但也可能在边缘处过度平滑，导致细节丢失。
3.2.2 TV-L1方法
TV-L1方法将总变分正则化与L1数据项结合，具有较强的鲁棒性，对离群值和噪声更不敏感。相比传统二次正则化方法，它通常能更好地保留运动边界，并在复杂场景中取得较稳健的效果。
3.3 特征匹配与块匹配方法
3.3.1 局部窗口搜索
块匹配方法将图像分成若干局部窗口，并在相邻帧中搜索最相似的块作为对应区域。通过比较窗口内像素差异，可以得到较直观的位移估计。这类方法实现简单，但计算量与搜索范围密切相关。
3.3.2 多尺度搜索策略
多尺度策略通过从粗到细的层次化搜索减少计算负担，并提高对大运动的捕捉能力。该方法常与块匹配或光流金字塔结合使用，以降低局部最优和搜索失败的风险。
3.4 变分法与优化求解
3.4.1 能量函数设计
变分法通常将光流估计表述为能量最小化问题，能量函数一般由数据一致性项、平滑约束项以及必要的边缘保持项组成。不同项的权重决定了结果的平滑程度、鲁棒性和细节保留能力。
3.4.2 梯度下降与迭代更新
求解光流能量函数时，常采用梯度下降、牛顿法或交替优化等迭代策略。由于问题通常是非凸或半凸的，算法往往需要多次更新以逐步收敛，并通过停止准则控制计算成本。
4 深度学习光流
4.1 学习式估计框架
4.1.1 端到端网络结构
端到端光流网络直接从输入图像对预测运动场，无需手工设计复杂的匹配规则。此类方法通常通过大量数据学习特征表示和对应关系，在大位移、复杂纹理及非线性变化下表现突出。
4.1.2 编码器-解码器设计
编码器负责提取多层次特征，解码器则逐步恢复分辨率并生成位移估计。该结构便于融合局部与全局信息，也常与跳跃连接、相关性计算和多尺度监督结合使用。
4.2 代表性模型
4.2.1 FlowNet系列
FlowNet系列是较早将深度卷积网络系统用于光流估计的代表方法之一。它推动了学习式光流研究的发展，并证明了网络可以从数据中直接学习运动线索，而不必完全依赖传统优化框架。
4.2.2 PWC-Net
PWC-Net结合金字塔特征、warping操作与相关性层，在保持较高精度的同时降低了计算开销。它的设计体现了传统多尺度思想与深度特征学习的融合，因此在效率和效果之间取得了较好平衡。
4.2.3 RAFT
RAFT采用密集相关体和反复迭代更新的方式进行光流估计，强调全局匹配与细化推理。该模型在精度上表现突出，也带动了后续一系列基于迭代优化思想的学习式方法。
4.3 训练策略
4.3.1 监督学习
监督学习依赖带标注的真实光流数据进行训练，通过最小化预测结果与真值之间的差异来优化参数。其优点是收敛明确、性能稳定，但对高质量标注数据的需求较高。
4.3.2 自监督学习
自监督方法通常利用图像重建、光度一致性或时序一致性构造训练信号，减少对人工标注的依赖。此类策略更适合大规模无标注视频数据，但训练过程对损失设计和噪声控制要求较高。
4.3.3 合成数据预训练
合成数据预训练常借助人工生成的图像对和光流真值进行初始训练，再迁移到真实场景。由于合成数据可控且标注精确，这种方式能帮助模型先学到基本运动模式，再通过真实数据进行微调。
4.4 评价与泛化
4.4.1 域适应
域适应关注模型从训练域迁移到目标域时的性能变化，例如从合成场景迁移到真实视频。由于图像统计特性、噪声分布和运动模式不同，模型往往需要额外适配才能保持精度。
4.4.2 泛化能力分析
泛化能力指模型在未见过的场景、物体类型或成像条件下仍能保持有效预测的能力。对于光流任务而言，泛化受数据多样性、网络结构和训练策略共同影响，是衡量算法实用性的关键指标之一。
5 工程实现
5.1 输入预处理
5.1.1 图像去噪
预处理阶段常先对输入图像进行去噪，以减弱随机扰动对梯度和匹配的影响。常见做法包括中值滤波、双边滤波或轻量级神经网络去噪模块。
5.1.2 尺度归一化
不同分辨率或不同拍摄条件下，图像尺度可能差异较大。通过尺度归一化，可使算法在统一输入范围内工作，提升数值稳定性并简化后续处理流程。
5.1.3 帧间对齐
若视频存在抖动或采集偏差，帧间对齐可先消除整体平移或轻微旋转影响，以减少背景干扰。该步骤有助于把主要计算集中在真实局部运动上。
5.2 算法加速
5.2.1 多线程与并行计算
光流计算通常具有较强的数据并行特征，适合利用多线程或多核处理器进行加速。通过将图像块、特征层或批处理任务分配给不同线程，可以提高整体吞吐效率。
5.2.2 GPU加速
GPU擅长执行大规模矩阵运算和卷积操作，因此在深度学习光流和部分经典算法中都能显著提升速度。实际部署时，算子融合、显存管理和并行调度会直接影响性能上限。
5.2.3 SIMD优化
SIMD指令集可在单条指令下处理多个数据元素，适用于像素遍历、梯度计算和局部统计等操作。对于对时延敏感的系统，SIMD优化能有效降低CPU端开销。
5.3 资源与性能控制
5.3.1 延迟与吞吐量
延迟强调单帧结果输出所需时间，吞吐量则关注单位时间内可处理的帧数。两者在实时系统中常需权衡，例如高精度模型可能提升效果，但也会增加响应时间。
5.3.2 内存占用管理
光流算法在多尺度处理中常需要保存中间特征、金字塔层和迭代状态，因此内存占用可能较高。合理的缓存复用、精度压缩和张量释放策略，对稳定部署十分重要。
5.3.3 实时性要求
在视频会议、机器人控制或交互式应用中，光流系统通常需要满足实时性要求。此时不仅要关注精度，还需综合考虑输入分辨率、算法复杂度和硬件能力。
5.4 软件接口与集成
5.4.1 API设计
良好的API应清晰定义输入格式、输出结构、参数配置与错误返回机制，便于在不同项目中复用。对于光流模块来说，接口设计还需兼顾批处理、流式处理和异步调用。
5.4.2 与CV框架集成
光流功能常被集成到通用计算机视觉框架中，以便与检测、分割、跟踪和重建模块协同工作。框架化集成有助于统一数据流、减少重复实现，并提升工程维护性。
5.4.3 边缘设备部署
在边缘设备上部署时，计算资源、功耗和存储空间通常有限，因此需要选择轻量模型或做模型压缩。通过剪枝、量化和算子简化，可在一定程度上兼顾速度与效果。
6 评估指标
6.1 端点误差
端点误差用于衡量预测光流向量与真实向量之间的欧氏距离，是最常见的评价指标之一。数值越小，通常表示估计结果越接近标注真值。
6.2 角度误差
角度误差关注运动方向的偏差，适合评估方向准确性而非仅看位移大小。对于某些应用，方向判断比速度大小更重要，因此该指标具有独立意义。
6.3 准确率与鲁棒性
准确率一般反映算法在一定阈值内的正确估计比例，而鲁棒性则描述其在噪声、模糊、遮挡等干扰下的稳定程度。二者共同体现算法在真实场景中的可用性。
6.4 遮挡区域评估
遮挡区域的光流评估通常更具挑战，因为部分像素在下一帧中已不可见。对此类区域的评分往往需要单独统计，以区分模型在可见区域与不可见区域上的表现差异。
6.5 基准数据集与测试集
光流算法通常依赖标准数据集进行横向比较，以保证结果可复现和可比对。测试集的场景多样性、标注精度和难度分布，会直接影响评估结论的代表性。
7 应用场景
7.1 目标跟踪
光流可用于估计目标在连续帧中的运动轨迹，辅助跟踪器更新位置并处理短时遮挡。与检测方法结合时，它还能提高跟踪过程的连续性。
7.2 视频稳定
视频稳定常利用全局光流估计画面抖动，再对相机运动进行补偿。通过抵消不必要的帧间位移，可以让输出画面更平滑、观感更自然。
7.3 运动分析
在体育分析、交通监测和行为研究中，光流能够提供画面运动的整体结构信息。借助这些信息，可进一步分析速度分布、运动方向或群体动态。
7.4 动作识别
动作识别任务中，光流能有效刻画人体或物体的动态变化，因此常与外观特征共同使用。与单纯静态图像相比，运动线索通常能提供更丰富的判别依据。
7.5 机器人导航
机器人可利用光流判断环境中的相对运动，辅助避障、速度估计和路径规划。对于移动平台而言，光流是一种不依赖高精度三维重建的实用感知手段。
7.6 增强现实与虚拟现实
在增强现实与虚拟现实中，光流可用于估计相机运动、增强场景对齐并支持交互效果稳定渲染。它在手势追踪、动态遮挡处理和画面融合中也具有一定价值。
8 常见问题与局限
8.1 光照变化影响
当场景亮度发生明显变化时，光流估计容易偏离实际运动，因为许多方法默认亮度在短时间内保持稳定。对抗这类问题通常需要更强的鲁棒损失或特征表达。
8.2 快速运动模糊
快速运动会造成成像模糊，使边缘和纹理细节变弱，进而降低匹配精度。对于这类视频，传统方法和学习式方法都可能出现估计漂移或细节缺失。
8.3 遮挡与边界效应
在物体边缘和遮挡交界处，前后帧可见区域不一致，容易产生突变和错误传播。若平滑约束过强，还可能把前景和背景运动混合在一起，形成边界泄漏。
8.4 纹理不足区域
在大面积纯色、重复纹理或低对比度区域中，光流信息通常很弱，算法难以获得可靠匹配。此时结果往往依赖邻域传播或先验约束，因此不确定性较高。
8.5 复杂场景中的失真
当场景同时包含多层运动、非刚体形变、透视变化和局部反射时，光流估计会变得更加复杂。复杂条件下的误差通常并非单一原因导致，而是多种因素叠加的结果。
9 相关概念
9.1 光流与光度一致性
光度一致性是光流建模中的核心思想之一，强调同一物体点在相邻帧中的亮度保持近似不变。它为运动估计提供了基本约束，也常作为自监督训练中的重要损失来源。
9.2 光流与立体匹配
立体匹配关注来自不同视角的图像之间的对应关系，而光流关注时间上相邻帧的运动关系。二者都涉及匹配与位移估计，但前者主要对应空间视差，后者主要对应时间运动。
9.3 光流与目标检测
目标检测识别图像中“有什么”，而光流更关心“怎么动”。在实际系统中，两者常被组合使用，例如先通过检测定位目标，再利用光流跟踪其后续运动。
9.4 光流与运动分割
运动分割旨在把图像中具有不同运动模式的区域区分开来，光流则提供了这一分割所需的重要运动线索。通过分析光流场的连续性和边界变化，可以更有效地提取前景与背景。