1 基本概念
1.1 定义与作用
帧间编码是一种利用视频帧与帧之间时间相关性的压缩方法。它不要求每一帧都完整独立保存画面内容，而是通过预测相邻帧中的重复部分，只记录变化区域及其变化方式，从而显著减少数据量。
在视频系统中，帧间编码的主要作用是提高压缩效率，降低传输带宽和存储空间占用。对于连续画面、动作较平稳或背景相对固定的素材，这种方式通常比逐帧完整编码更具优势。
1.2 与帧内编码的区别
帧内编码只利用同一帧内部的空间冗余进行压缩，处理对象类似静态图像；帧间编码则进一步利用前后帧之间的时间冗余。前者更强调单帧独立性，后者更强调连续帧之间的关联性。
从实际效果看，帧内编码通常更适合随机访问和独立解码，帧间编码则更适合连续播放和高压缩比场景。两者在视频编码系统中往往结合使用，以兼顾效率和可用性。
1.3 时间冗余与空间冗余
空间冗余指同一帧内部相邻像素之间往往具有相似性，例如平滑背景、渐变区域或重复纹理。时间冗余则指连续帧之间的大量内容并未变化，只是物体位置、亮度或局部细节发生了移动。
帧间编码的核心就在于针对时间冗余进行处理。相比单纯利用空间冗余的帧内编码，它通常能获得更高的压缩收益，尤其在人物走动、镜头平移或固定场景中表现明显。
2 编码原理
2.1 预测编码思想
帧间编码一般基于预测编码思想，即先根据参考帧生成当前帧的预测画面，再将真实画面与预测结果之间的差值进行编码。预测越准确，残差越小，压缩效果通常越好。
这种方法的关键不在于完整重建每一帧，而在于尽量减少需要显式传输的信息量。实际系统中，预测过程通常与运动分析、块匹配以及参考帧管理结合进行。
2.1.1 运动估计
运动估计用于寻找当前帧中某个区域在参考帧中的对应位置。编码器会比较不同位置的块或区域，判断哪一种位移最能解释画面的变化。
这一过程本质上是在估计物体或镜头运动带来的位移。由于真实视频中的运动并不总是规则，运动估计通常需要在效率和精度之间取得平衡。
2.1.2 运动补偿
运动补偿是在得到运动信息后，根据参考帧内容重建当前帧的预测区域。简单来说，就是把参考帧中的相关块按估计出的位移“搬运”到当前帧位置。
若运动估计较为准确，运动补偿得到的预测图像就会接近原始画面。这样一来，真正需要编码的只剩下少量差异信息。
2.2 残差生成与表示
残差是原始帧与预测帧之间的差值，反映了预测未能覆盖的部分。它通常包括细节变化、遮挡、新出现的内容以及估计误差等。
在编码中，残差往往比原始图像更容易压缩，因为其能量分布较集中，且许多区域接近于零。对残差进行变换和量化后，可以进一步降低码率。
2.3 参考帧机制
帧间编码并不是只依赖上一帧，有时也会使用更早或更晚的若干帧作为预测依据。这些被用于预测的帧称为参考帧。
参考帧机制决定了预测质量与系统复杂度之间的关系。参考帧越合适，编码效率通常越高，但存储、检索和管理成本也会相应增加。
2.3.1 参考帧选择
参考帧选择是指从可用帧集合中挑选最适合用于预测的帧。常见依据包括时间距离、画面相似度、运动连续性和编码结构限制等。
在实际编码器中，并非所有历史帧都可被无限制调用。为了控制复杂度和内存占用，系统往往只保留有限数量的参考帧。
2.3.2 多参考帧预测
多参考帧预测允许当前块从多个候选帧中选择最优参考对象。这样可以应对复杂运动、局部遮挡或场景细节变化，使预测更加灵活。
当单一参考帧无法很好描述当前内容时，多参考帧往往能提升压缩效率。不过，这也会增加编码搜索量和实现复杂度。
3 典型编码流程
3.1 帧划分与块划分
在典型帧间编码中，视频首先按时间顺序划分为单帧，再进一步分割为宏块、子块或更细粒度的编码单元。不同划分方式适用于不同标准和复杂度要求。
块划分的目的在于让局部区域更容易被运动模型描述。小块有利于精细预测，大块则更省开销，实际使用中通常需要综合权衡。
3.2 模式决策
模式决策用于决定某一编码单元采用何种预测方式、块大小、参考帧以及是否需要额外分割。它是编码器中最重要也最耗时的步骤之一。
合理的模式决策可以显著影响最终码率和画质。编码器通常会在多种候选方案之间比较代价函数，选出综合表现最优的模式。
3.3 变换与量化
预测后的残差通常先进行变换，以便将能量集中到少数系数中，便于后续压缩。常见方式包括离散余弦类变换及其变体。
随后进行量化，通过降低系数精度进一步减少数据量。量化越强，码率越低，但失真也可能越明显，因此其参数设置直接影响最终效果。
3.4 熵编码
熵编码用于对已经经过预测、变换和量化的数据进行无损压缩。其目标是根据符号出现概率分配更短的码字，从而进一步降低比特数。
在视频编码中，熵编码通常作为最后一环，负责输出最终比特流。常见做法包括变长编码和算术编码类方案，它们在压缩效率与复杂度方面各有特点。
4 关键技术
4.1 运动向量
运动向量是描述预测块位移的核心参数，指示当前块在参考帧中的对应位置偏移。它是帧间编码中最具代表性的辅助信息之一。
运动向量的精度和编码方式会直接影响预测效果与码率。若向量表达过于粗糙，预测误差会增大；若表达过于精细，则传输开销可能上升。
4.1.1 运动向量预测
运动向量预测是利用邻近块或历史块的运动信息，提前估计当前块可能的运动方向与大小。这样可以减少显式传输的比特数。
由于视频中的运动往往具有局部连续性，邻域预测通常有较高命中率。编码器会在预测值基础上只编码偏差部分，以提高效率。
4.1.2 运动向量编码
运动向量编码是将运动信息转换为可传输的比特表示。常见策略是对向量差值进行编码，而不是直接发送绝对位移值。
这种处理可以利用相邻块运动趋势相近的特点，压缩运动信息的开销。配合熵编码后，运动向量通常占用较少比特，但在复杂运动场景中仍可能成为重要负担。
4.2 B帧与P帧
P帧和B帧是帧间编码中最常见的两类预测帧。它们分别对应不同的参考方向和压缩特征，在视频结构中承担不同角色。
P帧通常用于单向预测，依赖过去的参考帧；B帧则常使用双向预测，可同时参考前后帧，通常具有更高压缩效率。
4.2.1 单向预测
单向预测主要指当前帧只根据一个方向的参考帧进行重建，常见于P帧。其优点是结构简单、实现成熟、编码延迟较低。
由于只依赖单侧参考，单向预测在处理某些突发变化时可能不如双向预测准确。不过，它在实时应用中更容易控制时序。
4.2.2 双向预测
双向预测允许当前帧同时使用前向和后向参考帧进行估计。这样可以更充分地利用时间信息，减少残差大小。
B帧通常采用这种方式，因此压缩效果往往优于单向预测帧。但双向预测需要等待更多参考信息，通常会带来更高延迟和更复杂的缓冲管理。
4.3 误差补偿与刷新机制
在长序列编码中，预测误差可能逐渐积累，导致画面质量下降或局部失真扩散。误差补偿与刷新机制的作用，就是控制这种连锁影响。
常见做法包括定期插入关键帧、重置参考链或在局部区域进行强制刷新。这样可以限制失真的传播范围，同时提高播放稳定性。
5 编码结构
5.1 GOP结构
GOP是由若干帧按一定规律组织而成的基本编码组，常用于描述帧间编码序列的层次关系。它直接决定了随机访问、压缩效率和延迟表现。
不同GOP设计适用于不同业务场景。短GOP更利于跳转和容错，长GOP则通常有更好的压缩比。
5.1.1 I帧、P帧、B帧的组合
一个典型GOP通常由I帧、P帧和B帧组合构成。I帧可独立解码，常作为结构起点；P帧依赖前序参考帧；B帧则利用双向参考提高压缩率。
三者的搭配方式会影响整个序列的编码特性。不同组合既决定了比特分配，也影响播放端的缓冲需求。
5.1.2 结构对压缩效率的影响
GOP结构越复杂，通常越有机会获得更高压缩效率，因为编码器可以利用更长时间跨度上的冗余信息。但结构越复杂，解码链路和前后依赖也越强。
如果过分追求长距离预测，随机访问会变差，错误传播风险也会上升。因此，GOP设计常常是在效率、稳定性和可用性之间进行折中。
5.2 层级预测结构
层级预测结构通过不同层次的帧之间建立依赖关系，使预测链条呈现树状或金字塔式分布。它常用于提升双向预测效率并改善编码控制。
这种结构在高压缩场景中较为常见，尤其适合需要兼顾高质量和较长序列管理的应用。其代价是编码顺序和解码顺序往往不完全一致。
5.2.1 金字塔结构
金字塔结构是一种典型层级预测方式，较低层帧可作为更高层帧的参考，而高层帧通常处于时间中间位置。这样可以让不同时间尺度上的信息得到充分利用。
在金字塔结构中，中心帧往往拥有更高的参考价值。通过分层设计，可以提升压缩效率，同时保持一定的时域组织能力。
5.2.2 编码延迟与随机访问
层级预测通常需要等待更多帧才能完成某些预测，因此编码延迟往往高于简单线性结构。对于实时应用，这种延迟可能成为重要限制。
另一方面，层级越深，解码端按时间顺序直接跳转的难度也越大。为了改善随机访问性能，系统常在结构设计中保留足够的关键点。
6 性能特点
6.1 压缩效率
帧间编码最大的优势在于压缩效率较高，尤其适合内容连续、运动规律明显的视频序列。通过去除大量时间冗余，能显著减少比特消耗。
在同等画质目标下，帧间编码通常可以比只依赖帧内编码获得更低码率。这也是其成为现代视频压缩核心机制的重要原因。
6.2 计算复杂度
与帧内编码相比，帧间编码通常需要额外进行运动搜索、参考管理和预测模式评估，因此计算复杂度更高。编码端尤为明显，解码端虽然较轻，但也要处理运动补偿与多参考重建。
复杂度的上升意味着更高的算力需求与更长的处理时间。对于资源受限设备，编码参数和算法设计往往需要简化。
6.3 画质与码率权衡
帧间编码在画质与码率之间提供了较大的调节空间。较强的压缩可降低码率，但可能引入模糊、块效应或细节损失；较保守的编码则能保留更多画面信息，但文件体积更大。
实际编码中，通常会依据业务需求选择合适的目标。例如，强调画质时会倾向较低量化，强调节省带宽时则会适度提高压缩强度。
6.4 延迟与实时性
由于帧间编码依赖参考帧，有些结构需要先接收或编码后续帧，才能完成当前帧的重建，因此可能引入额外延迟。B帧和层级结构尤其容易增加这一问题。
在实时传输场景中，延迟常比极致压缩更重要。此时一般会采用更简单的参考结构，以保证交互响应和播放流畅性。
7 应用场景
7.1 视频点播与流媒体
视频点播和流媒体是帧间编码最典型的应用领域之一。它们通常面向大量连续视频内容，因此对压缩率和传输效率要求较高。
在这些场景中，帧间编码有助于降低服务器带宽压力和用户侧缓存负担，同时支持多分辨率、多码率传输。
7.2 视频会议与实时通信
视频会议和实时通信对时延较为敏感，但仍会采用帧间编码以减少网络占用。系统通常会控制GOP长度和参考结构，避免过高延迟。
在这种环境下，编码器往往更关注稳定性和响应速度，而不是极限压缩。必要时会减少B帧使用，以提升交互体验。
7.3 广播电视与存储介质
广播电视和光盘、硬盘等存储介质也广泛使用帧间编码。对这些场景而言，长时间连续播放和稳定画质是主要需求。
通过合理的帧间预测，可以在有限容量下保存更长的视频内容，并在传输链路中降低频带占用。
8 相关标准与实现
8.1 常见视频编码标准中的帧间编码
许多主流视频编码标准都包含帧间编码机制，并在具体实现上有所不同。它们通常在运动搜索范围、预测单元划分、参考帧数量和熵编码方式上各具特点。
尽管细节不同，这些标准的共同目标都是提高压缩效率并保持可接受的画质。帧间预测始终是其核心组成部分之一。
8.2 编码器与解码器实现
编码器负责完成运动分析、模式选择、量化和码流生成，因此复杂度较高。解码器则依据码流中的预测参数和残差信息重建画面，通常流程更固定。
在实际实现中，编码器往往需要大量优化策略，以在速度和质量之间取得合适平衡。解码器则更强调稳定性、兼容性和低功耗。
8.3 硬件加速与软件优化
为了满足高清视频和高帧率处理需求，帧间编码常借助硬件加速单元完成部分关键步骤，如运动补偿、变换或熵编码。这样可以显著提升吞吐能力并降低功耗。
在软件层面，常见优化包括并行计算、快速搜索、缓存友好设计和算法剪枝。硬件与软件协同，是现代视频系统高效运行的重要基础。
9 常见问题
9.1 运动剧烈场景的压缩难点
当画面中存在快速运动、镜头抖动或大量细节快速变化时，参考帧与当前帧之间的差异会明显增大。此时运动估计更难准确，残差也会变多。
这类场景往往导致压缩效率下降，甚至出现画质波动。编码器通常需要更强的搜索策略或更灵活的块划分来应对。
9.2 画面遮挡与场景切换处理
当前景物体遮挡背景，或视频发生明显场景切换时，帧间预测关系会突然失效。因为参考帧中原有内容无法直接对应新画面，所以残差会大幅增加。
为应对这种情况，编码系统通常会插入新的关键帧，或重新建立参考链。这样可以尽快恢复预测有效性，减少错误扩散。
9.3 编码失真与漂移问题
编码失真指量化、预测误差等因素造成的画面质量损失。若这类误差在多帧之间持续积累，就可能出现漂移，即解码结果逐渐偏离原始内容。
漂移问题在强压缩和长预测链中更为明显。常见缓解方式包括定期刷新、限制参考距离以及优化预测和重建一致性。