1 基本概念
1.1 定义与核心思想
混合精度计算是指在同一计算流程中，根据数据重要性、运算阶段和硬件特性，选择两种或以上数值精度协同完成任务的方法。其核心思想是在尽量不损害结果可靠性的前提下，把高精度用于对最终结果影响较大的部分，把低精度用于对性能更敏感的部分，从而在精度、速度与资源消耗之间取得平衡。
1.2 精度类型与数值表示
不同精度主要区别体现在尾数长度、指数范围以及舍入误差大小。精度越高，数值表达能力通常越强，但计算与存储成本也相应增加；精度越低，则更适合追求吞吐量和带宽效率的场景。
1.2.1 单精度与双精度
单精度通常用于对速度要求较高、对误差容忍度中等的任务，双精度则更适合需要较高数值可靠性的科学计算与工程分析。两者在浮点范围和有效位数上存在明显差异，因此常被组合使用，以兼顾效率与稳定性。
1.2.2 半精度与低精度格式
半精度及更低位宽格式常见于机器学习推理、图形处理和部分加速计算场景。它们可显著降低存储占用和数据传输压力，但也更容易受到舍入误差、溢出和下溢的影响，因此通常需要配合校正策略或高精度累加。
1.2.3 高精度与扩展精度
高精度与扩展精度用于对误差极为敏感的计算步骤，例如中间结果累加、迭代收敛判定或关键参数更新。此类精度并不总是全程使用，而往往只在必要环节介入，以降低整体成本。
1.3 混合精度的基本模式
混合精度并非单一实现方式，而是一个统称。实际应用中，可按照运算、数据和模块三个层面组织精度分配。
1.3.1 运算级混合
运算级混合是指在同一算式内部，对加、乘、归约等不同操作采用不同精度处理。例如输入采用低精度表示，而中间累加使用高精度寄存器或累加器保存结果。
1.3.2 数据级混合
数据级混合强调同一数据集中的不同元素可采用不同精度保存。重要参数、敏感中间量或统计量可能使用较高精度，而大规模中间激活、临时缓存或静态常量则可使用较低精度。
1.3.3 模块级混合
模块级混合指按功能单元划分精度策略，例如在一个系统中，前处理、主计算和后处理分别采用不同数值格式。此方式更便于工程实现，也更适合复杂软件框架中的分层优化。
2 发展背景
2.1 数值计算需求的演变
随着模型规模、仿真复杂度和数据体量不断上升，传统单一高精度方案逐渐暴露出速度、容量和能耗方面的瓶颈。与此同时，许多实际任务并不要求所有步骤都使用同等精度，这促使混合精度成为一种具有现实价值的折中方案。
2.2 硬件架构对精度优化的支持
现代计算硬件逐步增强了对多种数值格式的原生支持，使精度选择不再仅仅是软件层面的妥协，而成为可借助体系结构实现的性能优化手段。
2.2.1 GPU与加速器的发展
GPU及各类专用加速器通常具备较高并行度，适合处理大量低精度运算。它们在设计上往往强调吞吐能力，因此更容易从低位宽数据和混合精度矩阵运算中受益。
2.2.2 张量计算单元与专用指令
张量计算单元、向量化单元及相关专用指令，可在较低精度下执行乘加、归约和矩阵运算。此类硬件支持使混合精度不仅能够提升速度，也有助于降低单位计算的能耗。
2.3 存储带宽与能耗压力
在大规模计算中，性能往往不仅受算力限制，还受制于数据搬运效率和功耗预算。混合精度通过缩减数据体积与访问次数，缓解系统整体压力。
2.3.1 内存访问瓶颈
当计算任务的数据规模很大时，内存带宽和缓存容量常成为主要制约因素。采用低精度表示可减少读写流量，提升数据供给效率，从而改善整体运行速度。
2.3.2 计算与通信开销平衡
在分布式或并行系统中，通信成本有时不低于本地计算成本。精度降低后，传输数据量减少，往往能改善计算与通信之间的平衡，尤其适合频繁交换中间结果的任务。
3 工作原理
3.1 精度分配策略
混合精度的关键在于识别哪些部分对最终输出影响更大，以及哪些环节对性能更敏感。通过分层分配精度，可以尽量把资源投入到最值得投入的地方。
3.1.1 关键步骤使用高精度
关键步骤通常包括误差会显著放大、决定收敛方向或直接影响最终结论的操作。这些部分采用高精度，有助于抑制误差扩散并提高稳定性。
3.1.2 非关键步骤使用低精度
对结果影响相对有限、且重复次数较多的步骤，适合使用低精度处理。这样可减少算术复杂度和数据吞吐成本，同时保持总体可接受的准确度。
3.2 误差传播与控制
混合精度必须关注误差在多步运算中的传播路径。若缺乏控制，局部误差可能在迭代或归约过程中被放大，进而影响最终结果。
3.2.1 舍入误差分析
舍入误差分析用于评估精度降低后每一步可能带来的偏差，并判断这些偏差是否会累积到不可接受的程度。通常需要结合数据分布、运算顺序和算法结构综合判断。
3.2.2 累积误差抑制
累积误差抑制常通过高精度中间变量、补偿求和或分层归约来实现。其目标不是完全消除误差，而是在可接受成本下将误差控制在阈值以内。
3.3 数值稳定性保障
数值稳定性是混合精度能否落地的前提之一。稳定性不足时，低精度带来的微小偏差可能被放大，导致结果失真或算法失效。
3.3.1 缩放与归一化
缩放和归一化常用于把数据映射到适合低精度表示的范围内，减少溢出、下溢和有效位损失。该策略在训练、归约和信号处理任务中都较常见。
3.3.2 容差与阈值设置
在许多算法中，会通过容差和阈值控制精度切换条件、迭代终止条件或异常检测条件。合理设定这些参数，有助于在效率与稳定性之间建立可操作的平衡。
4 典型实现方式
4.1 静态混合精度
静态混合精度是在程序设计或编译阶段预先确定各部分采用的数值格式，具有规则清晰、运行开销较低的特点。
4.1.1 编译期优化
编译期优化可在不改变算法主体的情况下，对类型转换、算子替换和数据布局进行调整，从而生成更适合目标硬件的混合精度代码。
4.1.2 人工标注与规则分配
在一些应用中，开发者会根据经验和误差分析手动指定精度策略。此方法便于控制关键路径，但对算法理解和工程经验要求较高。
4.2 动态混合精度
动态混合精度会根据运行状态实时调整精度选择，适合输入分布变化较大或精度敏感性不固定的任务。
4.2.1 运行时自适应调整
运行时自适应调整会依据当前数据规模、误差水平或性能指标改变精度配置。它比静态方式更灵活，但也需要额外的监测与决策机制。
4.2.2 基于误差反馈的切换
基于误差反馈的切换会在观察到误差扩大、收敛变慢或结果波动时提升精度，在误差较小且运行稳定时再回落到低精度，以维持整体效率。
4.3 自动混合精度
自动混合精度强调由工具链或框架自动分析并分配精度，降低开发者手工调整的成本。
4.3.1 图计算与算子分析
图计算与算子分析会根据计算图中各节点的性质、依赖关系和数值敏感性，为不同算子推荐合适的精度配置。
4.3.2 框架级精度推断
框架级精度推断通常建立在规则库、类型传播和运行统计之上，可在较少人工干预下实现较稳定的混合精度执行流程。
5 关键算法与技术
5.1 数值线性代数中的应用
线性代数是混合精度应用最成熟的领域之一，尤其在矩阵运算和大规模方程求解中优势明显。
5.1.1 矩阵分解
矩阵分解可将高成本运算拆分为多个阶段，部分阶段使用低精度加速，关键修正步骤使用高精度恢复准确性。这类方法常用于求解和预处理过程。
5.1.2 迭代求解
迭代求解对中间误差较为敏感，但也天然适合分阶段精度配置。常见做法是以低精度完成大部分迭代，再用高精度校正残差或收敛状态。
5.2 优化算法中的应用
优化算法，尤其是基于梯度的优化过程，对精度与稳定性均有较高要求，因此常采用混合精度策略来兼顾训练速度和更新质量。
5.2.1 梯度下降与变体
梯度下降及其变体在低精度下能够显著提升计算吞吐量，但梯度更新、损失缩放和停止判定往往需要更谨慎的精度安排，以防训练过程出现偏移。
5.2.2 动量与自适应优化
动量项和自适应统计量通常保存长期累积信息，对数值误差较敏感。实际实现中，这些状态量常采用较高精度维护，以减小长期漂移。
5.3 归约与累加策略
归约和累加操作会重复叠加大量中间值，是误差积累的高风险环节，因此往往需要特别设计。
5.3.1 高精度累加器
高精度累加器可在输入保持低精度的同时，以更高位宽存储总和，从而改善大规模求和、均值计算和矩阵乘加的准确性。
5.3.2 分块求和与补偿算法
分块求和通过先局部累加再全局合并，减少误差传播路径；补偿算法则额外记录被舍入的部分，以修正总和偏差。这两类方法常用于对精度要求较高的归约场景。
6 应用领域
6.1 科学计算
科学计算通常具有规模大、重复多、精度要求分层明显等特点，因此非常适合采用混合精度。
6.1.1 物理模拟
在流体、粒子和材料模拟中，部分状态更新可用低精度加速，而守恒量、边界条件和收敛检查则常保留较高精度。
6.1.2 工程仿真
工程仿真常涉及有限元、结构分析和多物理场耦合。混合精度可减少计算时间，但对关键参数和最终验算结果通常仍需更严格的精度控制。
6.2 人工智能与深度学习
人工智能是混合精度应用最广泛的领域之一，特别是在大规模训练和低延迟推理中表现突出。
6.2.1 训练加速
训练阶段包含大量矩阵乘法、归约和激活运算，低精度可显著提升吞吐量；同时，损失缩放、主权重维护和高精度累加可帮助维持训练稳定。
6.2.2 推理优化
推理阶段通常对参数更新不敏感，更适合使用低精度以降低延迟、缩减内存占用并提升并发处理能力。许多部署系统会在保证输出质量的前提下优先采用这种方案。
6.3 图形学与视觉计算
图形学和视觉任务强调实时性，混合精度有助于在画质与帧率之间取得较好折中。
6.3.1 实时渲染
实时渲染中，几何处理、着色计算和后处理管线可根据视觉敏感度分配不同精度，从而提升帧率并降低显存压力。
6.3.2 图像处理
在滤波、变换和特征提取等图像任务中，低精度可提升处理速度，而某些累加、边缘检测或色彩校正步骤则可能保留较高精度。
6.4 边缘计算与移动端
边缘设备和移动终端通常受限于功耗、散热和存储容量，因此对混合精度尤为依赖。
6.4.1 低功耗推理
低功耗推理利用较低位宽来减少计算负担和电量消耗，适合在本地完成语音、图像和传感数据分析等任务。
6.4.2 资源受限场景优化
在资源有限的场景中，混合精度有助于让模型或算法适配更小的内存空间和更弱的算力平台，从而提升可部署性。
7 性能与评估
7.1 计算速度指标
速度评估通常关注吞吐量、延迟和加速比等指标。混合精度的效果不仅取决于数值格式本身，也与算子融合、内存访问模式和硬件支持程度密切相关。
7.2 精度损失评估
精度评估用于判断低精度引入的偏差是否在可接受范围内。评估方式既包括任务层面的结果比较，也包括对数值误差的直接测量。
7.2.1 任务级正确率
任务级正确率常用于分类、检测、回归或仿真结果评估。它反映的是混合精度对最终任务目标的实际影响，而不仅仅是中间数值差异。
7.2.2 数值偏差指标
数值偏差指标包括绝对误差、相对误差、均方误差等，用于衡量混合精度与参考结果之间的距离。不同任务对这些指标的容忍度并不相同。
7.3 资源消耗评估
资源评估主要关注内存、显存、功耗和散热表现。对于大规模模型和高并发任务，这些指标往往直接决定系统可用性。
7.3.1 显存与内存占用
低精度数据可明显减少存储占用，使更大模型或更大批次能够在有限内存中运行，也可降低缓存和交换开销。
7.3.2 功耗与热设计表现
由于低精度运算通常减少数据搬运和部分算术开销，因此常带来更好的能效比，并缓解设备发热和热降频风险。
8 优势与局限
8.1 主要优势
混合精度之所以被广泛采用，主要在于它能够用较低成本换取可观性能收益，同时不必完全放弃高精度带来的稳定性。
8.1.1 提升吞吐量
通过降低单次运算和数据传输负担，混合精度通常可显著提升单位时间内可处理的任务量。
8.1.2 降低带宽压力
较小的数据位宽意味着更少的读写流量和更高的缓存利用率，这对于大规模并行计算尤为重要。
8.1.3 改善能效比
在相同任务下，混合精度往往能减少每次运算所需的能量消耗，因此适用于对功耗敏感的平台。
8.2 潜在局限
尽管优势明显，混合精度并非适用于所有情形。若策略设计不当，反而可能导致性能收益不明显或数值质量下降。
8.2.1 精度退化风险
当低精度覆盖了过多敏感环节时，结果可能出现明显偏差，甚至影响任务的可用性。
8.2.2 收敛不稳定问题
在迭代优化和求解过程中，过低精度可能造成震荡、停滞或早停，使算法难以达到预期结果。
8.2.3 硬件兼容性限制
并非所有平台都对多种精度提供同等支持。有些设备虽然能计算低精度，但未必具备高效的转换、累加或校正能力。
9 工具链与支持环境
9.1 编程框架支持
现代软件生态已为混合精度提供较完善的接口，使开发者能够较方便地接入相关功能。
9.1.1 深度学习框架
许多深度学习框架内置自动混合精度、损失缩放和类型转换管理，便于在训练和推理中快速启用相关策略。
9.1.2 科学计算库
部分科学计算库也逐步提供多精度矩阵运算、迭代求解和归约支持，使混合精度可在传统数值应用中落地。
9.2 编译器与优化器
编译器和优化器在混合精度体系中承担着类型推断、指令选择和算子重写的重要职责。
9.2.1 指令级优化
指令级优化会针对目标硬件选择适当的向量指令、融合乘加或低精度乘法路径，以减少执行开销。
9.2.2 自动类型转换
自动类型转换可在不改变外部接口的情况下，完成输入输出与中间变量的精度适配，从而降低开发复杂度。
9.3 硬件平台支持
不同硬件平台对混合精度的支持程度不同，决定了其实际性能上限和可移植性。
9.3.1 通用处理器
通用处理器通常支持较完整的数值类型，但在低精度吞吐量方面未必具备专用加速器那样的优势，适合灵活性优先的场景。
9.3.2 图形处理器
图形处理器是混合精度应用最成熟的平台之一，特别擅长大规模并行矩阵运算和张量计算。
9.3.3 专用加速器
专用加速器往往围绕特定精度格式和算子模式设计，能够在目标任务上提供更高吞吐量和更低能耗，但通用性相对有限。
10 相关概念
10.1 高精度计算
高精度计算指主要或全程采用较高位宽数值格式进行运算的方式，强调结果可靠性和误差可控性。
10.2 低精度计算
低精度计算是使用较小位宽表示和运算数据的方法，重点在于提高速度、降低存储占用和节约能耗。
10.3 数值分析
数值分析是研究近似计算、误差传播、算法稳定性与收敛性的学科基础，为混合精度方法提供理论支撑。
10.4 误差控制
误差控制是通过算法设计、参数设置和结果校验限制数值偏差扩大的技术集合，是混合精度实施中的核心环节之一。
10.5 异构计算
异构计算是指在同一系统中协同使用不同类型处理单元完成任务的计算模式，常与混合精度结合，用于进一步提升整体性能与能效。