1 基本概念
1.1 定义
IoU（Intersection over Union，交并比）用于衡量两个集合的重叠程度：将预测结果与真实标注表示为同一空间中的集合后，计算它们的交集与并集之比。若交集越大、并集越小，说明预测与标注在空间位置上越一致，IoU数值越高。
1.2 数学表达
以集合 \(A\) 表示预测区域、集合 \(B\) 表示真实区域，则 \[
| IoU(A,B)=\frac{ | A\cap B | }{ | A\cup B | } |
|---|
\]
| 其中 \( | \cdot | \) 表示集合所对应的面积（或体素/像素计数、在离散情形下的像素数量）。当 \(A\cup B\) 为空时，具体实现通常会进行特殊处理以避免除零。 |
|---|
1.3 取值范围与直观含义
在常见的非空情形下，IoU满足 \(0\le IoU \le 1\)：
- IoU = 0：交集为空，预测与标注没有重叠。
- IoU = 1：交集等于并集，预测完全覆盖真实区域（或两者完全相同）。
- 中间取值：反映部分重叠的程度，数值越大表示一致性越强。
直观上，IoU既惩罚“预测漏掉”（交集变小），也惩罚“预测过界”（并集变大）。
1.4 常见应用场景
IoU常用于需要空间对齐评估的任务，包括但不限于：
由于其可统一比较不同方法的空间对齐质量，IoU也常作为阈值筛选或指标计算的基础组成部分。
2 计算方法
2.1 矩形框IoU计算
2.1.1 交集区域求法
对两个轴对齐矩形框（或在实现中已转换到统一坐标形式）：
- 计算交集矩形的左上角坐标与右下角坐标。
- 若交集宽度或高度为负（即无重叠），交集面积记为0。
- 否则交集面积为交集矩形的宽乘高。
轴对齐矩形的交集计算通常可以用坐标的最大/最小值直接完成。
2.1.2 并集区域求法
并集面积通过以下关系获得更稳定： \[
| A\cup B | = | A | + | B | - | A\cap B |
|---|
\]
| 其中 \( | A | \) 与 \( | B | \) 分别是两个矩形框的面积。随后将交集面积除以并集面积即可得到IoU。 |
|---|
2.2 多边形与掩膜IoU计算
当预测与标注不再是简单矩形，而是多边形边界或像素级掩膜时，IoU通常有两类实现路径：
- 多边形方式：计算多边形交集面积与并集面积（涉及几何运算，数值精度与计算开销较高）。
- 掩膜方式：将区域离散化为像素集合，交集与并集可通过逻辑运算（按位与/或）得到，交集像素数与并集像素数分别对应面积的离散近似。
掩膜IoU的优点是实现直观且与分割任务对齐，但依赖像素分辨率。
2.3 逐像素IoU计算
在离散网格上，逐像素IoU常用于掩膜或语义/实例分割的评估。对某个类别或某个实例区域，设预测为集合 \(P\)，真实为集合 \(G\)，则 \[ IoU=\frac{\sum \mathbf{1}(P\cap G)}{\sum \mathbf{1}(P\cup G)} \] 其中 \(\mathbf{1}(\cdot)\) 是指示函数。该计算在工程实现中等价于统计交叠像素与覆盖像素的数量。
2.4 计算示例
设预测框与标注框为轴对齐矩形，交集面积为 \(S_{int}\)，预测面积为 \(S_p\)，标注面积为 \(S_g\)。则
- 并集面积 \(S_{union}=S_p+S_g-S_{int}\)；
- IoU \(=S_{int}/S_{union}\)。
例如，当交集占据较大比例时，分子相对更大；当预测框明显外扩时，并集面积增大，IoU会下降。
3 在计算机视觉中的应用
3.1 目标检测
在目标检测评估中，IoU常用于判断候选框与真实框是否匹配，从而影响最终的统计结果。
3.1.1 正负样本判定
训练或采样策略中，常以IoU阈值区分正样本与负样本：
- 若预测框与某真实框的IoU超过较高阈值，通常被视为正样本（或候选匹配）。
- 若IoU低于较低阈值，通常被视为负样本。
- 阈值之间可能设置“忽略区间”，避免不确定样本对优化产生干扰。
3.1.2 非极大值抑制中的作用
非极大值抑制（NMS）用于减少重复检测。实践中常使用IoU（或其变体）衡量两个候选框的重叠程度：当某候选框与已保留框的IoU高于阈值时，认为其为重复检测并被抑制。这样可在一定程度上提高结果的“非冗余性”。
3.2 实例分割
实例分割对每个目标输出独立的掩膜。IoU用于衡量预测掩膜与对应真实掩膜的重叠。评估通常会结合IoU阈值进行匹配统计：掩膜越贴合真实边界，IoU越高，越容易在阈值下被计为有效预测。
3.3 语义分割
在语义分割中，IoU常以“类别级”统计形式出现：对每个类别分别计算预测与真实区域的重叠，再汇总得到整体表现。例如常见的mean IoU会对各类别取平均。相较只关注像素分类准确率，IoU更直接反映空间区域的覆盖与一致性。
3.4 多目标跟踪
多目标跟踪通常需要对同一目标在不同时间帧之间进行关联。IoU可以作为关联代价或相似度的一种来源：若前后帧预测区域重叠更大，通常意味着更可能属于同一目标。需要注意的是，跟踪还会综合位移、运动模型或外观特征等其他信息，以提升稳健性。
4 相关阈值与评估标准
4.1 IoU阈值的设置
IoU阈值的意义在于定义“匹配的严格程度”。阈值越高，要求预测与标注越精确；阈值越低，匹配更宽松。不同任务与数据标注质量会影响合适阈值的选择。
4.2 召回率与精确率的关联
在基于检测框的评估框架中，通常通过匹配结果将预测分为真正例与假正例。IoU阈值决定匹配是否成立，从而影响：
- 精确率：假正例数量随阈值变化而改变
- 召回率：能匹配上的真实目标比例也随阈值变化
因此，IoU阈值不仅改变最终分数，也会改变模型在“过检”与“漏检”之间的平衡表现。
4.3 mAP评估中的IoU
平均精度均值（mAP）常在特定IoU阈值或多个阈值上计算。基本流程是：按照置信度排序预测框，依据IoU匹配规则累积精确率与召回率，随后形成精度-召回曲线并计算其面积。mAP把不同类别的表现取平均，使得评价更具可比性。
4.4 不同任务中的常用阈值
常见做法包括：
- 目标检测：使用固定阈值（例如某些评测协议中的单一匹配标准），或使用一组阈值进行更细致的区分
- 实例分割：同样可以在多个IoU阈值上统计，提高对边界质量的敏感度
- 语义分割：更多采用类别级IoU统计并进行平均，而不是以“匹配-不匹配”方式为核心
阈值策略在不同数据集与评测协议中可能存在差异，因此对比结果时需要对齐评价设置。
5 变体与扩展指标
5.1 GIoU
广义交并比（GIoU）主要用于解决当两个框不重叠时，IoU为0且梯度信息不足的问题。它在IoU的基础上引入能够同时覆盖两个框的最小外接区域，使得不重叠情况下仍能反映相对位置的改进方向。该思想常被用于边界框回归的损失设计。
5.2 DIoU
距离交并比（DIoU）在IoU之外加入中心点距离项，促使预测框不仅要与真实框重叠，还要在空间位置上靠近。相较仅依赖重叠面积，DIoU对“位置偏移”的优化信号更直接。
5.3 CIoU
完整交并比（CIoU）在DIoU的基础上进一步考虑纵横比一致性，使得预测框的形状与真实框在比例上更协调。对存在尺度与长宽比例变化的数据集，CIoU往往能提供更丰富的约束。
5.4 其他重叠度量指标
除上述常见变体外，研究与工程中还存在多种用于衡量重叠或相似度的指标，例如针对旋转框的重叠度量、基于边界距离的相似度等。它们通常在“几何结构”“可微性”“计算开销”“与任务目标的匹配程度”之间做权衡。
6 优点与局限性
6.1 优点
- 直观：以“重叠程度”表达空间一致性，易于理解与解释。
- 可比较：在统一定义下，不同模型在同一评测协议中可横向对比。
- 与任务目标一致：对检测与分割这类空间定位任务，重叠质量是关键因素。
6.2 局限性
6.2.1 对小目标不敏感
当目标尺寸较小时，即使发生一定像素级偏移，交并比也可能出现不均衡的变化规律。某些情况下，评估对细微差别的分辨率不足，导致模型在小目标上的改进难以充分体现。
6.2.2 对位置偏移较敏感
IoU同时受交集与并集的共同影响，位置偏移会直接改变重叠区域，从而显著降低得分。这虽然对精确定位有益，但也可能使得“接近但未完全对齐”的预测受到较强惩罚。
6.2.3 对形状差异的表达有限
在仅使用矩形IoU的场景中，矩形对真实形状的近似可能过于粗糙。即便预测与真实具有相似位置，只要形状轮廓差异明显，矩形层面的IoU未必能完整反映真实边界差异；在需要精细边界的任务中，掩膜或边界距离类指标更贴合。
7 与其他指标的比较
7.1 与Dice系数的比较
Dice系数也用于衡量两个集合的重叠，常写作 \[
| Dice=\frac{2 | A\cap B | }{ | A | + | B | } |
|---|
\] 两者相似之处在于都反映重叠程度，差别在于归一化方式不同。一般而言，Dice与IoU在很多场景下会呈现较强相关性，但在类别极不平衡或区域大小差异较大的情况下，它们的数值敏感度可能有所不同。
7.2 与准确率类指标的比较
准确率类指标（如整体像素准确率）衡量的是预测与真实一致的比例，容易受到类别不平衡影响：例如背景占比很大时，即使模型对前景识别较差，准确率也可能看起来较高。IoU更强调目标区域的覆盖与匹配，因而通常被认为对分割任务更有针对性。
7.3 与像素级评价指标的比较
像素级评价指标（例如基于边界或像素误差的度量）可能直接度量误差位置或边界偏差。IoU偏向于反映区域重叠，而非单点误差的分布形态。因此在对边界精度要求极高的应用中，IoU可能需要与边界相关指标共同使用，才能更全面地描述性能差异。
8 实际使用注意事项
8.1 标注质量对IoU的影响
IoU依赖标注作为“真值”。当标注存在边界模糊、类别定义不一致或实例切分偏差时，即使模型表现良好，IoU也可能受到限制。因此高质量标注与一致的标注规范往往比单纯调整阈值更关键。
8.2 不同数据集的可比性
不同数据集在标注粒度、尺度分布、遮挡比例与评测协议上可能不同。即使IoU指标形式相同，也未必能直接跨数据集比较。进行横向对比时需要核对：是否使用相同的IoU定义（矩形或掩膜）、相同的阈值策略以及是否采用相同的匹配规则。
8.3 框坐标格式与实现细节
实现中常见坐标形式差异，例如：
- 左上角与右下角坐标
- 中心点与宽高
- 归一化坐标与像素坐标
这些差异会影响交集计算与面积计算的正确性。实际工程通常需要在计算前统一坐标体系，并注意浮点精度、边界取整方式以及“无重叠”情况下的处理。
8.4 评估协议的一致性
评估协议包括但不限于：匹配规则（是否一对多、多对多）、置信度排序方式、阈值集合、是否进行忽略区间处理等。若协议不同，即使IoU计算本身正确，最终指标也可能不可直接对比。复现实验时，保持评估设置一致是保证结论可靠的重要前提。