1 基本概念
NDCG 是一种用于衡量排序质量的指标，尤其适合评估“越相关的结果是否越靠前”这一问题。它不只关注结果中是否出现了目标项，还会考虑这些项目在列表中的位置，因此常被用于需要体现排名差异的任务。
1.1 定义
NDCG 即归一化折损累积增益，是在 DCG 的基础上引入归一化处理后得到的评价值。它通过对排序结果的整体相关性进行加权求和，再与理想排序结果进行比较，从而得到一个相对分数。
1.2 适用场景
NDCG 适用于输出结果天然带有顺序的任务。只要系统产出的列表中，不同位置的结果重要性不同，就可以用它来衡量排序表现。
1.2.1 信息检索
在搜索引擎中，NDCG 常用于评估检索结果列表是否把更有用、更匹配查询意图的文档排在前面。它特别适合处理多级相关性场景，例如“相关”“部分相关”“不相关”等不同标注。
1.2.2 推荐系统
在推荐系统中，NDCG 可用于衡量推荐列表是否优先展示用户更可能感兴趣的内容。由于用户通常只会浏览前几项，因此该指标对前排结果的表现尤为敏感。
1.2.3 学习排序
在学习排序任务中，NDCG 经常作为训练目标的近似评价指标或离线评估指标。它能够反映模型在整体排序质量上的改进，而不仅仅是单个样本的命中情况。
1.3 核心思想
NDCG 的设计思想可以概括为两点：相关的结果应当排得更靠前，且越靠后的结果其贡献应逐步降低。
1.3.1 相关性优先
如果某个项目与查询或用户需求高度相关，它的出现位置越靠前，系统得分通常越高。这体现了排序任务中“重要结果优先展示”的原则。
1.3.2 位置折损
列表中越靠后的项目，对总分的贡献越小。这种折损机制模拟了真实使用场景中用户注意力随位置下降的现象。
2 数学定义
NDCG 的计算一般分为三个部分：先定义单个结果的增益，再计算折损累积增益，最后用理想排序结果进行归一化。
2.1 DCG 的定义
DCG 是折损累积增益的缩写，用于衡量某一排序列表在考虑位置权重后的总相关性。
2.1.1 线性增益形式
在简单形式中，结果的相关性分值可以直接作为增益值，再乘以对应位置的折损权重并累加。该方式直观，便于理解和计算。
2.1.2 对数折损形式
更常见的写法会对位置使用对数折损，即排名越靠后，权重下降越明显。这样既保留了前排位置的重要性，也避免后排项目对总分产生过大影响。
2.2 IDCG 的定义
IDCG 指理想折损累积增益，即把所有结果按最优相关性顺序排列后得到的 DCG 值。
2.2.1 理想排序
理想排序通常指把相关性最高的项目排在最前面，随后按相关性从高到低依次排列。它代表在当前标注条件下能够达到的最佳结果。
2.2.2 归一化基准
IDCG 作为分母，起到标准化参考的作用。不同查询的相关项数量、相关级别和结果规模可能不同，使用理想值作基准可以提升可比性。
2.3 NDCG 的公式
NDCG 通常定义为某一实际排序的 DCG 与对应理想排序的 DCG 之比。
2.3.1 分子与分母
分子是系统输出排序的 DCG，分母是理想排序的 IDCG。二者相除后得到相对得分，反映当前排序距离最佳排序还有多大差距。
2.3.2 取值范围
在常见定义下，NDCG 的取值通常位于 0 到 1 之间。数值越接近 1，说明排序越接近理想状态；数值越低，则表示排序偏离理想顺序更明显。
3 计算方法
NDCG 的计算过程并不复杂，但需要先有可靠的相关性标注，并明确排序列表的构造方式。
3.1 相关性标注
首先需要为候选项提供人工或规则生成的相关性分值。该分值可以是二元的，也可以是多级的，后者更能体现不同程度的相关差异。
3.2 排序结果生成
系统输出通常是一个按得分排序后的列表。该列表可能来自检索、推荐或排序模型，需要保持与评估对象一致的顺序结构。
3.3 DCG 计算步骤
DCG 的计算本质上是对列表中每个位置的相关性贡献进行加权累加。
3.3.1 按名次累加
从列表第一位开始，依次读取每个结果的相关性值，并将其纳入总和。名次越靠前，通常对总分的影响越大。
3.3.2 折损因子应用
每个位置都会乘上一个与排名有关的折损因子。这个因子会随着位置增加而减小，从而降低后排结果的权重。
3.4 NDCG 归一化步骤
在得到 DCG 后，还需要计算对应的理想排序值，以便进行归一化。
3.4.1 求最优排序
根据相关性标注将所有结果按从高到低排序，得到理想列表。这个列表不一定是系统实际输出的结果，而是理论上的最佳排列。
3.4.2 计算比例值
将实际 DCG 除以理想 DCG，即可得到 NDCG。该比例值便于在不同样本、不同查询之间进行横向比较。
4 变体与扩展
在实际使用中，NDCG 会根据任务目标和数据特点进行若干变体设计。
4.1 NDCG@k
NDCG@k 表示只评估前 k 个结果的 NDCG 值。
4.1.1 截断评估
当系统只展示有限条结果时，后面的条目对用户几乎没有意义，因此可以只统计前 k 位，避免无关部分干扰评估。
4.1.2 前 K 位关注
这一形式更符合网页搜索、首页推荐等场景，因为用户通常主要关注前几个位置的内容。
4.2 不同增益函数
增益函数决定了相关性分值如何转化为贡献值。
4.2.1 线性增益
线性增益将相关性分值直接作为贡献大小，计算简单，适合标注级别较少或解释优先的场景。
4.2.2 指数增益
指数增益会放大高相关项的贡献，使最重要的结果得到更明显的强调。这种方式常用于多级相关标签较丰富的任务。
4.3 不同折损函数
折损函数用于控制位置越靠后、贡献越低的衰减方式。
4.3.1 对数折损
对数折损是最常见的设计之一，具有平缓而稳定的下降特征，既能体现前排优势，也不会让后排权重骤降过快。
4.3.2 其他折损设计
某些任务会根据业务目标使用线性折损、幂函数折损或自定义权重。不同设计会改变指标对位置变化的敏感程度。
5 性质与解释
NDCG 不仅能给出数值，还能帮助分析排序结果的结构特征。
5.1 单调性
如果将更高相关性的项目换到更靠前的位置，NDCG 通常会上升；反之则可能下降。这种单调关系使其符合常识性的排序判断。
5.2 对排名位置的敏感性
NDCG 对前排位置变化更敏感。一个高相关项从第 1 位降到第 5 位，通常比从第 50 位降到第 54 位造成更大的损失。
5.3 对高相关文档的偏好
相比只看命中数量的指标，NDCG 会更看重高相关文档是否得到优先展示。因此，它能更好体现“优质结果前置”的目标。
5.4 可解释性
由于指标构成来自相关性分值和位置折损，NDCG 的得分变化通常可以追溯到具体条目和位置，便于分析模型问题与排序偏差。
6 与其他指标的比较
NDCG 常与多种信息检索和排序指标共同使用，以从不同角度观察系统表现。
6.1 与 Precision 的比较
Precision 关注返回结果中有多少是相关的，但不强调顺序。NDCG 则会进一步考虑相关项排在前面的程度，因此更适合排序任务。
6.2 与 Recall 的比较
Recall 更关心系统找回了多少相关项，适用于强调覆盖率的场景。NDCG 则更重视排序质量，即便找回数量相同，排列顺序不同也会产生不同分数。
6.3 与 MAP 的比较
MAP 主要衡量多个相关项在列表中的平均精确率表现，对二元相关标签较常见。NDCG 更适合多级相关性，能够细分不同相关程度的贡献。
6.4 与 MRR 的比较
MRR 只关注第一个相关结果出现的位置，适合“找到一个就够”的任务。NDCG 则会综合整个列表的排序情况，因此信息量更丰富。
6.5 与 AUC 的比较
AUC 常用于衡量二分类排序能力，反映正负样本的整体区分程度。NDCG 更贴近实际展示顺序，尤其适合结果列表需要强调前几位价值的场景。
7 应用领域
NDCG 的应用范围较广，凡是涉及排序展示的系统，都可能采用这一指标进行离线评估。
7.1 搜索排序评估
在搜索引擎中，NDCG 用于评估不同检索算法或排序策略的效果，帮助判断结果是否更符合用户查询意图。
7.2 推荐系统离线评测
推荐系统中常借助 NDCG 观察模型是否把用户更可能点击或喜欢的内容排在前面。它对推荐列表的前部质量尤其敏感。
7.3 问答与摘要排序
在问答系统和摘要生成中，NDCG 可用于评估候选答案、句子或摘要片段的排序是否合理，从而辅助选择更优输出。
7.4 广告与内容分发
在广告和内容分发场景中，排序结果往往直接影响曝光效果。NDCG 可以用于衡量系统是否把更有价值的条目优先展示。
8 实践中的注意事项
虽然 NDCG 使用广泛，但在落地时仍需注意标注、截断和业务对齐等问题。
8.1 相关性标注质量
指标的可靠性很大程度上取决于标注质量。如果相关性判断存在偏差，NDCG 的结论也会随之失真。
8.2 多级相关标签处理
多级标签可以提高区分度，但也要求标注标准一致。若不同标注者对等级理解不统一，得分波动可能明显增大。
8.3 不同查询间的可比性
由于每个查询的候选集合和理想排序不同，单个样本的 NDCG 值更适合做相对比较。进行整体统计时，通常需要在大量样本上取平均。
8.4 评估截断长度选择
NDCG@k 的 k 值应结合业务展示长度确定。过小可能忽略中后部结果，过大则可能引入用户不太关注的区域。
8.5 业务目标与指标对齐
如果业务更强调点击率、停留时长或覆盖率，单独依赖 NDCG 可能不足。实际应用中通常需要结合其他指标一起观察。
9 局限性
NDCG 虽然实用，但并不是对所有排序问题都完全适配。
9.1 对标注噪声敏感
一旦相关性标注存在误差，高相关与低相关项目之间的排序差异就可能被放大或掩盖。
9.2 对长尾位置影响有限
由于折损机制的存在，列表后部结果对总分贡献较小，因此 NDCG 对长尾位置的细微变化不够敏感。
9.3 不同实现细节差异
不同系统在增益函数、折损方式、是否截断等方面可能存在差异，这会导致同名指标在数值上并不完全一致。
9.4 与真实用户满意度的偏差
NDCG 反映的是基于标注的排序质量，而真实用户行为还受界面、情境、偏好波动等多种因素影响，因此两者不一定完全一致。
10 相关概念
NDCG 的理解通常与若干排序和评估术语相互关联。
10.1 累积增益
累积增益指对多个结果的相关性贡献进行求和，是衡量整体排序收益的基础思路。
10.2 折损函数
折损函数用于描述位置越靠后、权重越低的衰减规律，是 NDCG 结构中的关键组成部分。
10.3 排序学习
排序学习是一类以学习结果顺序为目标的机器学习方法，NDCG 常作为其评估依据之一。
10.4 评估基准
评估基准是用于比较不同系统表现的标准集合，NDCG 常被纳入基准测试中以衡量排序优劣。