【评估指标】广告/推荐评估指标 NDCG

2020-11-25 本文已影响0人 7ccc099f4608

参考：https://en.wikipedia.org/wiki/Discounted_cumulative_gain

定义

NDCG：Normalized Discounted Cumulative Gain，归一化（的）折损累计增益
感觉翻译为归一化的加权累计增益更好理解，只不过权重是衰减的。

指标演化

CG

累计增益：不考虑顺序/相对位置，只对增益做累加
$CG = \sum_{i=1}^{k} {gain}$

DCG

折损累计增益：考虑顺序/相对位置，对增益做加权。增益越大、排在越前面的，DCG越大。但是两个不同的DCG不具有可比性（DCG大，不一定是真的好，可能只是CG大，加权后还是大）。
$DCG = \sum_{i=1}^{k} {\frac{gain}{log_{2}{(i+1)}}}$
权重：
$\frac{1}{log_{2}{(i+1)}}$

NDCG

归一化（的）折损累计增益：对DCG做归一化，使得指标具有可比性。
归一化的方式是引入IDCG （Ideal Discounted Cumulative Gain），理想情况下的折损累计增益。即，认为最完美的排序方式是，增益大的排在前面，此时的DCG是最大的，也就是IDCG。

$NDCG = \frac{DCG} {IDCG}$

计算

DCG

排序（i）	增益（gain）	CG	$\frac{1}{log_{2}{(i+1)}}$	$DCG = \frac{\\gain}{log_{2}{(i+1)}}$
1	3	3	1	3
2	2	5	1.585	1.262
3	3	8	2	1.5
4	0	8	2.322	0
5	1	9	2.585	0.387
6	2	11	2.807	0.712

$DCG = \sum_{i=1}^{k} {\frac{gain}{log_{2}{(i+1)}}}=3+1.62+...+0.712=6.861$

IDCG

增益（按照增益排序后）	$\frac{1}{log_{2}{(i+1)}}$	$\frac{\\gain}{log_{2}{(i+1)}}$
3	1	3
3	1.585	1.892744479
2	2	1
2	2.322	0.861326443
1	2.585	0.386847195
0	2.807	0

$IDCG = \sum_{i=1}^{k} {\frac{gain}{log_{2} {(i+1)}}}=3+1.892+...+0=7.141$

NDCG

$NDCG = {\frac{DCG}{IDCG} }=0.961$

DCG 和IDCG增益（gain）保持一致，只是折损（排序）不一致。

上一篇下一篇

猜你喜欢

热点阅读