推荐系统中常用评价指标及其实现

定义

0 符号系统

符号	含义	备注
K, k	Top-K 推荐中的 K 值, 比如 Top-5 表示给每个用户推荐 5 个物品
$U$	用户总数量
$I$	物品总数量
$u$	代指一个用户
$i$	代指一个物品
$\mathcal{R}(u)$	给用户 $u$ 推荐的物品列表
$\mathcal{T}(u)$	用户 $u$ 的真实交互列表

1 评分指标

1.1 平均绝对误差(Mean Absolute Error, MAE)

1.2 均方误差(Mean Squared Error)

1.2 均方根误差(Root Mean Absolute Error, RMSE)

2 准确性指标

2.1 召回率(Recall)

Recall 表示推荐的列表中预测正确的占总体的比例.
$\mathrm{Recall}@K=\frac{1}{U}\sum_{u=1}^{U}\frac{\mid\mathcal{R}(u)\cap\mathcal{T}(u)\mid}{\mid\mathcal{T}(u)\mid}$

2.2 精确度(Precision)

Precision 表示推荐的列表中有多少是正确的.
$\mathrm{Precision}@K=\frac{1}{U}\sum_{u=1}^{U}\frac{\mid\mathcal{R}(u)\cap\mathcal{T}(u)\mid}{\mid\mathcal{R}(u)\mid}=\frac{1}{U}\sum_{u=1}^{U}\frac{\mid\mathcal{R}(u)\cap\mathcal{T}(u)\mid}{K}$

3 排名指标

3.1 命中率(Hit Ratio, HR)

HR 表示推荐列表中至少有一个物品命中的比例.

$\mathrm{HR}@K=\frac{1}{U}\sum_{u=1}^{U}\mathrm{hr}(u)\\ \mathrm{hr}(u)=\left\{ \begin{aligned} &1,\mathcal{R}(u)\cap\mathcal{T}(u)\neq\varnothing\\ &0,\mathcal{R}(u)\cap\mathcal{T}(u)=\varnothing \end{aligned} \right.$

3.2 平均倒数排名(Mean Reciprocal Rank, MRR)

$\mathrm{MRR}@K=\frac{1}{U}\sum_{u=1}^{U}\frac{1}{\mathrm{rank}(u)}$

$\mathrm{rank}(u)$ 表示对用户 $u$ 的推荐中( $\mathcal{R}(u)$ ), 第一个命中的项目在推荐列表( $\mathcal{R}(u)$ )中的次序, 若没有命中, 则 $\mathrm{rank}(u)\to\infty$ .

MRR calculation example

3.3 Mean Average Precision (MAP)

$\mathrm{MAP}@K=\frac{1}{U}\sum_{u=1}^{U}{\mathrm{AP}@K}_{u}\\ {\mathrm{AP}@K}_{u}=\frac{1}{\mid\mathcal{R}(u)\cap\mathcal{T}(u)\mid}\sum_{k=1}^{K}\mathrm{Precision}(k)\times\mathrm{rel}(k)$

$\mathrm{Precision}(k)$ : 计算用户 $u$ 的推荐列表中的第 $k$ 个元素位置的 $\mathrm{Precision}@k$ .

$\mathrm{rel}(k)$ : 当用户 $u$ 的推荐列表中的第 $k$ 个元素命中时 $re l (k) = 1$ , 否则 $re l (k) = 0$ .

Precision at K example

Average precision example

3.4 归一化折损累计增益(Normalized Discounted Cumulative Gain, NDCG)

$\mathrm{NDCG}@K=\frac{1}{U}\sum_{u=1}^{U}\frac{\mathrm{DCG}@K_{u}}{\mathrm{IDCG}@K}\\ \mathrm{DCG}@K_{u}=\sum_{i=1}^{K}\frac{\mathrm{rel}(i)}{\log_{2}(i+1)}\\ \mathrm{IDCG}@K=\sum_{i=1}^{K}\frac{1}{\log_{2}(i+1)}$