MAP@R (Mean Average Precision at R)
是一种用于评估信息检索系统或排序模型效果的评价指标。它特别适用于那些返回一组相关结果的情况，例如搜索引擎或推荐系统。这里的“R”代表返回的相关结果的数量。MAP@R 考虑了结果的排名和相关性两个因素。
计算方法
- 计算平均精度 (Average Precision, AP)：对于每个查询，首先计算其精度（Precision）在不同截断级别（即不同数量的返回结果）的值，然后计算这些精度值的平均值。精度是指检索到的相关文档数量与检索到的总文档数量的比值。
- 计算平均精度的平均值 (Mean AP)：对所有查询的平均精度（AP）进行平均。如果是MAP@R，那么在计算每个查询的AP时，只考虑前R个结果。
应用场景
MAP@R 通常用于评估搜索引擎、推荐系统、文本检索、图像检索等领域中的模型性能，特别是在关注顶部结果的精确性时。
计算实例
假设我们有一个搜索引擎，它针对两个不同的搜索查询返回了以下结果（这里的“相关”和“不相关”是基于某种标准预先定义的）：
-
查询 1:
- 返回的结果：[相关, 不相关, 相关, 不相关, 相关]
- R = 3（我们只考虑前3个结果）
-
查询 2:
- 返回的结果：[相关, 相关, 不相关, 相关, 不相关]
- R = 3
步骤
- 计算每个查询的平均精度 (AP):
-
对于查询 1，只看前3个结果：
- 第一个相关结果的精度 = 1/1
- 第二个相关结果的精度 = 2/3
- 第三个相关结果（不在前3个结果中）不计算。
- AP1 = (1/1 + 2/3) / 2 = 0.83
-
对于查询 2，只看前3个结果：
- 第一个相关结果的精度 = 1/1
- 第二个相关结果的精度 = 2/2
- 第三个相关结果（不在前3个结果中）不计算。
- AP2 = (1/1 + 2/2) / 2 = 1.00
- 计算 MAP@R:
- MAP@3 = (AP1 + AP2) / 2 = (0.83 + 1.00) / 2 = 0.915
因此，在这个例子中，MAP@3的值是0.915。这意味着在前3个返回结果中，模型在这两个查询上的平均表现接近于91.5%的准确率。请注意，在实际应用中，通常会对大量查询进行此类计算，以得到更为可靠的平均值。
)
