1 当前成果
上图是对于AI级别为40级以下的对局结果统计图,横坐标是对于AI级与当前模型预测级别的差值,纵坐标是玩家的胜率。由图中可以看出,玩家胜率符合预测。当AI级别比预测级别高时,玩家胜率越来越低,反之玩家胜率会越来越高;当预测级别与AI级别级基本相同时胜率在0.5左右。下图是级别差与平局数量的关系,当预测级别与AI级别级别相同时,出现平局的次数也最多。
上图是AI级别为40级以上的对局结果统计图,统计结果反映该区间的胜负情况与级别差值无明显关系。对于该类对局,包含了真实的高等级玩家和越级挑战玩家,越级挑战的玩家由于预测级别往往较低,可以被认为是较为准确的预测。而对于高等级的玩家则难以预测。
该图反映了AI级别为40级以上的对局中,预测级别差与玩家胜利次数间的关系,由纵坐标可以看出,在该级别区间的对局数量很少,且玩家失败的概率远远大于玩家获胜的概率,这表示真正的高等级玩家非常少。
2 高等级玩家预测
对于高等级玩家的预测存在以下难点:
- 高等级玩家数据非常少:玩家等级的预测依赖于数据,数据量的大小直接影响了预测的效果。由于玩家的等级无法显示,因此需要分析玩家与高等级AI的对局得到。此类对局的数量很少,且通过上文分析可知,其中大多数是越级挑战的玩家,真正的高等级玩家非常少。这为学习高等级玩家的行为特征带来了巨大的困难。
- 高等级玩家之间的行为存在着较大的相似性:对于黑白棋的大多数局面,可选择的最优解往往很少,在一定等级上的高等级玩家都会选择相似的步骤,等级差异只会在某几个关键步骤上体现出来。
- 高等级人类和AI之间的行为具有不同的特征:根据以往的研究,很难采用AI对战的方法来获取人类用户的行为特征。
基于代价敏感的考虑,没有必要对高等级玩家的预测,原因如下:
- 高等级玩家占比很少,但预测消耗较大:通过上图分析可以看出,在40级以上能与AI打成平手或胜利的玩家寥寥无几,但预测此类玩家需要模型有更为细致的特征区分能力,即算法运算时间会增加,研发时间更长,当前投入无法得到相应的回报。
- 模型的替代成本:当前模型对中低水平的玩家预测较为准确,绝大部分用户的级别都处于该区间。若继续开发高等级预测模型,一方面可能会导致对低等级的预测效果不如当前模型;另一方面可能需要推翻当前模型,成本较高。
因此,目前无需特意研究高等级玩家的级别预测。若日后高等级玩家增多,数据量较大时才存在研究必要。