它是一种更具人性化的聊天机器人,并击败了Google成为世界上最好的聊天机器人
4月29日,Facebook AI Research(FAIR)宣布已构建并开源了一个新的聊天机器人Blender。
最先进的开源聊天机器人
Facebook AI拥有开源的Blender,这是有史以来最大的开放域聊天机器人。 在以下方面,它的表现要优于其他人:
根据FAIR的说法,Blender是有史以来最大的开放域聊天机器人。 它也是第一个使用多种对话技巧构建的聊天机器人,包括承担角色,表现同理心和讨论几乎任何主题的能力。 FAIR声称Blender击败了Google的Meena,成为世界上最好的。
如果您想了解更多信息,请查看Github和Paper。
· GitHub:https://parl.ai/projects/blender/
· 论文:https://arxiv.org/abs/2004.13637
击败Google成为世界上最好的
FAIR声称Blender是最大的开放域聊天机器人,也是世界上最好的聊天机器人。
GitHub上提供了经过预先训练和微调的Blender模型。 该模型包含多达94亿个参数,是最大的现有系统(Google最新的聊天机器人Meena)的3.6倍。
当Google一月份发布Meena时,Google称其为世界上最好的聊天机器人。 现在,根据Facebook自己的成对人类评估,
· 75%的评估人员发现Blender比Meena更具吸引力,
· 67%的评估人员认为Blender的表现更像人类。
· 最初有49%的评估人员无法区分聊天机器人Blender和真实人类。
其他聊天机器人与Blender之间的主要区别在于Blender能够承担角色,表现同情心并讨论几乎任何主题。
在撰写本文时,Google尚未对此声明发表评论。
Blender食谱
据FAIR称,Blender令人印象深刻的结果的秘诀是:
· 庞大的训练数据,
· 混合技能的其他数据集
· 生成策略。
与其他自然语言处理项目一样,Blender接受了大规模的培训,涉及15亿次公开Reddit对话。
此外,该模型使用混合技能对话(BST)进行了微调,从而增强了以下技能的模型:
· 进行个性化使用(PersonaChat)
· 参与知识的使用(维基百科的向导)
· 展示同理心(情感对话)
· 能够无缝融合所有三个(BST)
在训练和微调过程中,使用了许多可能的生成策略,包括波束搜索,下一个令牌采样,n-gram阻塞和仔细选择搜索超参数。
Blender仍然会犯错误
尽管效果看起来不错,但Blender的技能仍远未达到对话系统中人类水平的智能。
到目前为止,该团队仅评估了14轮对话流的聊天机器人。 研究人员表示,在几天或几周的谈话过程中,Blender可能会反复出现且乏味。
另一个问题是,Blender无法记住以前的对话。 Blender使用标准的Transformer架构,该架构对128个BPE令牌的历史记录有严格的限制,因此不能扩展他们从用户那里或从用户那里学到的东西,请参考他们之前说过的话。
Blender还倾向于整理事实,这是深度学习的一个限制,因为它基于统计相关性而不是知识来生成句子。
防止聊天机器人使用有毒或偏颇的语言
你还记得泰吗? Tay是一个聊天机器人,最初是由Microsoft Corporation在2016年3月23日通过Twitter发布的; 当该机器人开始通过其Twitter帐户发布煽动性和攻击性推文时,它引起了随后的争议,导致微软仅在启动后16小时关闭了该服务。
任何聊天机器人都面临着同样的挑战:如何防止其讲有毒或偏颇的语言。 这些聊天机器人经过训练可以模仿人与人之间的对话,有时可以从人与人的数据中学习不良的功能。
FAIR一直试图通过要求群众工作者过滤掉有害的语言来解决此问题。 但是,由于Reddit数据集太大,这似乎是不可能完成的任务。 此外,研究小组还尝试使用分类器在显示有毒语言之前对其进行检测,但他们指出,此类分类器仍然是不会出错的。
请享用!
就是这样。 谢谢阅读。
如果您想玩耍并阅读详细信息,请再次点击以下链接
· GitHub:https://parl.ai/projects/blender/
· 论文:https://arxiv.org/abs/2004.13637
(本文翻译自B. Chen的文章《Facebook has open-sourced its latest chatbot Blender》,参考:https://towardsdatascience.com/facebook-has-open-sourced-its-latest-chatbot-blender-b680eb97bfe2)