原载：Paperweekly
作者：黄民烈，清华大学老师
关注自然语言处理、人机对话情感分析等方向
aihuang@tsinghua.edu.cn
当你悲伤的时候，机器人可以安慰你；当你高兴的时候，机器人为你高兴。悲你所悲，喜你所喜，真正的情感抚慰和陪伴，就需要这种情绪化的聊天技巧。
清华大学计算机系朱小燕、黄民烈老师团队研发的 ECM（Emotional Chatting Machine：情绪化聊天机器人）开始具备这样的能力。
近年来，随着深度学习的发展，应用于开放领域的对话系统正在受到越来越多的关注。与之前基于信息检索的对话系统不同，基于深度学习的生成式对话系统可以从大规模的语料中学习到潜在的回复模式，从而可以生成语料中从未出现过的回复语句，在适用性与扩展性上都比基于信息检索的对话系统有了极大的提升。之前，大量的生成式对话系统的工作都致力于提升对话系统生成语句的语言质量，包括语法性、多样性以及话题相关性等等，却缺乏对人类情感的理解。然而，很多研究表明，情感智力（Emotion Intelligence）对人机对话系统的表现有着至关重要的影响，是一个成功的对话系统不可或缺的重要组成部分。
朱小燕、黄民烈老师团队近期发布的论文「 Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory」（作者：周昊、黄民烈、张天扬、朱小燕、刘兵）首次将情感因素引入了基于深度学习的生成式对话系统，提出了基于记忆网络的情感对话系统 Emotional Chatting Machine (ECM) ，在传统的 Sequence to Sequence 模型的基础上，ECM 使用了静态的情感向量嵌入表示，动态的情感状态记忆网络和情感词外部记忆的机制，使得 ECM 可以根据用户的输入以及指定情感分类输出相应情感的回复语句。实验表明，ECM 可以在语言和情感两个维度上生成恰当的回复，并且通过人工实验验证了人们偏好于引入了情感因素的对话系统。作为第一篇将情感因素引入基于深度学习的生成式对话系统的论文，该工作受到了包括 MIT Technology Review 和 NVIDIA DEVELOPER 的关注（报道链接详见文末）。其中，MIT Technology Review 的评价：“Chatbots have never been able to empathize. That looks set to change, thanks to a Chinese team that has built a chatbot capable of conveying specific emotions.”
△ 图1：ECM 模型框架
模型的总体框架如图 1 所示，用户问题输入为“What a lovely day!”，通过 Encoder 将其编码为隐向量表示 h，然后通过注意力机制，结合 decoder 的状态向量 s 在生成不同的词时，对问题的隐向量表示 h 的不同部分的信息选择性的加强，得到向量 c。指定情感类别为“Happiness”，经过索引得到情感类别嵌入向量，初始的情感状态记忆向量和相应的情感词表。decoder 接受经过注意力机制的问题向量 c，情感类别嵌入向量和初始的情感状态记忆向量作为输入，通过循环神经网络生成下个词的生成概率 o，之后再经过情感词表对情感词和非情感词的加权，得到最终词的生成概率，通过采样即可得到输出“Haha, so happy today!”。
△ 图2：ECM 生成的对话样例，与经典 Seq2Seq 模型的比较
ECM 生成的对话样例如图所示，对大部分在语料中出现较多的情感类别，ECM 都能生成相应情感的回复，但是对于在语料中出现较少的情感类别（如最后 2 行），ECM 回复的质量会有所降低。更多有趣的例子可见下表：
指定情绪 | Emotional Chatting Machine |
|---|---|
POST | 早上的天气不错啊！哈哈哈哈哈哈 |
喜欢 | 今天的天气不错啊！ |
悲伤 | 天气好，心情不好。 |
厌恶 | 这是哪里啊？求解释 |
愤怒 | 怎么了？什么情况？ |
快乐 | 今天的天气真好啊！ |
POST | 送一个这样的蛋糕，给你美丽的闺蜜吧！ |
喜欢 | 好漂亮的蛋糕啊！ |
悲伤 | 为什么我觉得很恶心 |
厌恶 | 这样的蛋糕你忍心吗？ |
愤怒 | 有没有想开网店的？ |
快乐 | 哈哈，好可爱的蛋糕！ |
POST | 承诺，就是一个骗子说给一个傻子听的！ |
喜欢 | 承诺是一个专一的傻子 |
悲伤 | 我就是一个悲伤的傻子 |
厌恶 | 一个骗子说给一个傻子听 |
愤怒 | 不管你信不信，反正我信了！ |
快乐 | 我就是一个开心的傻子 |
POST | 为了解决抄作业的不好习惯，高数老师这回要出绝招了！ |
喜欢 | 这老师太有才了！ |
悲伤 | 这样的老师伤不起啊 |
厌恶 | 这老师也太狠了点吧 |
愤怒 | 这老师是要逆天啊！ |
快乐 | 哈哈，这老师太有才了 |
MIT Technology Review: https://www.technologyreview.com/s/604157/emotional-chatting-machine-assesses-your-emotion-and-copies-it/
NVIDIA DEVELOPER: https://news.developer.nvidia.com/emotional-chatting-chatbot/
欢迎点击「 阅读全文」查看完整版论文： Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory
关于PaperWeekly
PaperWeekly 是一个分享知识和交流学问的学术组织，关注的领域是 NLP 的各个方向。如果你也经常读 paper，喜欢分享知识，喜欢和大家一起讨论和学习的话，请速速来加入我们吧。
关注微博: @PaperWeekly
