来源：《情感计算与情感机器人系统》

作者：吴敏，刘振焘，陈略峰著

随着机器人进入日常生活中的各个方面，人们对其提出了更高的要求，希望它们具有感知人类情感、意图的能力，这类机器人称为情感机器人。

情感机器人的出现将改变传统的人机交互模式，实现人与机器人的情感交互。用人工的方法和技术赋予机器人以人类式的情感，使情感机器人具有识别、理解和表达喜乐哀怒的能力。

目前，机器人革命已经进入“互联网＋情感＋智能”的时代，这就要求机器人具有情感。

情感计算

情感计算就是赋予计算机像人一样的观察、理解和表达各种情感特征的能力，最终使计算机能与人进行自然、亲切和生动的交互。情感计算及其在人机交互系统中的应用必将成为未来人工智能的一个重要研究方向。

什么是情感计算？

情感计算的概念是在1997 年由麻省理工学院（Massachusetts Institute of Tech-nology，MIT）媒体实验室Picard 教授提出的，她指出情感计算与情感相关，源于情感或能够对情感施加影响的计算。

 

心理学和认知科学对情感计算的发展起了很大的促进作用。心理学研究表明，情感是人与环境之间某种关系的维持或改变，当外界环境的发展与人的需求及愿望符合时会引起人积极肯定的情感，反之则会引起人消极否定的情感。情感是人态度在生理上一种较复杂而又稳定的生理评价和体验，在生理反应上的反映包括喜、怒、忧、思、悲、恐、惊七种基本情感。

 

情感计算是一门综合性很强的技术，是人工智能情感化的关键一步。情感计算的主要研究内容包括：分析情感的机制，主要是情感状态判定及与生理和行为之间的关系；利用多种传感器获取人当前情感状态下的行为特征与生理变化信息，如语音信号、面部表情、身体姿态等体态语以及脉搏、皮肤电、脑电等生理指标；通过对情感信号的分析与处理，构建情感模型将情感量化，使机器人具有感知、识别并理解人情感状态的能力，从而使情感更加容易表达；根据情感分析与决策的结果，机器人能够针对人的情感状态进行情感表达，并做出行为反应。

不能理解怎能陪伴：情感计算关键技术

情感计算中关键的两个技术环节是如何让机器能够识别人的情感、如何根据人的情感状态产生和表达机器的情感。虽然情感计算是一门新兴学科，但前期心理学、生理学、行为学和脑科学等相关学科的研究成果已经为情感计算的研究奠定了坚实的基础。目前，国内外关于情感计算的研究已经在情感识别和情感合成与表达方面，包括语音情感识别与合成表达、人脸表情识别与合成表达、生理信号情感识别、身体姿态情感识别与合成表达等，取得了初步成果。

1、情感识别现状

情感识别是通过对情感信号的特征提取，得到能最大限度地表征人类情感的情感特征数据，据此进行建模，找出情感的外在表象数据与内在情感状态的映射关系，从而将人类当前的内在情感类型识别出来。在情感计算中，情感识别是最重要的研究内容之一。情感识别的研究主要包括语音情感识别、人脸表情识别和生理信号情感识别等。

1）语音情感识别

 

MIT 媒体实验室Picard 教授带领的情感计算研究团队在1997 年就开始了对于语音情感的研究。在语音情感识别方面，该团队的成员Fernandez 等开发了汽车驾驶语音情感识别系统，通过语音对司机的情感状态进行分析，有效减少了车辆行驶过程中因不好情感状态而引起的危险。

 

2）人脸表情识别

 

人脸表情识别是情感识别中非常关键的一部分。在人类交流过程中，有55%是通过面部表情来完成情感传递的。

20 世纪70 年代，美国心理学家Ekman 和Friesen 对现代人脸表情识别做了开创性的工作。Ekman 定义了人类的6 种基本表情：高兴、生气、吃惊、恐惧、厌恶和悲伤，确定了识别对象的类别；建立了面部动作编码系统（facial action coding system，FACS），使研究者能够按照系统划分的一系列人脸动作单元来描述人脸面部动作，根据人脸运动与表情的关系，检测人脸面部细微表情。随后，Suwa 等对人脸视频动画进行了人脸表情识别的最初尝试。随着模式识别与图像处理技术的发展，人脸表情识别技术得到迅猛发展与广泛的应用。目前，大多数情感机器人（如MIT 的Kismet 机器人、日本的AHI 机器人等）都具有较好的人脸表情识别能力。

 

3）生理信号情感识别

 

MIT 媒体实验室情感计算研究团队最早对生理信号的情感识别进行研究，同时也证明了生理信号运用到情感识别中是可行的。Picard 教授在最初的实验中采用肌电、皮肤电、呼吸和血容量搏动4 种生理信号，并提取它们的24 维统计特征对这4 种情感状态进行识别。德国奥格斯堡大学计算机学院的Wagner 等对心电、肌电、皮肤电和呼吸4 种生理信号进行分析来识别高兴、生气、喜悦和悲伤4 种情绪，取得了较好的效果。韩国的Kim 等研究发现通过测量心脏心率、皮肤导电率、体温等生理信号可以有效地识别人的情感状态，他们与三星公司合作开发了一种基于多生理信号短时监控的情感识别系统。

2、情感合成与表达现状

机器除了识别、理解人的情感之外，还需要进行情感的反馈，即机器的情感合成与表达。人类的情感很难用指标量化，机器则恰恰相反，一堆冷冰冰的零部件被组装起来，把看不见摸不着的“情感”量化成机器可理解、表达的数据产物。与人类的情感表达方式类似，机器的情感表达可以通过语音、面部表情和手势等多模态信息进行传递，因此机器的情感合成可分为情感语音合成、面部表情合成和肢体语言合成。

 

1）情感语音合成

 

情感语音合成是将富有表现力的情感加入传统的语音合成技术。常用的方法有基于波形拼接的合成方法、基于韵律特征的合成方法和基于统计参数特征的合成方法。

基于波形拼接的合成方法是从事先建立的语音数据库中选择合适的语音单元，如半音节、音节、音素、字等，利用这些片段进行拼接处理得到想要的情感语音。基音同步叠加技术就是利用该方法实现的。

基于韵律特征的合成方法是将韵律学参数加入情感语音的合成中。He 等提取基音频率、短时能量等韵律学参数建立韵律特征模板，合成了带有情感的语音信号。

 

2）面部表情合成

 

面部表情合成是利用计算机技术在屏幕上合成一张带有表情的人脸图像。常用的方法有4 种，即基于物理肌肉模型的方法、基于样本统计的方法、基于伪肌肉模型的方法和基于运动向量分析的方法。

基于物理肌肉模型的方法模拟面部肌肉的弹性，通过弹性网格建立表情模型。基于样本统计的方法对采集好的表情数据库进行训练，建立人脸表情的合成模型。基于伪肌肉模型的方法采用样条曲线、张量、自由曲面变形等方法模拟肌肉弹性。基于运动向量分析的方法是对面部表情向量进行分析得到基向量，对这些基向量进行线性组合得到合成的表情。

荷兰数学和计算机科学中心的Hendrix 等提出的CharToon 系统通过对情感圆盘上的7 种已知表情（中性、悲伤、高兴、生气、害怕、厌恶和惊讶）进行插值生成各种表情。荷兰特温特大学的Bui 等实现了一个基于模糊规则的面部表情生成系统，可将动画Agent 的7 种表情和6 种基本情感混合的表情映射到不同的3D 人脸肌肉模型上。我国西安交通大学的Yang 等提出了一种交互式的利用局部约束的人脸素描表情生成方法。该方法通过样本表情图像获得面部形状和相关运动的预先信息，再结合统计人脸模型和用户输入的约束条件得到输出的表情素描。

 

3）肢体语言合成

 

肢体语言主要包括手势、头部等部位的姿态，其合成的技术是通过分析动作基元的特征，用运动单元之间的运动特征构造一个单元库，根据不同的需要选择所需的运动交互合成相应的动作。由于人体关节自由度较高，运动控制比较困难，为了丰富虚拟人运动合成细节，一些研究利用高层语义参数进行运动合成控制，运用各种控制技术实现合成运动的情感表达。

日本东京工业大学的Amaya 等提出一种由中性无表情的运动产生情感动画的方法。该方法首先获取人的不同情感状态的运动情况，然后计算每一种情感的情感转变，即中性和情感运动的差异。Coulson 在Ekman 的情感模型的基础上创造了6 种基本情感的相应身体语言模型，将各种姿态的定性描述转化成用数据定量分析各种肢体语言。瑞士洛桑联邦理工学院的Erden 根据Coulson 情感运动模型、NAO 机器人的自由度和关节运动角度范围，设置了NAO 机器人6 种基本情感的姿态的不同肢体语言的关节角度，使得NAO 机器人能够通过肢体语言表达相应的情感。

 

在我国，哈尔滨工业大学研发了多功能感知机，主要包括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语合成、表情合成和唇读等功能，并与海尔公司合作研究服务机器人；清华大学进行了基于人工情感的机器人控制体系结构研究；北京交通大学进行了多功能感知和情感计算的融合研究；中国地质大学（武汉）研发了一套基于多模态情感计算的人机交互系统，采用多模态信息的交互方式，实现语音、面部表情和手势等多模态信息的情感交互。

 

虽然情感计算的研究已经取得了一定的成果，但是仍然面临很多挑战，如情感信息采集技术问题、情感识别算法、情感的理解与表达问题，以及多模态情感识别技术等。另外，如何将情感识别技术运用到人性化和智能化的人机交互中也是一个值得深入研究的课题。显然，为了解决这些问题，我们需要理解人对环境感知以及情感和意图的产生与表达机理，研究智能信息采集设备来获取更加细致和准确的情感信息，需要从算法层面和建模层面进行深入钻研，使得机器能够高效、高精度地识别出人的情感状态并产生和表达相应的情感。

情感计算的应用

随着情感计算技术的发展，相关的研究成果已经广泛应用于人机交互中。人机交互是人与机器之间通过媒体或手段进行交互。随着科学技术的不断进步和完善，传统的人机交互已经满足不了人们的需要。由于传统的人机交互主要通过生硬的机械化方式进行，注重交互过程的便利性和准确性，而忽略了人机之间的情感交流，无法理解和适应人的情绪或心境。如果缺乏情感理解和表达能力，机器就无法具有与人一样的智能，也很难实现自然和谐的人机交互，使得人机交互的应用受到局限。

 

由此可见，情感计算对于人机交互设计的重要性日益显著，将情感计算能力与计算设备有机结合能够帮助机器正确感知环境，理解用户的情感和意图，并做出合适反应。具有情感计算能力的人机交互系统已经应用到许多方面，如健康医疗、远程教育和安全驾驶等。

 

除了在人机交互方面的应用，情感计算还运用到人们的日常生活中，为人类提供更好的服务。

在电子商务方面，系统可通过眼动仪追踪用户浏览设计方案时的眼睛轨迹、聚焦等参数，分析这些参数与客户关注度的关联，并记录客户对商品的兴趣，自动分析其偏好。另外有研究表明，不同的图像可以引起人不同的情绪。例如，蛇、蜘蛛和枪等图片能引起恐惧，而有大量金钱和黄金等的图片则可以让人兴奋和愉悦。如果电子商务网站在设计时考虑这些因素对客户情绪的影响，将对提升客流量产生非常积极的作用。

在家庭生活方面，在信息家电和智能仪器中增加自动感知人们情绪状态的功能，可提高人们的生活质量。

在信息检索方面，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。

另外，情感计算还可以应用在机器人、智能玩具和游戏等相关产业中，以构筑更加拟人化的风格。

本文摘编自吴敏，刘振焘，陈略峰著《情感计算与情感机器人系统》第1章，内容略有删减改动。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”