前沿|8种面部表情实时追踪,你的喜怒哀乐全被AI看穿了

来源:雷锋网

与人类一样,AI也学会了“察言观色”

有研究表明,人类在相似的社会环境下表达情感的面部表情几乎是相同的。如果一个人皱眉、嘟嘴、脸色涨红,你一定知道TA是在生气,现在AI同样能够“看穿”这一点。

情感分析一直是AI的重点研究方向,它分为文本识别、语音识别、视觉识别三种主要途径,后者也就是面部表情的分析。

最近这项研究又有了新的进展。在识别生气,愤怒、开心、悲伤等情绪特征的基础上,AI或许能够更进一步追踪面部情绪变化的全过程。

近日,三星人人工智能研究院(Samsung AI)联合伦敦帝国理工学院(Imperial College London)在《自然机器智能》期刊发表了一篇名为《自然状态下人脸连续性效价和唤醒水平估计》的论文。

在论文中,研究人员称他们开发了一种基于深度神经网络的AI系统,该系统可以通过分析日常环境下拍摄的图像\视频,高精度地估计人脸面部的情绪效价和情绪唤醒。

这意味着AI系统不仅能够快速、实时且精准地监测面部情绪,同时还能呈现不同情绪所达到的程度。

▍用深度神经网络识别面部表情

上述提到的情绪效价( Valence )和情绪唤醒(Arousal),是心理学专家用来评估人类情绪的专业术语。

其中,前者描述了一个人对于某事物的感兴趣或排斥的程度。后者是指一个人对外界刺激重新产生反应的程度,比如是微笑,大笑,狂笑,还是歇斯底里的笑。

在大部分人眼中,通过看脸评估情绪效价和唤醒是很容易的,但对于机器来说却是一项艰难的挑战。

在全世界范围内,众多科研机构和人员都在开发基于深度神经网络的模型,以根据人们的面部表情预测情绪,然而,到目前为止所开发的大多数模型仅能够检测出愤怒、快乐、悲伤等主要情绪状态,而不是人类情感中更微妙的情绪特征。

而本次研究提出的深度神经网络模型能够在识别8种基本面部情绪之上,进一步评估情绪的效能水平(积极状态 or 消极状态)以及唤醒水平(激动 or 平静)。

如研究人员在论文中写道,“长期以来我们一直致力于研究面部情感分析,一般来说,情感的离散类别有限,无法覆盖人类每天表现出的所有情绪范围,因此,我们把注意力转移到更普遍的情感维度上,即效价和唤醒。”

他们将该模型在三个具有挑战性的数据集上进行了测试,效果如下:

如我们所见,在连续性状态下,模型能够精准识别面部情绪,并实时反映其情绪所达到的程度,如蓝色条越高代表越愤怒。

黄色条的高度代表悲伤的程度。

研究人员介绍,该模型主要是通过特定五官来分析面部表情,如一个人的嘴唇、鼻子、眼睛等,这使得它能够把注意力集中在与估计效价和唤醒水平最相关的区域,并实现分析人脸在自然状态下的情绪特征。

另外,该AI模型还能够在8种常见的面部情绪中,给出更精确的监测定位(如右下角)。

研究人员称,该模型能够在给定的面部图像上,准确地、连续性地估计情绪效价和唤醒,是因其经过了有注释的图像数据集的训练,这些图像包含了有关效价和唤醒的信息。

同时在算法方面,为了提高模型在任务中的性能,他们使用了离散情绪类别作为辅助标签,以提供额外监督;为了防止在网络训练过程中出现过拟合问题,采用了随机过程、抖动正则化相结合的方法。

当然除了关键算法,构建机器学习系统还需要一个基本要素:合适的数据集。以上Demo的训练数据集为AFEW-VA和SEWA,它们是研究团队专门自建的可用于训练情绪识别的深层神经网络的数据集。

研究人员说:“我们创建AFEW-VA数据集,目的是要验证在自然条件下模型的有效性,而不是受控于实验室条件下的有效性。因此该数据集包含的内容均来自真实世界所拍摄的图像和视频。”

在最初的评估中,深度神经网络模型能够在自然条件下拍摄的人脸图像中达到前所未有的准确度,而且在AffectNet和SEWA数据集上进行测试时,它所表现的性能与人工标注基本能够达到一致性。

研究人员说:“我们的神经网络在两个数据集上的表现优于专家注释之间的一致性。”,这意味着如果将神经网络视为另一个人工注释者,那么它与人类注释者之间的一致性至少与其他人类注释者之间的一致性相同,这样的结果是非常显著的。”

更重要的是,除了性能表现良好外,采用深度学习更易于操作和退推广,因为它的预测是基于普通相机拍摄的图像和视频,例如它可以用于市场分析,或创造更具交互性的机器人。

论文的最后,研究人员强调,无论是情绪类型识别的精度度,还是反映不同情绪的变化过程,该AI模型要优于所有现有的方法。

看到这里有同学可能会好奇,AI为什么要达到如此高的情绪识别度?

▍有哪些潜在应用场景

其实,面部情感分析的目的是让计算机更好地理解人的情绪状态,从而创建更友好的人机交互过程。

在现实环境中,它在智能驾驶、新零售、临床医疗等诸多领域都有着广泛的应用场景,也正是这些领域对AI识别人类情绪的能力提出了更高的要求。

例如在智能驾驶领域,AI对驾驶员的表情识别是提升智能汽车安全性和舒适性的关键因素。比如当系统推荐了一首驾驶员或乘客不喜欢的音乐时,通过分析车内人员的面部表情,系统便可自动“切歌”。

或者在新零售领域,商家可以采用表情识别技术分析顾客情绪,了解他们对不同商品的喜好程度,以此推荐适合的广告,实现精准营销等等。

随着人工智能技术和相关学科的飞速发展,人们对自动化和人机交互的需求日益强烈,表情识别作为计算机理解人类情感的基础,相关研究成果也有了很大的进展,不过,总体而言仍处于实验室探索阶段,距离大规模场景落地还有很长的一段距离。

另外,据有关研究表明,人类的面部表情至少有21种,除了高兴、悲伤、愤怒、厌恶等8种常见情绪外,还有13种可别区分的复合表情。那么你觉得未来AI真的能看懂人类复杂的情绪变化吗?

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/485440.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

css3 transform文字,CSS3 transform 字体模糊问题

使用 Vue Material 的 Dialog 做了一个弹出框,弹出框内动态绑定了几个数据,页面效果一出来What the fuck? 马赛克?Vue Material 的组件肯定没问题,应该自己代码哪问题,先把官网提供的例子在项目中运行了一下&#xff…

二分 poj 3273

题目链接:https://vjudge.net/problem/POJ-3273 把n个连续的数字划分成m个连续的部分,每个部分都有一个部分和(这个部分所有值加起来),现在要使划分里最大的那个部分和最小。 我用的也是二分,用二分枚举最大…

MyBatis的配置

dao层的操作太麻烦 jdbc 连接数据库,释放空间什么的太烦了,为了简化,引入了MyBatis Mabatis可以简化JDBC操作,实现数据的持久化 Mabatis是一个ORM产品 ORM:Object Relational Mapping eg: person对象 p…

费曼:微积分是上帝的语言 | 书摘

莱布尼茨和牛顿,图片来自thegreatcoursesdaily.com来源: 赛先生制版编辑:Morgan撰文:史蒂夫斯托加茨(美国康奈尔大学应用数学系教授)没有微积分,我们就不会拥有手机、计算机和微波炉&#xff0c…

js纯ajax,自动完成JS类(纯JS, Ajax模式)

自动完成JS类(纯JS, Ajax模式)更新时间:2009年03月12日 23:51:15 作者:自动完成JS类,用户体验较好。封装成类,方便使用。本站一、 封装的JS文件//********************************************************//创建日期: 2009-03…

Leetcode--151. 翻转字符串里的单词

给定一个字符串,逐个翻转字符串中的每个单词。 示例 1: 输入: "the sky is blue" 输出: "blue is sky the" 示例 2: 输入: " hello world! " 输出: "world! hello" 解释: 输入字符串可以在前面或…

python opencv3 检测人

git&#xff1a;https://github.com/linyi0604/Computer-Vision 1 # coding:utf-82 3 import cv24 5 6 # 检测i方框 包含o方框7 def is_inside(o, i):8 ox, oy, ow, oh o9 ix, iy, iw, ih i 10 return ox > ix and ox ow < ix iw and oy oh < iy i…

朱松纯:AI从感知走向认知是必然趋势

来源&#xff1a;深度学习技术前沿1月28日&#xff0c;以"小数据、大任务"作为技术范式的强认知人工智能平台企业暗物智能科技&#xff08;以下简称“暗物智能”&#xff09;宣布&#xff0c;已于2020年年中完成5亿元人民币的A轮融资。本轮融资由赛领资本和吉富创投共…

五十个小技巧提高PHP执行效率

在项目开发过程中&#xff0c;经常遇到了一些PHP处理程序性能底下的情况&#xff0c;程序运行在centosnginx环境&#xff0c;虽然这个有很多的原因如&#xff1a;服务器本身配置&#xff0c;运行环境nginx服务&#xff0c;php-fpm配置等等&#xff0c;更多有一点仍然是PHPer没有…

statement的增删改查和动态的增删改查

一 statement的crud&#xff1a; mybatis约定&#xff1a; 输入参数parameterType和输出参数resultType&#xff0c;在形式上都只能有一个 如果输入参数&#xff1a;是简单类型(8个基本类型String)&#xff0c;则可以使用任何占位符&#xff0c;#{xxx} 如果是对象类型&…

科学家「黑进」果蝇大脑跑NLP任务,发现效率比BERT高

来源&#xff1a;机器之心最近一段时间&#xff0c;有关摩尔定律终结的讨论时常出现&#xff0c;深度学习越来越高的算力需求与芯片制造厂商们「挤牙膏」式的换代速度产生了不可调和的矛盾。对此&#xff0c;一些研究者们正在专注于常规架构的效率提升&#xff0c;也有一些研究…

配置信息的优化,类型转换器

1. 优化&#xff1a; 可以将配置信息单独放入db.properties中&#xff0c;然后再动态引入 db.properties:kv <configuration> <properties resource"db.properties"/> 引入之后&#xff0c;使用${key} 2. MyBatis全局参数 在<configuration&g…

Attention Model

参考1: https://blog.csdn.net/malefactor/article/details/50550211 attention部分实现: https://blog.csdn.net/mpk_no1/article/details/72862348转载于:https://www.cnblogs.com/ying-chease/p/9448726.html

卫星互联网行业深度报告:战火早已熊熊燃烧

来源&#xff1a;万联证券1、低轨卫星加速建设&#xff0c;协同 5G 与地面通信互补融合1.1 卫星互联网纳入新基建&#xff0c;未来蓝海无限。卫星互联网是基于卫星通信的互联网&#xff0c;通过一定数量的卫星形成规模组网&#xff0c;从而辐射 全球&#xff0c;构建具备实时信…

Leetcode--416. 分割等和子集

给定一个只包含正整数的非空数组。是否可以将这个数组分割成两个子集&#xff0c;使得两个子集的元素和相等。 注意: 每个数组中的元素不会超过 100 数组的大小不会超过 200 示例 1: 输入: [1, 5, 11, 5] 输出: true 解释: 数组可以分割成 [1, 5, 5] 和 [11]. 示例 2: …

LUGOU P3907 圈的异或

传送门 解题思路 其实就是找出所有的环判断&#xff0c;因为数据范围很小直接暴力做&#xff0c;注意要判断自环。 代码 #include<iostream> #include<cstdio> #include<cstring> #include<cmath> #include<algorithm>using namespace std; cons…

新基建下的自动驾驶:单车智能和车路协同之争

来源&#xff1a;德勤Deloitte编辑&#xff1a;蒲蒲2020年3月&#xff0c;随着中央政治会议的正式定调&#xff0c;“新基建”&#xff0c;即新型基础设施建设&#xff0c;成为公众新焦点。4月&#xff0c;发改委明确新基建范围。在新基建涉及的细分领域中&#xff0c;5G、物联…

输入参数

输入参数&#xff1a;parameterType #{} ${}区别&#xff1a; 1. 类型为简单类型&#xff08;8个基本类型String&#xff09; #{任意值} ${value},其中的标识符只能是value #{}自动给String类型加上 ${}原样输出 但是适合动态排序&#xff08;动态字段&#xff09; s…

2038: [2009国家集训队]小Z的袜子(hose)

2038: [2009国家集训队]小Z的袜子(hose) Time Limit: 20 Sec Memory Limit: 259 MBSubmit: 15879 Solved: 7205[Submit][Status][Discuss]Description 作为一个生活散漫的人&#xff0c;小Z每天早上都要耗费很久从一堆五颜六色的袜子中找出一双来穿。终于有一天&#xff0c;小…

Jeff Dean三执笔:一文看尽2020年谷歌AI重大突破

来源&#xff1a;AI前线作者&#xff1a;Jeff Dean译者&#xff1a;核子可乐策划&#xff1a;钰莹 在二十年前刚刚加入谷歌时&#xff0c;我们关注的问题只有一个——如何面向这么多不同种类的联网计算机提供一整套质量出色且涵盖范围全面的网络信息搜索服务。到如今&#xff0…