MER 2024 第二届多模态情感识别挑战赛

      多模态情感识别是人工智能领域的一个活跃研究课题。它的主要目标是整合多种模态来识别人类的情绪状态。当前的工作通常为基准数据集假设准确的情感标签,并专注于开发更有效的架构。然而,现有技术难以满足实际应用的需求。

     清华大学陶建华教授联合中国科学院自动化研究所连政,帝国理工学院Björn W. Schuller,奥卢大学赵国英,南洋理工大学Erik Cambria联合在IJCAI2024上举办多模态情感识别挑战赛MER24,并在ACM MM2024上组织多模态与可靠性情感计算研讨会MRAC24。这两项活动旨在联合情感计算领域的研究人员,深入探讨最新研究进展和未来发展方向,促进这项技术在真实场景中的落地应用。

       去年MER2023,专注于三个主题:多标签学习、噪声鲁棒性和半监督学习。今年MER2024除了扩大数据集的大小,引入了一个新的开放式词汇情绪识别赛道MER-OV。这个赛道的主要考虑是现有数据集通常固定标签空间,并使用多数投票来增强注释者的一致性,但这个过程可能限制了模型描述微妙情绪的能力。在这个赛道中,我们鼓励参与者生成任意数量的标签,在任何类别中,目标是尽可能准确地描述情绪状态

1、三个赛道

1.1 MER-SEMI(半监督学习赛道)

目标:这个赛道的目标是探索和改进半监督学习策略,以便更好地利用未标记数据来提高情绪识别的性能。

挑战:在实际应用中,获取大量带有情绪标签的数据是困难且成本高昂的。半监督学习是一种减少对标记数据依赖的方法。

方法:参与者被鼓励使用未标记数据以及有限的标记数据来训练他们的模型,并探索有效的半监督学习技术。

评估:评估主要基于模型在未标记数据集上的表现,以及其泛化能力。

样本:包含1169个已标注样本和115595个未标注样本。

1.2 MER-NOISE(噪声鲁棒性赛道)

目标:这个赛道旨在提高情绪识别系统对于噪声的鲁棒性,特别是在音频和视觉数据中常见的噪声类型。

挑战:真实世界的数据往往伴随着各种噪声,如背景噪音和图像模糊,这些噪声可能会影响情绪识别的准确性。

方法:参与者需要开发能够抵御或减少噪声影响的模型,可能涉及数据增强、降噪技术或其他创新方法。

评估:评估将基于模型在含有噪声的数据集上的表现,特别是音频加性噪声和图像模糊噪声。

样本:包含1170个已标注样本和115595个未标注样本。

1.3 MER-OV(开放式词汇情绪识别赛道)

目标:这个赛道的目的是推动情绪识别技术的发展,使其能够识别和描述更细微、更开放的情绪状态,而不仅仅局限于预定义的离散情绪类别。

挑战:传统的情绪识别数据集通常限制在少数几个情绪标签上,这限制了模型识别更丰富情绪状态的能力。

方法:参与者被鼓励生成任意数量的标签,尝试以最准确的方式描述情绪状态。这可能涉及使用大型语言模型(LLMs)或其他先进的自然语言处理技术。

评估:评估将基于模型生成的标签的准确性和多样性,以及其对情绪状态的描述能力。

样本:332个开放式情感标注样本

2、挑战数据集

2.1 MER2023数据集

  • 包含4个子集:Train&Val、MER-MULTI、MER-NOISE和MER-SEMI
  • Train&Val包含大量已标注的样本
  • MER-MULTI和MER-NOISE包含噪声样本
  • MER-SEMI包含大量未标注的样本

2.2 MER2024数据集

MER2024是MER2023的扩展版本,通过以下方式进行了扩展:

  • 将MER2023中的所有已标注样本合并到Train&Val,使其样本量更大;
  • 收集更多未标注样本,构建了MER-SEMI和MER-NOISE两个子集;
  • 从Train&Val中选取332个样本进行开放式情感标注,构建了MER-OV子集;
  • MER-SEMI包含1169个已标注样本,同时包含115595个未标注样本;
  • MER-NOISE包含1170个已标注样本,同时包含115595个未标注样本;
  • MER-OV包含332个开放式情感标注样本。

要下载数据集,参与者需要填写最终用户许可协议(EULA)。它要求参与者仅将此数据集用于学术研究,不得编辑或上传到互联网。对于 MER-SEMI 和 MER-NOISE,每个团队需要提交 6 个候选标签(即担忧、快乐、中性、愤怒、惊讶和悲伤)中最有可能的离散标签。对于 MER-OV,每个团队可以提交任何类别中的任意数量的标签。同时要求参与者不能为 MER-OV 使用闭源模型(例如 GPT )

3、评估指标

针对不同的赛道,制定了相应的评估指标来衡量参与者模型的性能。以下是对各个赛道评估指标的详细介绍:

3.1 MER-SEMI 和 MER-NOISE 评估指标

对于这两个赛道,主要使用了两个广泛用于情绪识别的评估指标:

准确率(Accuracy):这是最直观的性能指标,表示模型正确预测情绪类别的比例。对于多标签情绪识别,准确率可能需要针对每个标签分别计算,然后取平均值。

加权平均 F 分数(Weighted Average F-score, WAF):考虑到情绪类别可能存在不平衡的情况,加权平均 F 分数是一种更为公平的评估指标。它结合了精度(Precision)和召回率(Recall),并根据每个类别的支持数量进行加权,以确保所有类别在评估中具有相同的重要性。

3.2 MER-OV 评估指标

对于开放式词汇情绪识别赛道,由于标签空间是开放的,传统的分类指标(如准确率和召回率)不再适用。因此,定义了以下集级别(set-level)的评估指标:

集级别准确率(Set-Level Accuracy):这个指标衡量的是预测情绪标签集合与真实标签集合之间的匹配程度。具体来说,它计算两个集合交集的大小与预测集合大小的比例。

集级别召回率(Set-Level Recall):与集级别准确率相对应,集级别召回率衡量的是预测集合与真实标签集合交集的大小与真实标签集合大小的比例。

平均值(Avg):为了最终排名,MER-OV 赛道选择集级别准确率和集级别召回率的平均值作为最终的评估指标。

计算公式为:

4、关键日期

2024.4.30

MER24数据及基线开放

2024.6.30

MER24结果提交开放

2024.7.10

MER24结果提交截止

2024.7.19

MRAC24论文提交截止

2024.8.5

MRAC24论文接收通知

5、相关网址

Baseline paper: https://arxiv.org/abs/2404.17113
Baseline code: MERTools/MER2024 at master · zeroQiaoba/MERTools · GitHub

官网:MER24@IJCAI and MRAC24@ACM MM

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/17077.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Flutter 中的 AspectRatio 小部件:全面指南

Flutter 中的 AspectRatio 小部件:全面指南 Flutter 是一个流行的跨平台 UI 框架,它提供了丰富的小部件来帮助开发者构建高质量的应用程序。在 Flutter 的小部件库中,AspectRatio 是一个非常有用的小部件,它允许开发者以一种简单…

Nodejs配置静态文件路径

使用 Express 中的 express.static 内置中间件函数。 代码如下: const path require("path"); const express require("express"); const app express();app.use(express.static(path.join(__dirname, "public")));app.listen(80…

课时138:变量进阶_变量实践_综合案例

2.1.3 综合案例 学习目标 这一节,我们从 免密认证、脚本实践、小结 三个方面来学习 免密认证 案例需求 A 以主机免密码认证 连接到 远程主机B我们要做主机间免密码认证需要做三个动作1、本机生成密钥对2、对端机器使用公钥文件认证3、验证手工演示 本地主机生成…

预热 618,编程好书推荐——提升你的代码力

文章目录 📋前言🎯编程好书推荐📘 Java领域的经典之作🐍 Python学习者的宝典🌐 前端开发者的权威指南🔒 并发编程的艺术🤖 JVM的深入理解🏗 构建自己的编程语言🧠 编程智…

WJ2EDGKA-5.08-8P功能和参数介绍及PDF资料

WJ2EDGKA-5.08-8P 是一款接线端子,以下是它的主要功能和参数介绍: 间距: 5.08mm(0.2英寸),这是指相邻针脚之间的中心距离。 针脚数: 8个针脚(1X8Pins),这意味着该端子可以连接8根导线…

01- Redis 中的 String 数据类型和应用场景

1. 介绍 String 是最基本的 key-value 结构,key 是唯一标识,value 是具体的值,value 其实不仅是字符串,也可以是数字(整数或浮点数),value 最多可以容纳的数据长度是 512M。 2. 内部实现 Str…

基于Zynq 7000 SoC的迁移设计

基于Zynq 7000 SoC的迁移设计 Vivado IDE工具使用IP集成器进行嵌入式开发。各种IP Vivado IDE IP目录中提供,以适应复杂的设计。您也可以添加 自定义IP到IP目录。 您可以将基于Zynq 7000平台处理器的设计迁移到Vivado design Suite中 使用以下步骤。 1.生成系统基础…

知攻善防应急响应靶机训练-Web3

前言 本次应急响应靶机采用的是知攻善防实验室的Web-3应急响应靶机 靶机下载地址为: https://pan.quark.cn/s/4b6dffd0c51a 相关账户密码 用户:administrator 密码:xj123456xj123456 解题过程 第一题-攻击者的两个IP地址 直接查看apache的log日志搜索.php 发现…

磁力搜索器

磁力链接是一种特殊的下载链接,磁力链接可以理解为一个文件识别码,而并非具体的资源地址,下载软件需要拿着这个识别码去整个互联网(DHT网络)去寻找持有该资源的用户(节点),如果找到则可以进行传输下载。一般年代越久远的磁力链接下…

今日总结2024/5/27

今日学习了状态压缩DP,状态压缩DP分为棋盘型(基于连通性)和集合型 Acwing.1064 小国王 在 nn的棋盘上放 k个国王,国王可攻击相邻的 8个格子,求使它们无法互相攻击的方案总数。 输入格式 共一行,包含两个整数 n和 k。 输出格式 共一行&…

图像处理知识积累

冲激响应 冲激响应是系统在单位冲激函数激励下引起的零状态响应,它与系统的传递函数互为傅里叶变换关系。在连续时间系统中,任一个信号可以分解为具有不同时延的冲激信号的叠加,因此冲激响应可以描述系统的基本特性。通过电路分析法求解…

【华为OD机试-C卷D卷-200分】篮球游戏(C++/Java/Python)

【华为OD机试】-(A卷+B卷+C卷+D卷)-2024真题合集目录 【华为OD机试】-(C卷+D卷)-2024最新真题目录 题目描述 幼儿园里有一个放倒的圆桶,它是一个线性结构,允许在桶的右边将篮球放入,可以在桶的左边和右边将篮球取出。 每个篮球有单独的编号,老师可以连续放入一个或多个…

三维大场景管理-3Dtiles规范

简介 : 这篇文章都是三年前写的了,一直在笔记库存中,今天把他放出来。主要是讲Cesium 的3Dtiles 格式,当然3Dtiles主要是解决场景管理大场景的LOD实现的问题,不管是剔除渲染性能优化之Culling 剔除或者 LOD 、3Dtiles…

【JAVA】JSONObject.fromObject(message)引发的JSONObject 详解

【JAVA】JSONObject.fromObject(message)引发的JSONObject 详解 一、JsonObject 简介二、JsonObject 基本操作2.1 、创建 JSONObject2.2、访问和操作 JSONObject2.3 生成 JSON 字符串2.4、示例代码 三、JsonObject 常见库3.1、使用 org.json 库3.2、使用 net.sf.jso…

Java 8的Stream API的使用说明,轻松实现集合的各种转换

Java 8中的Stream API为函数式编程带来了极大的便利,使得处理集合数据变得更加高效和简洁。以下是关于Java 8 Stream API的使用说明,我会尽量按照清晰的结构进行分点表示和归纳: 一、Stream API的基本概念 Stream:Stream是Java 8…

Educational Codeforces Round 158 B. Chip and Ribbon (贪心)

有一条带子,分为 n 个单元格,从左到右编号为 1 至 n 。最初,每个单元格中都写入了一个整数 0 。 单细胞与芯片玩游戏。游戏由几个回合组成。在第一轮中,Monocarp 将芯片放入色带的 1 -st 单元中。除了第一轮之外,在每…

SSM基于微信小程序的校园表白墙的设计与实现-计算机毕业设计源码58219

摘 要 随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱,校园表白墙微信小程序被用户普遍使用,为方便用…

Java面试八股之自旋是什么意思

Java中的自旋是什么意思 自旋是多线程编程中的一种同步机制,尤其在Java中与锁的实现密切相关。当一个线程尝试获取某个锁(如内置锁或显式锁)时,如果锁已被其他线程持有,通常的做法是将该线程置于阻塞状态,…

图形学概述

图形学应用 游戏 游戏的画面好坏如何鉴定呢? 看游戏画面是否够亮:渲染中全局光照的好坏 《只狼》 为什么卡通游戏画面看起来是卡通的呢? 《无主之地3》 这些都是图形学需要着手解决的问题 电影 电影《黑客帝国》的特效也是通过计算机…

软件测试面试题(九)

一:说说你对SQA的职责和工作活动的理解? 答:SQA就是独立于软件开发的项目组,通过软件开发过程的监控,来保证软件开发流程按照指定的CMM规程,对于不符合项目及时提出来的建议和改进方案,必要是可…