每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

近年来，智能眼镜的热度直线上升，尤其在语音和音频应用领域，比如音乐播放和通讯，它们的优势相较于手机或是固定的智能音箱显而易见。想象一下，戴在头上的这玩意儿不仅装备了多个麦克风、摄像头和其他传感器，还能让你体验到与众不同的便捷。最吸引人的一点可能就是实时字幕功能了，想想未来还可能实现实时跨语言翻译，岂不是美滋滋？

但要实现这一切，得先攻克一系列难题，包括但不限于目标说话人的识别与定位、活动检测、语音识别和声音分离。加入其他信号，比如连续的加速度计和陀螺仪数据，结合音频数据，可能就是解决这些问题的钥匙。

为了支持这方面的研究，人们创建了MMCSG数据集。这个数据集包含了两位参与者之间自发对话的记录，两位参与者都获得了报酬，并同意他们的数据被纳入研究。其中一位参与者佩戴了可以捕捉视频、音频（配备7个麦克风）和惯性测量单元（IMU）数据（包括陀螺仪和加速度计）的智能眼镜。所有对话都经过人工注释，提供了智能眼镜佩戴者的转录、分割和标记。为了保护参与者的隐私，视频中的人脸都进行了模糊处理。

MMCSG数据集的目的是为了研究，使用需遵守我们的数据许可协议。

下载数据集： https://ai.meta.com/datasets/mmcsg-downloads/

下载论文：Task 3 - MMCSG | CHiME Challenges and Workshops