用于可穿戴传感器的人类活动识别、健康监测和行为建模的大型语言模型

这篇论文题为《用于可穿戴传感器的人类活动识别、健康监测和行为建模的大型语言模型:早期趋势、数据集和挑战的综述》,由埃米利奥·费拉拉(Emilio Ferrara)撰写。论文主要内容如下:

摘要

可穿戴技术的普及使得传感器数据的大量生成成为可能,为健康监测、活动识别和个性化医疗的进步提供了重要机会。然而,这些数据的复杂性和规模也带来了建模和分析的巨大挑战,从时间序列建模到深度学习技术,各种方法相继应用。最新的前沿是采用大型语言模型(LLMs),如GPT-4和Llama,用于通过可穿戴传感器数据分析、建模、理解和生成人类行为。这篇综述探讨了将LLMs应用于基于传感器的人类活动识别和行为建模的当前趋势和挑战。

引言

可穿戴传感器的快速发展带来了大量数据,使我们能够前所未有地监测和理解人类行为和健康。尽管可穿戴传感器数据的规模和复杂性增加了数据建模和分析的难度,LLMs如GPT-4和Llama展示了在数据分析中的强大能力,为从可穿戴传感器数据中提取有意义的见解提供了新的可能性。

可穿戴传感器数据

可穿戴传感器种类繁多,主要包括:

  • 生理传感器:监测心率、血压等生命体征。
  • 运动传感器:加速度计、陀螺仪等,用于追踪运动和定位。
  • 环境传感器:监测温度、湿度等环境条件。
  • 生化传感器:测量葡萄糖等生化指标。
  • 多传感器系统:集成多种传感器,提供全面的监测能力。

这些传感器产生的高维、连续时间序列数据需要专门的预处理和分析技术。以下是表1中提到的参考文献详细信息:

可穿戴传感器类型
传感器类型描述参考文献
生理传感器监测生命体征和其他生理参数。例子包括心率监测仪、心电图(ECG)、血压监测仪和脉搏血氧仪。[34]
运动传感器包括加速度计、陀螺仪和磁力计,用于追踪运动和定位。应用于活动识别和体育科学中至关重要。[24]
环境传感器检测环境条件,如温度、湿度和光线。通常集成到可穿戴设备中,以提供上下文感知服务。[9]
生化传感器测量生化标志物,如葡萄糖水平、乳酸和电解质。在医学诊断和持续健康监测中非常有价值。[11]
多传感器系统将多种传感器类型集成到一个设备中,以提供全面的监测能力。例子包括智能手表和健身追踪器。[17]
数据类型
数据类型描述参考文献
时间序列数据大多数可穿戴传感器会产生连续的时间序列数据,捕捉随时间变化的动态。这类数据需要专门的预处理、分割和特征提取技术来进行有效分析。[18]
多模态数据可穿戴设备通常通过结合不同类型传感器的输入来生成多模态数据。例如,一块智能手表可能同时收集运动和生理数据。整合和同步这些数据流是准确分析的关键任务。[17]
高维数据可穿戴传感器生成的原始数据可能是高维的,特别是在使用多个传感器时。降维技术,如主成分分析(PCA)和特征选择方法,被用来管理这种复杂性。[29]
噪声和不完整数据可穿戴传感器由于传感器故障、用户移动和环境干扰等各种因素,容易产生噪声和不完整的数据。有效的数据清理和插补方法对于保持数据质量至关重要。[1]

大型语言模型(LLMs)

LLMs如GPT-4和Llama在自然语言处理领域取得了巨大成功,现已开始应用于可穿戴传感器数据分析。它们能够处理多模态数据,包括文本、音频和传感器信号,提供更全面的数据理解。

现状和挑战

LLMs在处理复杂查询和生成有见地的响应方面表现出色,使其成为需要高水平推理和上下文理解任务的理想工具。然而,挑战依然存在,包括数据质量、计算需求、可解释性和隐私问题。未来的研究方向应包括改进预处理技术、开发更高效和可扩展的模型以及加强跨学科合作。

总结

综述提供了可穿戴传感器数据与LLMs交叉领域的全面概览,探讨了当前的状态和未来前景。通过案例研究和成功应用,强调了LLMs在增强可穿戴传感器数据分析和解释方面的潜力。

方法与贡献

  1. 现有方法综述:分析了传统机器学习和深度学习在可穿戴传感器数据分析中的应用及其局限性。
  2. LLMs的应用前景:讨论了LLMs在处理和分析多模态数据方面的优势,尤其是其在处理复杂、异构数据方面的能力。
  3. 挑战与建议:提出了数据质量、计算要求、模型可解释性和隐私保护等方面的挑战,并提供了相应的建议和未来研究方向。

结论

LLMs为可穿戴传感器数据分析提供了新的机遇,通过改进数据预处理技术、开发更高效的模型、加强跨学科合作,可以进一步提升其应用效果。
这篇论文通过全面综述当前的研究进展,提出了未来研究的潜在方向,强调了LLMs在可穿戴传感器数据分析中的重要性和潜力。

传感器数据集参考文献:

  • [9] Zachary Englhardt, Chengqian Ma, Margaret E Morris, Chun-Cheng Chang, Xuhai “Orson” Xu, Lianhui Qin, Daniel McDuff, Xin Liu, Shwetak Patel, and Vikram Iyer. 2024. From Classification to Clinical Insights: Towards Analyzing and Reasoning About Mobile and Behavioral Health Data With Large Language Models. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies 8, 2 (2024), 1–25【17:9†source】.
  • [11] Cathy Mengying Fang, Valdemar Danry, Nathan Whitmore, Andria Bao, Andrew Hutchison, Cayden Pierce, and Pattie Maes. 2024. PhysioLLM: Supporting Personalized Health Insights with Wearables and Large Language Models. arXiv preprint arXiv:2406.19283 (2024)【17:3†source】.
  • [17] Sheikh Asif Imran, Mohammad Nur Hossain Khan, Subrata Biswas, and Bashima Islam. 2024. LLaSA: Large Multimodal Agent for Human Activity Analysis Through Wearable Sensors. arXiv preprint arXiv:2406.14498 (2024)【17:4†source】.
  • [24] Jamie McQuire, Paul Watson, Nick Wright, Hugo Hiden, and Michael Catt. 2023. A Data Efficient Vision Transformer for Robust Human Activity Recognition from the Spectrograms of Wearable Sensor Data. In 2023 IEEE Statistical Signal Processing Workshop (SSP). IEEE, 364–368【17:6†source】.
  • [34] Huaijun Wang, Jing Zhao, Junhuai Li, Ling Tian, Pengjia Tu, Ting Cao, Yang An, Kan Wang, and Shancang Li. 2020. Wearable Sensor-Based Human Activity Recognition Using Hybrid Deep Learning Techniques. Security and communication Networks 2020, 1 (2020), 2132138【17:7†source】.
  • [1] Fayez Alharbi, Lahcen Ouarbya, and Jamie A Ward. 2022. Comparing sampling strategies for tackling imbalanced data in human activity recognition. Sensors 22, 4 (2022), 1373 .
  • [17] Sheikh Asif Imran, Mohammad Nur Hossain Khan, Subrata Biswas, and Bashima Islam. 2024. LLaSA: Large Multimodal Agent for Human Activity Analysis Through Wearable Sensors. arXiv preprint arXiv:2406.14498 (2024) .
  • [18] Sijie Ji, Xinzhe Zheng, and Chenshu Wu. 2024. HARGPT: Are LLMs Zero-Shot Human Activity Recognizers? arXiv preprint arXiv:2403.02727 (2024) .
  • [29] Sungho Suh, Vitor Fortes Rey, and Paul Lukowicz. 2023. Tasked: transformer-based adversarial learning for human activity recognition using wearable sensors via self-knowledge distillation. Knowledge-Based Systems 260 (2023) .

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/47238.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

韦东山嵌入式linux系列-具体单板的 LED 驱动程序

笔者使用的是STM32MP157的板子 1 怎么写 LED 驱动程序? 详细步骤如下: ① 看原理图确定引脚,确定引脚输出什么电平才能点亮/熄灭 LED ② 看主芯片手册,确定寄存器操作方法:哪些寄存器?哪些位?…

STM32 BootLoader 刷新项目 (三) 程序框架搭建及刷新演示

STM32 Customer BootLoader 刷新项目 (三) 程序框架搭建 文章目录 STM32 Customer BootLoader 刷新项目 (三) 程序框架搭建典型工作流程 1. 硬件原理图介绍1.1 USART硬件介绍1.2 LED和按键介绍 2. STM32 CubeMX工程搭建2.1 创建工程2.2 系统配置2.3 USART串口配置2.4 配置按键G…

GD32 MCU上电跌落导致启动异常如何解决

大家是否碰到过MCU上电过程中存在电源波动或者电压跌落导致MCU启动异常的问题?本视频将会为大家讲解可能的原因以及解决方法: GD32 MCU上下电复位波形如下图所示,上电过程中如果存在吃电的模块,比如wifi模块/4G模块/开启某块电路…

【pytorch】thread: [16,0,0] Assertion `t >= 0 t < n_classes` failed

报错信息&#xff1a;C:\cb\pytorch_1000000000000\work\aten\src\ATen\native\cuda\Loss.cu:250: block: [0,0,0], thread: [16,0,0] Assertion t > 0 && t < n_classes failed 可能原因&#xff1a;标签label或者预测的结果pred&#xff0c;超出了数据的范围&…

10校大满贯!中国内地高校2024年1-6月CNS发文统计出炉

随着全球科研竞争的日趋激烈&#xff0c;CNS&#xff08;Cell、Nature、Science&#xff09;作为科学领域的三大顶级期刊&#xff0c;不仅是科研成果的展示平台&#xff0c;更是各国科研实力比拼的重要战场。近年来&#xff0c;中国高校在国际科研舞台上的表现愈发抢眼&#xf…

c#中的字符串方法

Concat() String.Concat(字符串1 字符串n) 字符串拼接 Contains () 字符串1.Contains(字符串2) 字符串1是否包含字符串2返回布尔值 CopyTo() 字符串1.CopyTo(0,空数组,0,5); 从哪开始 复制到哪里 从哪开始存 存储的个数 tartsWith 字符串1.StartsWith("字符串") 以…

排队问题--逆序对应用

对于逆序对&#xff0c;我们可以用树状数组的方式来求&#xff0c;但是值得注意的是&#xff0c;我们逆序对一般求的是比这个元素小的个数&#xff08;位置可以是前或者后&#xff09;&#xff0c;那么求比这个元素大的个数怎么办&#xff0c;我们可以用 i - query() !!! 每个元…

生物安全柜验证:气流流型、粒子、浮游菌等参考标准

生物安全柜也是制药行业常见设备&#xff0c;根据GMP的要求&#xff0c;需对生物安全柜定期进行验证确认&#xff0c;确保生物安全柜的性能满足GMP洁净厂房的相关要求。 生物安全柜是实验室的基本设备&#xff0c;也是生物安全实验室的一级安全隔离屏障。其最重要的作用就是气流…

Windows与Linux双机热备软件推荐

网络数据安全在如今信息化的时代越来越变得举足轻重&#xff0c;因此服务器维护和管理也成为企业健康稳定运营的一项重要工作。但实际情况是很多公司并没有配备专业的运维人员&#xff0c;一般都会通过一些管理软件维护或者主机托管给服务商。整理6款服务器的Windows与Linux双机…

JAVA-----异常处理

一、定义 在 Java 中&#xff0c;异常&#xff08;Exception&#xff09;是指程序在执行过程中遇到的不正常情况&#xff0c;这些情况可能导致程序无法继续执行或产生错误的结果。异常可以是 Java 标准库中提供的内置异常类&#xff0c;也可以是开发人员自定义的异常类。 二、…

Laravel数据库的魔术:数据库种子(Seeders)的实现指南

Laravel数据库的魔术&#xff1a;数据库种子&#xff08;Seeders&#xff09;的实现指南 在Laravel的世界里&#xff0c;数据库种子&#xff08;Seeders&#xff09;是一种优雅的方式来填充数据库&#xff0c;它允许开发者快速地为开发和测试环境创建所需的数据。通过使用Seed…

设计模式10-抽象工厂

抽象工厂 Abstract Factory 动机原理 结构优点代码推导不使用抽象工厂模式使用抽象工厂模式对比分析不使用抽象工厂模式的缺点使用抽象工厂模式的优点 抽象工厂&#xff08;Abstract Factory&#xff09;设计模式是一种创建型模式&#xff0c;它提供了一个接口&#xff0c;用于…

PyTorch面部表情识别项目实战

新书速览|PyTorch深度学习与企业级项目实战-CSDN博客 本书案例比较丰富、比较完整&#xff0c;可以用于课题研究、毕业论文素材&#xff0c;值得大家收藏。 人脸表情是人类信息交流的重要方式&#xff0c;它所包含的人体行为信息与人的情感状态、精神状态、健康状态等有着极为…

Docker自建私有仓库遇到https问题

记录一下自己在自建Docker仓库的时候遇到的一个报错 问题 docker push registry:5000/library/centos:7 The push refers to repository [registry:5000/library/centos] Get "https://registry:5000/v2/": http: server gave HTTP response to HTTPS client解决办…

关于Ubuntu22.04中的Command ‘vim‘ not found, but can be installed with:

前言 在Ubuntu终端编辑文本内容时需要利用vim&#xff0c;但新安装的虚拟机中并未配置vim&#xff0c;本文记录了vim的安装过程。 打开终端后&#xff0c;在home目录中输入 vim test.txt但提示报错&#xff0c;提示我们没有找到vim&#xff0c;需要通过以下命令进行安装&…

yearrecord——一个类似痕迹墙的React数据展示组件

介绍一下自己做的一个类似于力扣个人主页提交记录和GitHub主页贡献记录的React组件。 下图分别是力扣个人主页提交记录和GitHub个人主页的贡献记录&#xff0c;像这样类似痕迹墙的形式可以比较直观且高效得展示一段时间内得数据记录。 然而要从0实现这个功能还是有一些麻烦得…

vue搜索框过滤--- computed、watch区别

vue组件选项&#xff08;component options&#xff09; 1. computed&#xff08;计算属性&#xff09; 用途&#xff1a;computed属性用于声明性地描述一些依赖其它响应式属性的数据。当依赖的响应式属性变化时&#xff0c;计算属性会自动重新求值。缓存&#xff1a;计算属性…

等保-Linux等保测评

等保-Linux等保测评 1.查看相应文件&#xff0c;账户xiaoming的密码设定多久过期 rootdengbap:~# chage -l xiaoming Last password change : password must be changed Password expires : pass…

数据库管理-第221期 Oracle的高可用-04(20240717)

数据库管理221期 2024-07-17 数据库管理-第221期 Oracle的高可用-04&#xff08;20240717&#xff09;1 ADG2 连接配置2.1 TNS2.2 JDBC2.3 JAVA连接池2.3.1 Oracle UCP2.3.2 应用连接池基础配置 总结 数据库管理-第221期 Oracle的高可用-04&#xff08;20240717&#xff09; 作…

mysql5.7版本字符集编码

默认character_set_databaselatin1 当你字段插入中文值的时候&#xff0c;会报错。 所以修改为了character_set_databaseutf8既可以。 character_set_server他的范围更大&#xff0c;属于服务器级别。