【ECCV 2024】首个跨模态步态识别框架:Camera-LiDAR Cross-modality Gait Recognition

【ECCV 2024】首个跨模态步态识别框架:Camera-LiDAR Cross-modality Gait Recognition

  • 简介:
  • 主要方法:
  • 实验结果:

论文:https://arxiv.org/abs/2407.02038

简介:

步态识别是一种重要的生物特征识别技术。基于相机的步态识别已广泛应用于研究和工业领域。由于3D结构信息的提供,基于激光雷达的步态识别最近也开始发展。

在这里插入图片描述
然而,在某些应用程序中,相机不能识别人,如在低光环境和长距离识别场景中,激光雷达工作得很好。另一方面,激光雷达系统的部署成本和复杂性限制了其更广泛的应用。因此,在更广泛的应用中,考虑照相机和激光雷达之间的跨模态步态识别是非常必要的。

在这项工作中,我们提出了在相机和激光雷达之间的第一个跨模态步态识别框架,即CL-Gait。它采用了一个双流网络来对两种模式进行特征嵌入。由于3D和2D数据之间的固有匹配,表现出显著的模态差异,这是一个具有挑战性的识别任务。为了对齐两种模式的特征空间,即相机轮廓和激光雷达点,我们提出了一种对比的预训练策略来减轻模式差异。为了弥补预训练中缺乏配对的摄像机-激光雷达数据的不足,我们还引入了一种大规模生成数据的策略。该策略利用从单个RGB图像和虚拟摄像机中估计的单眼深度来生成伪点云,用于对比预训练。大量的实验表明,跨模态步态识别非常具有挑战性,但仍具有我们提出的模型和训练前策略的潜力和可行性。据我们所知,这是第一个解决跨模态步态识别的工作。

在这里插入图片描述

主要方法:

在这项工作中,我们提出 用于相CL-Gait 机和激光雷达之间的跨模态步态识别。CL-Gait 采用双流网络进行跨模态特征嵌入。该网络利用浅层模式特定模块,较深层模式共享模块,如图所示。

在这里插入图片描述

此外,CL-Gait采用对比学习策略对齐两种模态的特征空间,减轻模态差异,如图所示。

在这里插入图片描述
根据我们在步态识别任务中的观察,三维点云和二维图像之间的显著模态差异可能是影响模型性能的关键因素。具体来说,点云更多地关注于身体部位的三维定位,而图像则集中于个体的轮廓信息。在每个模态所关注的不同信息之间建立联系是至关重要的。受CLIP [30]的启发,我们提出了一种对比的剪影点预训练(CSPP)策略,在基于卷积的编码器中对齐两种模式的特征空间,如图3所示。训练前的过程不需要来自样本中的标识标签来进行监督。在对齐摄像机和激光雷达的成对单视图数据上进行训练后,预训练可以使模型专注于学习一个鲁棒表示,在没有直接基于身份的指导的情况下弥补模态之间的差距,并提高跨模态网络的性能。

利用预训练得到的主干来初始化跨模态嵌入网络。为了便于对大规模数据进行预训练,我们还提出了一种生成跨模态步态数据的方法,如图所示。

在这里插入图片描述
这是由于获取成对RGB和点云数据的成本高,对真实和大规模数据进行预训练具有挑战性。为了解决这个问题,我们提出了一种基于单眼深度估计的伪数据生成方法。如图所示,我们使用深度的任何东西从大规模的单个RGB图像中估计密集的深度D∈RH×W。然后,利用一个具有内参K的虚拟相机通过体素网格降采样,可以用于摄像机轮廓和激光雷达点云之间的对比预训练。具体来说,将降采样点向下投影回图像像素坐标中,获得深度图像进行对比预训练。与点云相比,RGB图像的收集成本更低,也更容易获取,因为已经有许多行人图像的公共数据集可用。我们提出的方法使合成大规模数据进行对比预训练成为可能。

实验结果:

对SUSTech1K有效的+测试集进行不同结构的评估。我们默认使用ResNet-18来提取图像特征。“L到C”表示以点云为探针,轮廓为图库的结果,“C到L”表示相反。

在这里插入图片描述
下图展示了激光雷达数据的比较。结果表明,基于点云的投影深度和插值深度最适合于交叉模态匹配。这表明三维几何信息是必要的。对于每个输入表单,都使用了性能最好的模型。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/44716.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

算法力扣刷题记录 四十一【N叉树遍历】

前言 依然是遍历问题。由二叉树扩展到N叉树遍历。 记录 四十一【N叉树遍历】 一、【589. N叉树的前序遍历】 题目 给定一个 n 叉树的根节点 root ,返回 其节点值的 前序遍历 。 n 叉树 在输入中按层序遍历进行序列化表示,每组子节点由空值 null 分隔…

解锁SQL Server的迷宫:深入死锁的诊断与解决之道

解锁SQL Server的迷宫:深入死锁的诊断与解决之道 在数据库的世界中,死锁是一种常见的现象,它发生在两个或多个事务在访问资源时相互等待对方释放锁,从而导致无法继续执行的情况。SQL Server作为一种广泛使用的数据库管理系统&…

第十八章 Express multer 文件上传

本章将学习Express multer 文件上传 ,因为Nest 的文件上传是基于 Express 的中间件 multer 实现的,所以在学习 Nest 文件上传之前,我们先学习下 multer 包 首先先创建 multer-test 文件夹执行下面代码 创建package.json npm init -y接着安装…

深入浅出 Spring @Async 异步编程的艺术

目录 一、异步编程 二、Async 介绍 2.1 Async 使用 三、Async 原理 一、异步编程 在软件开发中,异步编程是非常关键的,尤其是构建高性能、高响应度的应用时。异步编程的主要优势在于它能够避免阻塞操作,提高程序的效率和用户体验。异步编…

修BUG:程序包javax.servlet.http不存在

貌似昨晚上并没有成功在tomcat上面运行,而是直接运行了网页。 不知道为啥又报错这个。。。 解决方案: https://developer.baidu.com/article/details/2768022 就整了这一步就行了 而且我本地就有这个tomcat就是加进去了。 所以说啊,是不是&a…

eNSP公司管理的对象及策略

拓扑图[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 ) 实验需求 第一步:根据题目搭建拓扑图 其中交换机的型号为:S5700 防火墙设备为:USG6000V 第二步:启动防火墙设备 首先会让你输入密码,…

SQL MySQL定时器/事件调度器(Event Scheduler)

事件调度器(Event Scheduler)在MySQL数据库系统中是一个强大的功能组件,它允许用户定义一系列称为“事件”的数据库对象,这些事件在指定的时间或时间间隔自动执行预定义的SQL语句或操作。事件调度器通过维护一个时间计划表来管理这…

小抄 20240709

1 很多人做事,没有目标,没有主见,只是按照别人的指示去做,完全不清楚为什么去做。 你去问他为什么要做,他反而要和你急眼,觉得你在质疑他。 2 想要获得超出预期的成功,不是努力到极致&#x…

npm install报错:淘宝镜像证书过期

npm install报错:淘宝镜像证书过期 近期使用npm淘宝镜像新建项目或依赖时出现报错: npm ERR! request to https://registry.npm.taobao.org/xxx failed, reason: certificate has expired 错误原因: 早在 2021 年,淘宝就发文称…

【MySQL】常见的MySQL日志都有什么用?

MySQL日志的内容非常重要,面试中经常会被问到。同时,掌握日志相关的知识也有利于我们理解MySQL 底层原理,必要时帮助我们排查解决问题。 MySQL中常见的日志类型主要有下面几类(针对的是InnoDB 存储引擎): 错误日志(error log):对 MySQL 的启…

QScrollArea 设置最大的高度值

在 Qt 中,QScrollArea 是一个提供滚动视图的控件,允许用户查看大于当前视口尺寸的内容。如果你想要为 QScrollArea 设置一个最大的高度值,这通常不是直接通过 QScrollArea 的属性来设置的,而是需要调整其内容部件(widg…

CentOS 6.5配置国内在线yum源和制作openssh 9.8p1 rpm包 —— 筑梦之路

CentOS 6.5比较古老的版本了&#xff0c;而还是有一些古老的项目仍然在使用。 环境说明 1. 更换国内在线yum源 CentOS 6 在线可用yum源配置——筑梦之路_centos6可用yum源-CSDN博客 cat > CentOS-163.repo << EOF [base] nameCentOS-$releasever - Base - 163.com …

新兴市场游戏产业爆发 传音以技术抢抓机遇 ​

随着年轻人口的增加以及互联网的普及,非洲、中东等新兴市场正迎来游戏产业的大爆发,吸引着全球游戏企业玩家在此开疆辟土。中国出海企业代表传音以新兴市场需求为中心,秉持本地化创新理念不断加强游戏等关键领域技术攻关凭借移动终端设备为全球玩家带来极致游戏体验,收获了消费…

就业平台小程序的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;学生管理&#xff0c;企业管理&#xff0c;企业类型管理&#xff0c;留言板管理&#xff0c;系统管理 微信端账号功能包括&#xff1a;系统首页&#xff0c;招聘信息&#xff0c;简历&#xff0c;我的…

2024年中欧班列累计开行1万列

新华社武汉7月10日电&#xff08;记者王自宸、樊曦&#xff09;今年第10000列中欧班列10日从武汉吴家山站开出&#xff0c;较去年提前19天破万列&#xff0c;累计发送货物108.3万标箱&#xff0c;同比增长11%&#xff0c;为保障产业链供应链稳定、促进中欧经贸往来注入新动能。…

MapReduce底层原理详解:大案例解析(第32天)

系列文章目录 一、MapReduce概述 二、MapReduce工作机制 三、Map&#xff0c;Shuffle&#xff0c;reduce阶段详解 四、大案例解析 文章目录 系列文章目录前言一、MapReduce概述二、MapReduce工作机制1. 角色与组件2. 作业提交与执行流程1. 作业提交&#xff1a;2. Map阶段&…

MATLAB中c2d函数用法

目录 语法 说明 示例 在MATLAB中&#xff0c;c2d函数用于将连续时间系统&#xff08;Continuous-Time System&#xff09;转换为离散时间系统&#xff08;Discrete-Time System&#xff09;。以下是c2d函数的基本语法、说明以及示例&#xff1a; 语法 sys_d c2d(sys_c, T…

【每天认识一个漏洞】spf邮件伪造漏洞

&#x1f31d;博客主页&#xff1a;泥菩萨 &#x1f496;专栏&#xff1a;Linux探索之旅 | 网络安全的神秘世界 | 专接本 | 每天学会一个渗透测试工具 &#x1f3a3;漏洞危害 允许攻击者伪造发件人身份&#xff0c;从而发送钓鱼邮件或垃圾邮件&#xff0c;获取接收方的信任&am…

Spring Boot开发框架

Spring Boot是一个基于Spring框架的开源项目&#xff0c;旨在简化Spring应用的创建、配置和部署。它通过提供默认配置和一系列开箱即用的功能&#xff0c;帮助开发者快速构建生产级的Spring应用。以下是对Spring Boot的详细介绍&#xff1a; 1. 核心理念 1.1 快速入门 Sprin…

SQL 自定义函数

概念 自定义函数是用户根据自己的业务逻辑或计算需求创建的函数。这些函数可以接收一个或多个输入参数&#xff0c;执行一系列的操作&#xff08;如计算、数据处理、逻辑判断等&#xff09;&#xff0c;并最终返回一个值或结果集。自定义函数可以被多次重用&#xff0c;提高了…