ACM MM 2023 | 基于去中心化表征的人体姿态估计方法

01. 前言

北京邮电大学与EVOL创新团队共同提出人体姿态估计方法DecenterNet,用于在提高在拥挤场景下人体姿态估计的准确度。该方法引入了一种去中心化的姿势表征方法,使得网络在纠缠区域/拥挤区域中将更加稳健地表达人体姿态。该方法还提出了一个解耦的姿势评估机制,以自适应地在多个姿态表征中选择最佳姿势。该论文DecenterNet: Bottom-Up Human Pose Estimation Via Decentralized Pose Representation已被ACM MM 2023接收。

02. 背景与动机

在拥挤的场景中进行多人体姿态估计仍然是一个极具挑战性的任务。我们发现目前的人体姿态估计方法在拥挤的场景中的失败大部分来自于无法定位或分组可见的关键点,而不是推理不可见的关键点,如表一。

因此,本文将拥挤的场景分为纠缠和遮挡两种情况,并观察到在拥挤的场景中,纠缠是一个重要的问题。基于这一观察,我们提出了DecenterNet,这是一种端到端的人体姿态估计方法,可以稳健、高效地进行拥挤场景中的姿态估计。

在DecenterNet中,我们引入了一种去中心化的姿势表征方法,该方法以所有可见关键点作为表征点来代表人体姿势,使得网络在纠缠区域/拥挤区域中将更加稳健地表达人体姿态。为了解决上述姿势表征引入过多的False Positive问题,我们还提出了一个解耦的姿势评估机制,该机制引入了location map,以自适应地在多个姿态表征中选择最佳姿势。此外,我们还构建了一个名为SkatingPose的新数据集,其中包含了更多带有纠缠的花滑场景。

03. 方法

3.1 去中心化的姿态表征(Decentralized Pose Representation)

传统的工作采用姿态的中心点、姿态的盆骨点或者人体部位的中心点来表征姿态,之后汇总这些表征点的输出,再经过NMS算法得到人体姿态。然而,当在拥挤的场景中人体姿态发生纠缠时,它们的表征点可能会相互遮挡,从而使得此点代表的姿态发生错误。因此,我们提出了去中心姿势表征(Decentralized Pose Representation)以缓解拥挤场景中的纠缠问题。具体来说,此表征以姿态所有可见关键点作为表征点,并缩小表征点范围来减小相互遮挡的可能性。一方面,姿态的可见点很难被完全遮挡,比中心点更具辨别性。另一方面,融合来自更多不同位置的表征点的预测会产生更全面、更稳健的预测。

3.2 解耦的姿势评估机制(Decoupled Pose Assessment)

可以预见的是,由于使用了过多的表征点,上述的姿势表征将引入大量的False Positive问题,因此我们提出了解耦的姿势评估机制,将传统的heatmap的选表征点和评估姿态的两个功能解耦给了heatmap和location map,如下图所示。

在此姿态评估机制中,location map的作用尤为关键。它一方面被用于从offset map中选取表征点,另一方面可以进一步增强heatmap的评分功能。具体来讲,location map是由4x4的全1正方形区域监督,并与offset map的loss相乘来动态地表征offset map上姿态的置信度。传统的表征点heatmap的极大值点并不能代表此表征点的姿态质量最好,而location map可以自适应地选择置信度高的姿态表征点,从而得到更优解。

04. 实验结果

我们在COCO,CrowdPose,SkatingPose三个数据集中进行了实验。相比于其他自底向上的人体姿态估计方法,DecenterNet以较低的参数量和计算量实现了SOTA结果。其中,CrowdPose数据集没有区分可见点与不可见点,我们使用人体实例方法Mask2Former来进行区分。

05. 总结

DecenterNet是一种用于拥挤场景中人体姿态估计的端到端方法。该方法采用去中心化的人体姿态表征,以所有可见的关键点作为表征点来表征人体姿势,从而在纠缠区域中得到更好的结果。此外,DecenterNet还采用了解耦的姿态评估机制,通过location map自适应地选择最优姿态。我们还构建了一个名为SkatingPose的新数据集,其中包含了更多带有纠缠的花滑场景。

EVOL创新团队成员介绍
EVOL联合创新团队负责人:
赵健(军事科学院),博士、北京图象图形学学会理事,入选北京市科协/中国科协“青年人才托举工程”,曾获吴文俊自然科学奖一等奖,研究方向为无约束视觉感知理解。
个人主页:
https://zhaoj9014.github.io/
金磊(北京邮电大学),博士、北京邮电大学特聘副研究员,研究方向包括人体姿态估计、人体解析、人体行为识别等。
个人主页:
ACM MM 2023 | 基于去中心化表征的人体姿态估计方法

  关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/90306.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023-9-28 JZ7 重建二叉树

题目链接:重建二叉树 import java.util.*;/** public class TreeNode {* int val 0;* TreeNode left null;* TreeNode right null;* public TreeNode(int val) {* this.val val;* }* }*/public class Solution {/*** 代码中的类名、方法名、参数…

使用ElementUI完成登入注册的跨域请求提高开发效率

🎬 艳艳耶✌️:个人主页 🔥 个人专栏 :《Spring与Mybatis集成整合》​​​​​​​ ⛺️ 生活的理想,为了不断更新自己 ! 目录 ​编辑 1、前言 1.1.什么是ELementUI 2、完成登陆注册前端页面 2.1环境搭建 运行…

Java高级特性-泛型继承与子类型

Java高级特性-泛型的继承与子类型 在Java中,泛型继承关系是通过使用类型参数来实现的。 类型参数是一种在编译时指定类型的机制,它使得我们可以在编写代码时使用一般化的类型,而不必关注具体的类型。泛型继承关系的基本语法为: public class MyClass<T> extends M…

跨境电商如何利用海外代理IP,提高竞争力?

随着经济全球化的深度发展&#xff0c;跨境电商已经成为外贸发展的主要赛道&#xff0c;跨境电商王者般的新业态&#xff0c;近年来&#xff0c;我国跨境电商发展得到政府的大力扶持。而代理IP也逐渐成为助力跨境业务的强大工具之一。可以为我们跨境电商种出现的如地域限制、安…

CentOS 7系统安装与配置、常用100条操作命令

CentOS 7 是一个广泛使用的开源 Linux 操作系统&#xff0c;它是 Red Hat Enterprise Linux (RHEL) 的一个免费重建版本&#xff0c;以稳定性和安全性而著称。在 CentOS 7 上安装虚拟机通常使用虚拟化技术&#xff0c;如 VirtualBox 或 VMware 等。以下是 CentOS 7 的简要介绍以…

Zilliz@阿里云:大模型时代下Milvus Cloud向量数据库处理非结构化数据的最佳实践

大模型时代下的数据存储与分析该如何处理?有没有已经落地的应用实践? 为探讨这些问题,近日,阿里云联合 Zilliz 和 Doris 举办了一场以《大模型时代下的数据存储与分析》为主题的技术沙龙,其中,阿里云对象存储 OSS 上拥有海量的非结构化数据,Milvus(Zilliz)作为全球最有…

C语言-控制语句

C语言中有三大结构&#xff0c;分别是顺序结构、选择结构和循环结构&#xff08;分支结构&#xff09;。 一、C 判断语句 判断结构要求程序员指定一个或多个要评估或测试的条件&#xff0c;以及条件为真时要执行的语句&#xff08;必需的&#xff09;和条件为假时要执行的语句…

解决使用flex布局引起的变形问题

只需在变形的样式中加以下代码&#xff0c;禁止拉伸就ok了 flex-shrink: 0;

ipaguard界面概览

ipaguard界面概览 ipaguard界面分左右2块&#xff1a;左边菜单导航栏&#xff0c;右边的功能区 左侧菜单&#xff1a;按模块分成启动界面&#xff0c;代码模块&#xff0c;文件模块&#xff0c;重签名与测试模块 右侧主功能区会随着功能变化&#xff0c;但是整体分3块&#xf…

此芯科技加入百度飞桨硬件生态共创计划,加速端侧AI生态布局

近日&#xff0c;此芯科技&#xff08;上海&#xff09;有限公司&#xff08;以下简称“此芯科技”&#xff09;与百度签署硬件生态共创计划合作协议&#xff0c;正式加入由百度发起的硬件生态共创计划。双方将共同推动端侧AI和大模型在个人计算、车载计算以及元宇宙计算等领域…

读取txt文档并解析数据输出

读取如下内容&#xff1a; [INFO] [2023927 13:23:04.303] [estimator.cpp:1894]: XYZI: 1.70492 -1.33857 1.99379 134 [INFO] [2023927 13:23:04.303] [estimator.cpp:1894]: XYZI: 1.70944 -1.32323 1.99325 125 [INFO] [2023927 13:23:04.303] [estimator.cpp:1892]: 1695…

【发版】java项目一键式发版,一键式发版脚本,如何实现一键式发版

0. 手动打包&#xff0c;jar包生产后 jenkins打包。 1. Dockerfile 文件&#xff1a; FROM openjdk:8MAINTAINER "维护者 <email>" RUN echo "Asia/Shanghai" > /etc/timezoneLABEL description"descr ... " ADD xxx-1.0.0-SNAPSHOT.…

BiMPM实战文本匹配【下】

引言 这是BiMPM实战文本匹配的第二篇文章。 注意力匹配 如上图所示&#xff0c;首先计算每个正向(或反向)上下文嵌入 h i p → \overset{\rightarrow}{\pmb h_i^p} hip​→​(或 h i p ← \overset{\leftarrow}{\pmb h_i^p} hip​←​)与另一句的每个正向(或反向)上下文嵌入 …

python爬虫:JavaScript 混淆、逆向技术

Python爬虫在面对JavaScript混淆和逆向技术时可能会遇到一些挑战&#xff0c;因为JavaScript混淆技术和逆向技术可以有效地阻止爬虫对网站内容的正常抓取。以下是一些应对这些挑战的方法&#xff1a; 分析网页源代码&#xff1a;首先&#xff0c;尝试分析网页的源代码&#xf…

redis实现布隆过滤器

1 概述 布隆过滤器是一种基于概率的数据结构&#xff0c;用于判断一个元素是否存在于一个集合中。相比于传统的数据结构&#xff0c;布隆过滤器具有占用空间少、查询速度快的特点&#xff0c;常被用于缓存、爬虫去重等场景。Redis 作为一款流行的 NoSQL 数据库&#xff0c;也提…

计算机图像处理-直方图均衡化

直方图均衡化 直方图均衡化是图像灰度变换中有一个非常有用的方法。图像的直方图是对图像对比度效果上的一种处理&#xff0c;旨在使得图像整体效果均匀&#xff0c;黑与白之间的各个像素级之间的点分布更均匀一点。通过这种方法&#xff0c;亮度可以更好地在直方图上分布。 …

2009-2018年31省份旅游收入(入境、国内、总收入;第三产值;GDP)

2009&#xff0d;2018年31省份旅游收入&#xff08;入境、国内、总收入&#xff1b;第三产值&#xff1b;GDP&#xff09; 1、时间&#xff1a;2009-2018年 2、指标&#xff1a; 汇率、入境旅游收入&#xff08;万美元&#xff09;、国内旅游收入&#xff08;亿元&#xff0…

IM同步服务

设计概述 后台同步方案的设计就是数据存储结构的设计&#xff0c;如何快速体现“信息变化”&#xff0c;如何快速计算出“变化信息”。后台数据存储结构是由同步协议中同步契约决定的。 设计方案 该方案的同步是按照业务粒度来划分&#xff0c;只需要同步sdk要求同步的数据。…

MATLAB算法实战应用案例精讲-【优化算法】季节优化算法(SOA)(附MATLAB代码实现)

前言 世界上许多地方一年有四个季节:春、夏、秋、冬。每个季节的天气都不一样。随着天气的变化,生物,尤其是树木会改变它们的行为来适应天气。森林中的每一个个体都被称为一棵树。在满足终止条件之前,森林中的树木通过类似于自然界树木生命周期的四种操作:更新、竞争、播种…

中秋节快乐

中秋节快乐&#xff0c;国庆节快乐