ALSE 2024 Workshop报告分享┆机器人的场景理解与任务运动规划

2024年视觉与学习青年学者研讨会(VALSE 2024)于55日到7日在重庆悦来国际会议中心举行。本公众号将全方位地对会议的热点进行报道,方便广大读者跟踪和了解人工智能的前沿理论和技术。欢迎广大读者对文章进行关注、阅读和转发。文章是对报告人演讲内容的理解或转述,可能与报告人的原意有所不同,敬请读者理解;如报告人认为文章与自己报告的内容差别较大,可以联系公众号删除。

本文对北京通用人工智能研究院研究员刘航欣博士所做的报告《机器人的场景理解与任务运动规划》进行总结和分享。

1.报告人简介

刘航欣,北京通用人工智能研究院研究员,研究领域包括机器人感知、认知、学习,任务和运动规划、人机交互等。

2.报告概览

刘航欣博士介绍了一种基于虚拟运动链条(virtual kinematic chain)的机器人建模思路,该方法能够将机器人的移动底座、机械臂和被操作的物体建模为一个整体,更全面地表示机器人的姿态和运动,从而使机器人在困难环境中的产生更协调、灵活的动作。这个建模思路进一步驱动了一种以体现运动信息为目标的场景重建方法,该方法可以从RGB-D输入中构建一个能够与虚拟运动链条思路结合的场景图表征,实现了一个新的机器人感知和规划框架。该框架在多步骤复杂移动操作任务中展现了机器人更强的移动操作和抓取能力。

3.内容整理

刘航欣博士提出了基于虚拟运动链条的机器人建模方法,使机器人能够更全面地表示姿态和运动,进而在困难环境中展现更协调、灵活的动作。这一方法还推动了以体现运动信息为目标的场景重建方法的发展,为机器人感知和规划提供了新的框架。报告主要分为五个部分,下面逐一加以介绍。

1)图形结构表示

1)全景重建与分割:通过全景重建和分割技术,场景中的各个部分可以被准确地捕捉和识别,然后将它们组合成一个整体的视觉图像。这种全景图像的构建为机器人提供了更丰富和更全面的场景认知,使其能够更好地理解环境中的空间布局和特征。

2)运动学联系:运动学联系描述了场景中物体之间的运动关系和相互作用。通过分析和理解物体的运动学联系,可以构建出一个联系图表示,其中节点代表物体,边表示物体之间的运动关系。这种联系图可以帮助机器人更好地理解环境的动态变化,从而更有效地规划和执行任务。

2)任务和运动规划

1)任务规划的优势在于它能够高效地规划复杂任务的执行路径,并且提供了语义信息,这对于具身智能系统来说尤为重要。这种任务规划方法适用于长期任务,可以帮助智能系统在复杂环境中做出明智的决策。然而,由于任务规划无法考虑执行层面的细节,它可能需要与运动规划等其他技术结合,以确保任务的成功执行。

2)运动规划则为具身智能系统提供了执行任务的实际行动方案。通过处理机器人的运动学与动力学信息,运动规划可以确保机器人能够以安全和有效的方式执行任务。然而,对于复杂的任务和多步骤任务,运动规划可能面临挑战,因为需要考虑多个步骤之间的关系和协调。

3)任务规划和运动规划在具身智能领域都扮演着重要的角色,但存在问题:解空间不同,两者难以结合。

3)触觉感知手套

1)要让具身智能体学习复杂的操作技能,关键在于捕捉和理解人手在操作过程中涉及的交互过程和细粒度的物理变化。

2)触觉感应手套:通过举例说明了在药瓶设计中的难点,即如何利用视觉捕捉手势和力的信息。解决方案是提出了触觉感应手套,通过IMU网络和力传感器捕捉手部的运动姿态和施加的力,从而更全面地反映人与物体交互过程。这种技术优势在于可以帮助机器人理解关键的因素,并通过机器人技能学习方法学习这些任务。同时,这种方法也增强了人对机器人的信任。

4)机器人动作决策的可解释性

1)对机器人打开药瓶的信任度,研究发现人们更倾向于信任那些提供综合和实时可视化决策过程的机器人,而不是简单的文字描述。这表明,直观且实时的视觉展示能够更有效地提升人们对机器人的信任感。

2)对于机器人下一步动作的预测,调查结果显示人们更愿意依靠机器人的内部决策过程进行预测,而不是仅仅依靠简单的文字描述。这表明,人们更相信机器人的决策过程是基于丰富的信息和综合考虑的,而不仅仅是基于简单的总结性文字。

5)场景表征与机器人自身表征的结合

1)研究提出了一种将场景表征与机器人自身表征相结合的方法,用于统一自身表征的任务和运动规划。这种方法能够更好地理解环境并进行规划,但仍需要一定的人工定义和假设,对于抵抗噪音的能力相对较弱。

2)产生高质量4D数据:研究提出了一种方法来生成高质量的4D数据,其中包括模型和轨迹初始化。这为提供一个真实环境的测试和验证平台提供了可能。

3)缺点与挑战:尽管有了上述方法和技术,仍然存在一些挑战,包括对谓词和属性的人工定义、假设的局限性以及对抗噪音的能力相对较弱等。这些问题需要进一步研究和解决。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/7886.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分布式与一致性协议之ZAB协议(五)

ZAB协议 ZAB集群如何从故障中恢复 如果我们想把ZAB集群恢复到正常状态,那么新领导者就必须确立自己的领导关系,成为唯一有效的领导者,然后作为主节点"领导"各备份节点一起处理读写请求 如何确立领导关系 前面提到,选…

全排列 - LeetCode 热题 55

大家好!我是曾续缘😆 今天是《LeetCode 热题 100》系列 发车第 55 天 回溯第 1 题 ❤️点赞 👍 收藏 ⭐再看,养成习惯 全排列 给定一个不含重复数字的数组 nums ,返回其 所有可能的全排列 。你可以 按任意顺序 返回答案…

VISO流程图之子流程的使用

子流程的作用 整个流程图的框图多而且大,进行分块;让流程图简洁对于重复使用的流程,可以归结为一个子流程图,方便使用,避免大量的重复性工作; 新建子流程 方法1: 随便布局 框选3 和4 &#…

【busybox记录】【shell指令】sort

目录 内容来源: 【GUN】【sort】指令介绍 【busybox】【sort】指令介绍 【linux】【sort】指令介绍 使用示例: 排序 - 默认排序 排序 - 检查所给文件是否已经排序 排序 - 输出已经排序过的文件,不会重新排序 排序 - 忽略每行前面的空…

【区块链】智能合约简介

智能合约起源 智能合约这个术语至少可以追溯到1995年,是由多产的跨领域法律学者尼克萨博(NickSzabo)提出来的。他在发表在自己的网站的几篇文章中提到了智能合约的理念。他的定义如下:“一个智能合约是一套以数字形式定义的承诺&a…

人工智能|推荐系统——工业界的推荐系统之交叉

Factorized Machine 线性模型预测是特征的加权和。(只有加,没有乘。) 二阶特征交叉 可以通过矩阵分解减少模型参数量 深度交叉网络(DCN) 之前提到过的召回、排序模型中的神经网络可以用任意网络结构;常见的…

数组折半法查找数据(C语言)

一、N-S流程图&#xff1b; 二、运行结果&#xff1b; 三、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h> //定义数据&#xff1b; #define N 15int main() {//初始化变量值&#xff1b;int a[N], i, top, bott, loca, flag 1, sign, numb…

@click=“handleClick()“不会传递默认事件参数

当你使用click"handleClick()"这种形式绑定事件处理器时&#xff0c;Vue会将它视为一个函数调用&#xff0c;而不是一个事件监听器。在这种情况下&#xff0c;Vue不会自动传递原生事件对象作为默认参数。 如果你想让Vue自动传递原生事件对象作为默认参数&#xff0c…

Ansible --- playbook 脚本+inventory 主机清单

一 inventory 主机清单 Inventory支持对主机进行分组&#xff0c;每个组内可以定义多个主机&#xff0c;每个主机都可以定义在任何一个或 多个主机组内。 如果是名称类似的主机&#xff0c;可以使用列表的方式标识各个主机。vim /etc/ansible/hosts[webservers]192.168.10.1…

js浏览器请求,post请求中的参数形式和form-data提交数据时数据格式问题(2024-05-06)

浏览器几种常见的post请求方式 Content-Type 属性规定在发送到服务器之前应该如何对表单数据进行编码。 默认表单数据会编码为 "application/x-www-form-urlencoded" post请求的参数一般放在Body里。 Content-Type&#xff08;内容类型&#xff09;&#xff0c;一般…

【电路笔记】-容抗

容抗 文章目录 容抗1、概述2、容抗示例13、容抗示例 24、容抗示例 35、分压器修订6、总结1、概述 容抗是电容器的复阻抗,其值随应用频率而变化。 与不依赖于频率的电阻不同,在交流电路中,电抗受电源频率的影响,并且其行为方式与电阻类似,两者都以欧姆为单位测量。 电抗会…

win11 安装oracle11g详细流程及问题总结

1.安装包下载地址 本案例操作系统&#xff0c; Oracle 11g下载-Oracle 11g 64位/32位下载官方版(附详细的安装图解教程) - 多多软件站多多为大家免费提供Oracle 11g下载&#xff0c;包含64位/32位官方版本&#xff0c;并附详细的Oracle 11g安装图解教程&#xff0c;同时希望能…

深度学习之基于YOLOv5电线电缆目标检测系统

欢迎大家点赞、收藏、关注、评论啦 &#xff0c;由于篇幅有限&#xff0c;只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 项目简介&#xff1a;深度学习之基于YOLOv5电线电缆目标检测系统 本项目旨在利用深度学习技术&#xff0c;特别是基…

Nginx全解:掌握高性能Web服务器的核心技巧和配置

Nginx是一个高性能的HTTP和反向代理服务器&#xff0c;也是一个IMAP/POP3/SMTP代理服务器。自从其首次发布以来&#xff0c;由于其轻量级以及高并发处理能力&#xff0c;Nginx已经成为越来越多企业和网站的首选。本文将深入探讨Nginx的主要功能及其配置方式&#xff0c;帮助你从…

算法训练营第62天|LeetCode 503.下一个更大元素II 42. 接雨水

LeetCode 503.下一个更大元素II 题目链接&#xff1a; LeetCode 503.下一个更大元素II 代码&#xff1a; class Solution { public:vector<int> nextGreaterElements(vector<int>& nums) {int size nums.size();stack<int>st;vector<int>resu…

如何搜索空文件夹_名称为(纯或含)中/英/数/符

首先&#xff0c;需要用到的这个工具&#xff1a; 度娘网盘 提取码&#xff1a;qwu2 蓝奏云 提取码&#xff1a;2r1z 打开工具&#xff0c;切换到批量文件复制版块&#xff0c;快捷键Ctrl5 点击右侧的搜索添加 设定要搜索的范围、指定为文件夹、包括子目录&#xff0c;勾选…

Day 26 数据库日志管理

数据库日志管理 一&#xff1a;日志管理 1.日志分类 ​ 错误日志 &#xff1a;启动&#xff0c;停止&#xff0c;关闭失败报错。rpm安装日志位置 /var/log/mysqld.log ​ 通用查询日志&#xff1a;所有的查询都记下来 ​ 二进制日志&#xff1a;实现备份&#xff0c;增量备份…

算法精讲:选择排序

基本思想 每一趟从待排序的数据元素中选出最小(或最大)的一个元素,顺序放在待排序的数列的最前端,直到所有元素排完。 排序过程 初始关键字:【3 1 5 4 2】 第一趟排序后:1【3 5 4 2】 第二趟排序后:1 2【5 4 3】 第三趟排序后:1 2 3【4 5】 最终结果:1 2 3 4 5…

*求问?:为何会超时(TLE)?

D - Grid and Magnet (atcoder.jp) 错误代码&#xff1a; //2024年5月5日14:53:43 #include <bits/stdc.h> #define move mmove //防止与头文件中重复 using namespace std; int h,w; string s[1000]; const int move[4][2]{{1,0},{-1,0},{0,1},{0,-1}}; bool used[100…

栈的实现以及c语言解决括号匹配问题

一、栈的实现 1、头文件 typedef int STDataType; typedef struct Stack {STDataType* _a;int _top; // 栈顶int _capacity; // 容量 }Stack; // 初始化栈 void StackInit(Stack* ps); // 入栈 void StackPush(Stack* ps, STDataType data); // 出栈 void StackPop(S…