TRILL解析

Deep Imitation Learning for Humanoid Loco-manipulation through Human Teleoperation解析

  • 摘要
  • 1.简介
  • 2. Related work
    • 2.1 人形机器人的局部操纵
    • 2.2 远程操作示范中的模仿学习
  • 3. 方法

论文链接:https://arxiv.org/abs/2309.01952
论文项目:https://ut-austin-rpl.github.io/TRILL/
论文出处:2023 IEEE-RAS International Conference on Humanoid Robots (Humanoids)
论文单位:The University of Texas at Austin

摘要

  • 我们用深度模仿学习解决了开发**人形机器人局部操作(humanoid loco-manipulation)**技能的问题。
  • 为具有高度自由度的类人机器人收集任务演示训练策略的困难提出了实质性的挑战。
  • 我们介绍了TRILL,这是一个数据高效的框架,用于从人类演示中训练类人机器人局部操作策略。
  • 在这个框架中,我们通过一个直观的虚拟现实(VR)界面收集人类演示数据。
  • 我们采用全身控制方式(whole-body control formulation),将人类操作员的任务空间指令转换为机器人的关节-扭矩驱动,同时稳定其动力学。
  • 通过采用针对类人肢体操作的高级动作抽象,我们的方法可以有效地学习复杂的感觉运动技能
  • 我们演示了TRILL在仿真和现实世界机器人上执行各种局部操作任务的有效性。

在这里插入图片描述
图1. TRILL概况图。TRILL解决了学习人体局部操作的挑战。我们介绍了一个学习框架,该框架通过人类演示者提供的任务空间命令促进远程操作演示。经过训练的策略利用人在决策中的复杂性和适应性来生成这些命令。机器人控制界面在符合机器人动力学的情况下,通过关节-扭矩驱动来执行这些目标命令。这种模仿学习和全身控制的协同结合使方法在模拟和现实环境中都能成功实施。

1.简介

  • 近年来,针对人形机器人的硬件设计和控制算法取得了重大进展。由于它们的人形结构,这些机器人具有巨大的多功能性,可以在以人为中心的环境中执行各种日常任务

  • 然而,缺乏自主性是在现实世界中广泛部署类人机器人的主要障碍。

  • 迄今为止,这些机器人的大多数操作方法严重依赖于特定任务的手动编程人工远程操作

  • 模仿学习最近成为一种灵活的、数据驱动的方法,用于从人类演示中构建机器人控制器。

  • 特别是,利用大型神经网络实现的深度模仿学习算法已经成功地应用于更简单的机器人形态,包括桌面臂和轮式平台。

  • 然而,将这些算法应用于人形机器人会带来两个额外的挑战
    (1)第一个挑战源于这样一个事实: 人形机器人是漂浮的基础系统,需要在与环境进行物理交互时保持平衡。在多接触任务中,机器人的物理相互作用影响其动力学特性,增加了机器人控制的不确定性和复杂性。在标准遥操作界面中,触觉和本体感觉感知模式的缺失进一步加剧了这个问题。
    (2)第二个挑战是类人机器人的高度自由度,导致大的动作空间,这提高了对策略学习的数据需求和计算需求。

  • 我们克服这些挑战的关键思路是将全身控制模式(whole-body control formulation)纳入我们的数据收集系统和策略学习方法中。

  • 全身控制是一种综合的控制框架,它采用了一套最小的简单、低维规则来充分利用基于漂浮的机器人的能力,使其与环境进行兼容的多接触交互。利用该控制器简化了人类操作员通过直观的虚拟现实(VR)界面提供任务演示的过程。

  • 此外,它使我们的策略能够预测任务空间中的高级操作。这些动作随后可以转换为关节级扭矩命令进行驱动。

  • 为此,我们介绍了TRILL (Teleoperation and Imitation Learning for local -manipulation),这是一个深度模仿学习框架,用于从人类演示中学习人形机器人的感觉运动策略。

  • TRILL由三个主要部分组成
    (1)第一个是基于VR的远程操作界面,为人类提供直观的任务演示方式。
    (2)第二个是一个全身控制器,它可靠地将人体演示的任务空间轨迹转换为关节扭矩动作。使用全身控制优先考虑机器人的稳定性和跟踪肢体轨迹,以产生动态可行的运动。
    (3)最后一个组件是用于训练本地操作策略的数据高效模仿学习算法。我们的策略预测机器人手部的目标设定值,并发送指令规定步态序列命令,从而实现具有高水平动作抽象的样本高效训练。

  • 这些组件一起使TRILL能够执行复杂的局部操作任务,同时熟练地稳定不确定的机器人动力学。

  • 我们在模拟和真实硬件设置中评估了我们的方法。在两个模拟环境中,TRILL在自由空间运动任务中达到96%的成功率,在操纵任务中达到80%的成功率,在局部操纵任务中达到92%的成功率。在所有任务中,我们的方法的成功率比最先进的模仿学习基线高出28%。

  • 我们还将我们的方法部署到现实世界的人形机器人DRACO 3中,在两个富含接触的操作任务中实现了85%的平均成功率。

  • 在我们的知识中,这项工作是第一个成功地实现了深度模仿学习,以学习在现实世界的人形系统中学习复杂操作任务的视觉运动策略。

2. Related work

2.1 人形机器人的局部操纵

  • 人形机器人由于其不连续的运动和在执行任务时需要保持平衡而面临着独特的挑战。
  • 这与轮式移动机械手形成对比,轮式移动机械手具有连续的运动和操作流形,使可行的运动变得简单明了。
  • 为了解决控制类人机器人的挑战,最近的研究探索了动态全身解决方案。
  • 这些方法虽然很有前途,但只提供特定于任务的解决方案,缺乏通用性,并且需要大量的计算能力。
  • 人体远程操作是全身控制的另一种解决方案,旨在降低控制复杂性并改善机器人与环境的相互作用。
  • 开创性的工作已经开发了远程操作机器人,并将简单的人类操作员动作转移到全身水平的类人机器人上。
  • 然而,在远程操作高动态运动时,在保持机器人平衡的同时确保平稳、稳定、实时的运动仍然是一个重大挑战。

2.2 远程操作示范中的模仿学习

  • 从演示中学习是在人类监督下构建复杂灵巧操作任务机器人行为的有效方法。
  • 远程操作的人类演示已被证明在减少训练数据和部署设置之间的领域差距方面特别有用。此外,数据收集可以相对容易地扩大规模。
  • 大多数现有的方法都局限于桌面操作或轮式平台。与这些平台不同,收集人形机器人的演示更具挑战性,因为人类操作员的动作命令不能轻易映射到机器人上。这主要是由于人形机器人复杂的浮基动力学,加上稳定性问题和状态估计的不确定性。
  • 作为这项工作的一部分,我们开发了一个实用的系统,可以大规模收集人形局部操纵的人类演示。

3. 方法

  • 我们介绍了TRILL,一个用于人形局部操作的深度模仿学习框架。
  • 我们方法的关键是将局部操作pipeline分解为两层层次结构,由高级视觉运动策略低级全身控制器组成。
  • 策略的高级动作抽象促进了数据高效的学习。
  • 低级控制器补充高级策略,在实现策略预期动作的同时稳定机器人动力学。
  • TRILL利用了这种分层结构,如图2所示。高级策略π_H生成任务空间命令。我们通过VR远程操作系统收集的人类演示,通过模仿学习来训练π_H。低级控制策略π_L计算电机转矩,以完成π_H设定的命令。为了保证机器人运动的鲁棒性,我们采用了全身控制公式来实现控制器π_L
    在这里插入图片描述
    图2. TRILL的模型架构。经过训练的策略根据机载立体摄像机的观测结果和机器人的本体感觉反馈产生20 Hz的目标任务空间指令。机器人控制界面实现任务空间指令,计算出在100hz下所需的关节力矩,并将其发送给机器人驱动。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/7564.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

通过mask得到bbox(numpy实现)

在SAM的加持下,我们很容易得到物体的mask,但是物体的bbox信息通常也很有用。那么,我们可以写一个函数,立马可以通过mask得到bbox。 代码如下: import numpy as npdef mask2bbox(mask):nonzero_indices np.nonzero(m…

运维开发工程师教程之MongoDB单机版设置

MongoDB单机版设置 一、创建虚拟机 在VMware Workstation软件中新建一个虚拟机,具体操作步骤如下: ①运行VMware Workstation软件,进入到主界面,单击“创建新的虚拟机”来创建新的虚拟机,如图3-1所示。 图3-1 VMware…

Anaconda安装教程

1Anaconda 简介 Anaconda是一个数据科学平台,提供一个发行版的 Python 以及大量常用的数据科学包、库和工具。通过包含诸如 NumPy、Pandas、SciPy、Matplotlib等核心库,以及 Jupyter Notebook等开发工具,使数据分析、机器学习和数据可视化变…

stm32和树莓派的区别?

在开始前我有一些资料,是我根据网友给的问题精心整理了一份「stm32的资料从专业入门到高级教程」, 点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!!Stm32和树莓派是两个不同的领域…

从零搭建xxl-job(一) :单体项目多模块项目搭建

maven配置&#xff1a; 属性解释&#xff1a; <groupId> 在Maven中&#xff0c;groupId是一个项目的唯一标识符&#xff0c;它通常是公司或组织的反向域名&#xff0c;例如com.example.project。groupId在Maven的依赖管理中也非常重要&#xff0c;因为它可以确保依赖项…

百度副总裁秒批离职,00后的职场逆袭?

“员工闹分手提离职我秒批”&#xff0c;百度副总裁璩静的职场经历和思考在近期引发了大量讨论。 璩静在小红书分享了自己作为女性管理者&#xff0c;面对团队内部的感情问题&#xff0c;是如何处理的&#xff1a; “我第一时间就跟这个年轻的女孩子说&#xff0c;你走吧&…

SAP 财务借贷理解

以下只是个人理解&#xff0c;如果觉得有问题&#xff0c;千万别被带偏哈&#xff1a; 1、了解一些俚语&#xff1a; 有借必有贷&#xff0c;借贷必相等 资产 负债 所有者权益 收入 - 费用 利润 T字记账 2、 资产 、负债 、所有者权益、收入 、费用 、 利润 哪些增加或者减少…

如何创建git并上传

Git的配置和上传主要涉及以下步骤&#xff1a; 一、Git的配置 安装Git&#xff1a;首先&#xff0c;你需要在你的计算机上安装Git。这通常可以通过访问Git的官方网站并按照其提供的安装指南来完成。 注册GitHub账户&#xff08;如果你还没有的话&#xff09;&#xff1a;在Gi…

18、ESP32 ESP-NOW 点对点通信

ESP-NOW 是乐鑫自主研发的无连接通信协议&#xff0c;具有短数据包传输功能。该协议使多个设备能够以简单的方式相互通信。 ESP-NOW 功能 ESP-NOW 支持以下功能&#xff1a; 加密和未加密的单播通信;混合加密和未加密的对等设备;最多可携带 250 字节 的有效载荷;发送回调功能…

苹果免签封装的优势和安全风险

哈喽&#xff0c;大家好呀&#xff0c;淼淼又来和大家见面啦&#xff0c;许多小伙伴应该都知道&#xff0c;App Store一直是iOS应用的主要分发渠道&#xff0c;苹果生态系统的监管是十分严格的&#xff0c;以此确保了应用质量与用户的安全。而苹果免签封装则是有一种不需要通过…

【EasySpider】EasySpider+mysql执行配置异常

问题 使用易采集工具操作时候&#xff0c;遇到一个执行异常&#xff0c;后来发现没有选择数据类型 Loading stealth.min.js MySQL config file path: ./mysql_config.json 成功连接到数据库。 Successfully connected to the database. Traceback (most recent call last):…

如何练英语口语?三个简单练习方法

如何练英语口语&#xff1f;在全球化日益加速的今天&#xff0c;英语已经成为了一种必不可少的交流工具。对于很多人来说&#xff0c;尤其是那些想要在国际舞台上崭露头角的人&#xff0c;流利的英语口语更是必不可少的技能。但是&#xff0c;很多人也面临着一个问题&#xff1…

【Flutter】App内购支付集成 Google和Apple支付和服务器验证全流程

Flutter支付集成 前言&#xff1a; 以谷歌内购为例&#xff0c;我们需要做的总共为三步 需要在谷歌市场配置商品&#xff0c;设置测试渠道&#xff0c;配置开发者账号&#xff0c;设置对应权限。配置完商品之后&#xff0c;如何在 Flutter 中获取到商品&#xff0c;购买指定…

Unity技术学习:渲染大量物体的解决方案,外加RenderMesh、RenderMeshInstanced、RenderMeshIndirect的简单使用

叠甲&#xff1a;本人比较菜&#xff0c;如果哪里不对或者有认知不到的地方&#xff0c;欢迎锐评&#xff08;不玻璃心&#xff09;&#xff01; 导师留了个任务&#xff0c;渲染大量的、移动的物体。 寻找解决方案&#xff1a; 当时找了几个解决方案&#xff1a; 静态批处…

手把手教你解决FP独立站收款问题

独立站成为了许多跨境卖家的首选平台&#xff0c;尤其是对于那些销售FP产品的卖家来说&#xff0c;它提供了一个更为宽松的经营环境。然而&#xff0c;FP独立站虽然规避了平台审核的风险&#xff0c;却面临着另一个挑战——收款问题。 由于FP产品属于敏感领域&#xff0c;与普货…

面试集中营—JVM篇

一、JVM内存模型 线程独占&#xff1a;栈&#xff0c;本地方法栈&#xff0c;程序计数器; 线程共享&#xff1a;堆&#xff0c;方法区 虚拟机栈&#xff1a;线程私有的&#xff0c;线程执行方法是会创建一个栈阵&#xff0c;用来存储局部变量表&#xff0c;操作栈&#xff0c;…

淘宝天猫API接口大全:商品详情商品接口,以图搜索淘宝商品接口,拍立淘接口

淘宝天猫API接口为开发者提供了丰富的功能&#xff0c;以下是关于商品详情接口、以图搜索淘宝商品接口以及拍立淘接口的一些介绍&#xff1a; 商品详情接口&#xff1a; 接口功能&#xff1a;允许用户通过商品ID或商品链接获取商品的详细信息&#xff0c;如标题、价格、销量、…

多个开源的js补环境框架测试

原文链接&#xff1a;https://mp.weixin.qq.com/s/uEMFGpE5bqmTvzSgX2twvA 前言 在做js逆向时肯定会遇到补环境的情况&#xff0c;看到github开源了好几个补环境用的框架&#xff0c;这篇文章做个测试&#xff0c;看看哪个比较好用。 https://github.com/pysunday/sdenvhttp…

python直接发布到网站wordpress之三批量发布图片

在前面的文章中&#xff0c;实现了使用python操作wordpress发布文字内容和图片内容。 python直接发布到网站wordpress之一只发布文字-CSDN博客 python直接发布到网站wordpress之二发布图片-CSDN博客 不过&#xff0c;此时发布图片的数量只能是一张图片。但在实际应用中&…

电脑桌面备忘录在哪里设置?好用的电脑桌面备忘录软件

在日常工作和生活中&#xff0c;电脑桌面备忘录的重要性不言而喻。想象一下&#xff0c;在繁忙的工作中&#xff0c;你能够一眼看到桌面上的备忘录提醒&#xff0c;从而及时完成重要任务&#xff0c;或者在紧张的学习中&#xff0c;通过备忘录快速回顾关键知识点。一款优秀的电…