Humanoid Whole-body Control

系列文章目录


前言

        我们拟举办的研讨会旨在为生物力学和机器人学这两个学科架起一座桥梁,尤其侧重于人体运动分析和仿人机器人的全身控制。将人体运动转化为仿人机器人是一个新兴的跨学科领域。在过去二十年里,传统的双足行走步态生成和基于动态模型优化的全身控制取得了长足进步,但也遇到了各自的局限性。近来,机器学习、计算机视觉和计算能力的进步使人类运动分析取得了显著进展,尤其是在复杂的技能动作方面。我们认为,从人体工程学和生物力学模型中汲取灵感,将人体运动分析与机器人的全身控制联系起来,是一个前景广阔的研究方向。

  • 人类状态估计:仿人机器人的评估和利用
  • 将人类运动技能转移到仿人机器人上
  • 利用数据驱动方法生成多功能仿人机器人动作
  • 基于优化的多接触优化全身控制
  • 促进未来的工业应用和新型机械设计

        与会者将有机会与初级和高级科学家进行面对面讨论,亲身体验最新的控制软件,并与来自美国、欧洲和亚洲的研究人员进行交流。此外,我们还将在 YouTube 上对研讨会进行现场直播,并通过我们的网站传播录制的演讲。

        本次研讨会不仅能促进科学知识的发展,还具有深远的社会意义。实时运动控制对于未来外骨骼和假肢等辅助工具的创新至关重要。

        总之,本次研讨会将展示最先进的人类运动传递方法和见解,旨在提高仿人机器人运动的熟练程度和应变能力,促进学术讨论和社区互动。


一、基于优化的多接触最佳全身控制

        过去二十年来,基于优化的仿人机器人瞬时全身控制技术取得了长足发展。受开创性工作[1]的启发,仿人机器人首次以二次规划(QP)的形式实现了瞬时动态机器人控制,从而实现了对各种任务的受限实时控制。然而,由于自由度数量多,计算复杂度高,实时后退视界最优全身控制(O-WBC)尚未在仿人机器人上实现。相反,研究人员提出了许多接触下全身运动的近似方法。在将全身动力学还原为具有代表性但较为简单的模型后,再根据这些代表性值计算出最佳轨迹。之后,在观察代表值的同时恢复全身运动 [2]。在本次研讨会上,我们将探讨这些近似方法与全身控制之间的差距有多大,或者这些近似方法是否能充分反映人类的运动规划能力。最近一些计算效率极高的方法在四足动物身上实现了接近实时的 O-WBC [3,4]。我们将研究这些最先进的方法在更大 DoF 机器人系统中的可行性。我们希望能找到解决 O-WBC 剩余计算障碍的前进方向。

[1] Multiobjective Control with Frictional Contacts. Abe et. al., Symposium on Computer Animation, 2007.

[2] Multi-contact Locomotion of Legged Robots. Carpentier et. al., 2018.

[3] Inverse-Dynamics MPC via Nullspace Resolution. Mastalli et. al., TRO 2023.

[4] Analytical Second-Order Partial Derivatives of Rigid-Body Inverse Dynamics. Singh et. al., IROS 2022.

 二、利用数据驱动方法生成多功能仿人机器人动作

        数据驱动方法在滑动接触控制[1]、敏捷和动态运动技能[2]以及野外运动[3]等各种应用中取得了前所未有的成功,因此与机器人控制的关系日益密切。

        通过利用真实世界机器人运动的大型数据集或模拟数据[1],数据驱动方法可以学习复杂的控制策略,从而有效处理机器人的非线性动态。数据驱动方法还具有很强的适应性,能够针对不同的任务和环境更快地开发和部署控制策略。因此,数据驱动方法有望提高仿人机器人全身控制的性能、鲁棒性和可扩展性。

[1] N. Rudin, D. Hoeller, P. Reist, and M. Hutter, “Learning to walk in minutes using massively parallel deep reinforcement learning,” in Conference on Robot Learning. PMLR, 2022, pp. 91–100.

[2] J. Hwangbo, J. Lee, A. Dosovitskiy, D. Bellicoso, V. Tsounis, V. Koltun, and M. Hutter, “Learning agile and dynamic motor skills for legged robots,” Science Robotics, vol. 4, no. 26, p. eaau5872, 2019.

[3] T. Miki, J. Lee, J. Hwangbo, L. Wellhausen, V. Koltun, and M. Hutter, “Learning robust perceptive locomotion for quadrupedal robots in the wild,” Science Robotics, vol. 7, no. 62, p. eabk2822, 2022.

三、促进未来的工业应用和新颖的机械设计


        将仿人机器人融入现实人类社会是机器人研究人员的终极梦想。它促使许多机器人以可识别的拟人形式出现,将运动、感知和互动融为一体,重现人类的身体、认知和社会功能。然而,要在现实世界中创造出像人类一样的仿人机器人,我们仍然任重而道远。在设计和制造仿人机器人的过程中,我们面临的最大挑战之一是如何提供广泛的传感运动能力,并促进新技术和新方法的探索。例如,增材制造和人造皮肤可以帮助仿人机器人在形态上更像人类,而从对人类运动的生理学理解中获得的灵感则可以揭示出未被充分开发的硬件组件,如超爆发力致动器和高效主动散热系统。我们的特邀发言人将就这些挑战展开深入讨论,旨在启发未来在仿人机器人应用和设计方面的创新。

四、人类状态估计: 仿人机器人的评估与利用


        利用仿人机器人和数字人类模型模拟人类动作,为了解人类运动控制提供了一种宝贵的方法。运动优化是生成和模拟这些动作的核心。然而,由于需要计算物理量和导数,复杂动作,尤其是运动,给建模、运动学和动力学带来了挑战。我们将重新审视仿人系统运动优化的各种视角,并重点介绍其应用,包括人类肌肉骨骼分析和通过仿人机器人模拟人类运动。

        重要讨论摘要: 通过深入分析和讨论,我们发现状态估计是仿人运动复制的基石,并阐明了该领域的复杂性和潜在解决方案。准确模仿人类运动不仅能提高机器人的能力,还能加深我们对人类运动控制的理解,对康复、运动科学和辅助技术的发展具有重要意义。

五、将人类运动技能传授给仿人机器人

        将人类运动技能转移到仿人机器人是一个多学科研究领域,它结合了生物力学、机器学习和神经科学。我们的目标是利用人体运动的神经机制,为仿人机器人开发有效的运动控制器,以复制类似人类的运动并保持平衡[1]。几十年来,研究人员一直致力于通过模仿人类运动,使仿人机器人实现自然的全身运动模式和无缝转换 [2]。将人类的运动技能移植到仿人机器人上是一项长期存在的挑战、

        描述一种传统方法?(使用参考文献)
        尽管在这一领域取得了重大进展,但仍有若干挑战有待解决。

        总结(传统方法的)问题,例如、
        (问题 1): 人类演示者与仿人机器人在形态上存在显著差异(问题 2):

        此外,目前还不清楚如何将视觉捕捉到的人类运动映射到机器人的运动结构,以及如何有效地应用机器学习技术(如强化学习)来教机器人如何行走或执行其他运动任务。要克服这些挑战,实现将人类运动技能可靠地转移到仿人机器人上,还需要进一步的研究。

        和(问题 3): 仿人机器人难以追踪人类运动?(链接到我们的其他主题?)

        解决方案:
        (关于问题 1),我们的特邀发言人 XXX 最近提议将强化学习与对抗性批评组件相结合,以指导控制策略,确保行为与参考运动的数据分布相一致。在模拟器中对全尺寸仿人 JAXON 进行的评估展示了多种运动模式,如站立、推复、蹲行、类人直腿行走和动态跑步。
值得注意的是,即使在演示数据集中没有过渡动作,机器人也表现出了随着所需的速度变化而在不同运动模式之间自然过渡的能力。

        (关于问题 2),我们关于最优控制的主题,.....。

        (关于问题 3)、

        总结: 通过对人类运动估算和迁移学习的深刻理解,我们期待有影响力的讨论能够推动最先进技术的发展,并在国际社会传播知识。

References:

[1] Mombaur, Katja, Anh Truong, and Jean-Paul Laumond. “From human to humanoid locomotion—an inverse optimal control approach.” Autonomous robots 28 (2010): 369-383.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/20588.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VSCode插件Data Previewer

此插件支持直接在vscode 里对csv,xlsx等数据做可视化、统计探索 1. 安装 2. 使用效果 2.1. yaml文件 2.2. xml文件 2.3. csv文件 可以对文件进行各种分析,如此多的选项 散点图 线图 参考文献 GitHub - RandomFractals/vscode-data-preview: Data Pre…

通过DLL方式链接glfw3.dll

主要是CMakeLists.txt文件变化 cmake_minimum_required(VERSION 3.10) project(glfwTest) set(CMAKE_CXX_STANDARD 11) aux_source_directory(. SRC_SOURCES) set(GLFW_INCLUDE_DIR ${CMAKE_SOURCE_DIR}/include) set(GLFW_LIBRARY_DIR ${CMAKE_SOURCE_DIR}/lib/glfw) add_ex…

关于Maven环境变量配置的报错The JAVA_HOME environment variable is not defined correctly的解决

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

40号渐变灰色背景证件照要求,手机拍照轻松拍干部照片

灰色渐变背景的证件照是一种常见的照片类型,在干部档案、事业单位工作人员信息采集、履历及升迁公示等阶段会用到,按照规范需要使用40号渐变灰色背景。很多朋友不清楚40号灰色是哪种灰色,以及照片的尺寸要求,下面就重点介绍40号渐…

安装conda虚拟环境错误集合

1.AttributeError: module colorama has no attribute init 在网上搜了一下,有好多答案,但不对; 解决方案 重新下载colorama包替换conda包环境中对应的文件夹,然后重新启动miniconda,搞定; 不定期更新 &a…

C++编程:模板初阶

目录 一、泛型编程 1、通用版交换函数的实现: 2、模板的引入 二、函数模板 1、函数模板的定义和使用 2、函数模板的实例化 三、类模板 1、类模板的定义和实例化 模板是C的一项强大特性,犹如中国古代四大发明中的活字印刷术与造纸术融为一体一般&a…

linux 利用 ~$() 构造数字

2024.6.1 题目 <?php //flag in 12.php error_reporting(0); if(isset($_GET[x])){$x $_GET[x];if(!preg_match("/[a-z0-9;|#\"%&\x09\x0a><.,?*\-\\[\]]/i", $x)){system("cat ".$x.".php");} }else{highlight_file(__F…

牛客网刷题 | BC103 金字塔图案

目前主要分为三个专栏&#xff0c;后续还会添加&#xff1a; 专栏如下&#xff1a; C语言刷题解析 C语言系列文章 我的成长经历 感谢阅读&#xff01; 初来乍到&#xff0c;如有错误请指出&#xff0c;感谢&#xff01; 描述 KiKi学习了循环&am…

AI发展的探索与未来展望

随着科技的不断进步&#xff0c;人工智能&#xff08;AI&#xff09;技术已经成为当今社会最热门的话题之一。从简单的自动化任务到复杂的决策支持系统&#xff0c;AI技术正以前所未有的速度改变着我们的世界。本文将深入探讨AI技术的发展历程、当前应用、面临的挑战以及未来的…

C++:细谈Sleep和_sleep

ZINCFFO的提醒 还记得上上上上上上上上上上上上上上上上上上&#xff08;上的个数是真实的&#xff09;篇文章吗&#xff1f; 随机应变——Sleep()和_sleep() 但在ZINCFFO的C怪谈-02中&#xff1a; 我不喜欢Sleep...... 奤&#xff1f;媜煞鷥&#xff01; 整活&#xff01;…

Java的JDK环境变量配置(Windows)

只写了需要配置的环境变量 注&#xff1a;从JDK1.5开始&#xff0c;配置Java环境变量时&#xff0c;不再需要配置CLASSPATH&#xff0c;只需要配置JAVA_HOME和Path 1、配置JAVA_HOME 找到自己的JDK位置&#xff0c;我这里是 C:\dev\java\jdk-17.0.119在环境变量-系统变量中&…

电商商城管理系统

前言&#x1f440;~ 将近一个月没更新了&#xff0c;最近忙着学校的大作业&#xff0c;一个是微信小程序的、一个是互联网编程的&#xff0c;也是忙完了这个大作业&#xff0c;这个大作业前端使用了vue、后端使用了java&#xff0c;接下来展示一些效果图&#xff0c;如果有需要…

计算机组成考试测试题

1.下列陈述中正确的是 ( ) 。 A.在DMA周期内&#xff0c;CPU不能执行程序 B.中断发生时&#xff0c;CPU首先执行入栈指令将程序计数器内容保护起来 C.DMA传送方式中,DMA控制器每传送一个数据就窃取一个指令周期 D.输入输出操作的最终目的是要实现 CPU与外设之间的数据传输 res…

负数二进制转成十进制

如果a ’1‘*32&#xff0c;由于a的第0位是’1‘&#xff0c;那么a为负数 转成十进制的负数分成三步&#xff1a; 1.num int&#xff08;a,2) -1 2.num num^0xffffffff ,其中有八个f 3.num -num a 11111111111111111111111111111111 num int(a,2)-1 num num^0xfffffff…

深度学习复盘与论文复现A

文章目录 一、查漏补缺复盘1、python中zip()用法2、Tensor和tensor的区别3、计算图中的迭代取数4、nn.Modlue及nn.Linear 源码理解5、知识杂项思考列表6、KL散度初步理解 二、处理多维特征的输入1、逻辑回归模型流程2、Mini-Batch (N samples) 三、加载数据集1、Python 魔法方法…

javascript读取本地目录

在JavaScript中&#xff0c;直接读取本地目录的能力受到浏览器安全限制&#xff0c;因为出于隐私和安全考虑&#xff0c;浏览器的JavaScript环境通常不允许直接访问用户的文件系统。然而&#xff0c;随着Web技术的发展&#xff0c;一些现代浏览器引入了File System API或Web Fi…

TPL0401B使用教程

1.前言 前面做程控放大器的时候&#xff0c;有除开AD602&#xff0c;还有一个AD620&#xff0c;性能更好&#xff0c;不过是通过外部电阻来控制放大倍数的&#xff0c;不过要是接滑动变阻器就太不优雅了&#xff0c;而且单片机怎么控制滑动变阻器&#xff1f;&#xff08;难不…

C++双层Vector容器详解

双层Vector容器 关于C中二维vector使用 双层vector的运用细节 插入元素 //正确的插入方式 vector<vector<int> > A; //A.push_back里必须是vector vector<int> B; B.push_back(0); B.push_back(1); B.push_back(2); A.push_back(B); B.clear(); B.push_back…

MySQL:CRUD进阶(七千五百字)

文章目录 前置文章&#xff1a;&#x1f4d1;1. 数据库约束&#x1f324;️1.1 约束类型&#x1f324;️1.2 NULL约束&#x1f324;️1.3 Unique&#xff1a;唯一约束&#x1f324;️1.4 Default&#xff1a;默认值约束&#x1f324;️1.5 Primary key&#xff1a;主键约束&…

Python解方程demo:scipy.optimize -root

该代码利用Python实现解方程功能 使用了scipy.optimize root 求解方程 可以正常调用numpy提供的数学计算函数可以给创建的方程传参 # 导入所需的模块 from scipy.optimize import root import numpy as np# 定义待求解方程 def Equation1(n_eff2, b_1, n_0, n_1, n_2, mode_n…