系列文章目录
前言
我们拟举办的研讨会旨在为生物力学和机器人学这两个学科架起一座桥梁,尤其侧重于人体运动分析和仿人机器人的全身控制。将人体运动转化为仿人机器人是一个新兴的跨学科领域。在过去二十年里,传统的双足行走步态生成和基于动态模型优化的全身控制取得了长足进步,但也遇到了各自的局限性。近来,机器学习、计算机视觉和计算能力的进步使人类运动分析取得了显著进展,尤其是在复杂的技能动作方面。我们认为,从人体工程学和生物力学模型中汲取灵感,将人体运动分析与机器人的全身控制联系起来,是一个前景广阔的研究方向。
- 人类状态估计:仿人机器人的评估和利用
- 将人类运动技能转移到仿人机器人上
- 利用数据驱动方法生成多功能仿人机器人动作
- 基于优化的多接触优化全身控制
- 促进未来的工业应用和新型机械设计
与会者将有机会与初级和高级科学家进行面对面讨论,亲身体验最新的控制软件,并与来自美国、欧洲和亚洲的研究人员进行交流。此外,我们还将在 YouTube 上对研讨会进行现场直播,并通过我们的网站传播录制的演讲。
本次研讨会不仅能促进科学知识的发展,还具有深远的社会意义。实时运动控制对于未来外骨骼和假肢等辅助工具的创新至关重要。
总之,本次研讨会将展示最先进的人类运动传递方法和见解,旨在提高仿人机器人运动的熟练程度和应变能力,促进学术讨论和社区互动。
一、基于优化的多接触最佳全身控制
过去二十年来,基于优化的仿人机器人瞬时全身控制技术取得了长足发展。受开创性工作[1]的启发,仿人机器人首次以二次规划(QP)的形式实现了瞬时动态机器人控制,从而实现了对各种任务的受限实时控制。然而,由于自由度数量多,计算复杂度高,实时后退视界最优全身控制(O-WBC)尚未在仿人机器人上实现。相反,研究人员提出了许多接触下全身运动的近似方法。在将全身动力学还原为具有代表性但较为简单的模型后,再根据这些代表性值计算出最佳轨迹。之后,在观察代表值的同时恢复全身运动 [2]。在本次研讨会上,我们将探讨这些近似方法与全身控制之间的差距有多大,或者这些近似方法是否能充分反映人类的运动规划能力。最近一些计算效率极高的方法在四足动物身上实现了接近实时的 O-WBC [3,4]。我们将研究这些最先进的方法在更大 DoF 机器人系统中的可行性。我们希望能找到解决 O-WBC 剩余计算障碍的前进方向。
[1] Multiobjective Control with Frictional Contacts. Abe et. al., Symposium on Computer Animation, 2007.
[2] Multi-contact Locomotion of Legged Robots. Carpentier et. al., 2018.
[3] Inverse-Dynamics MPC via Nullspace Resolution. Mastalli et. al., TRO 2023.
[4] Analytical Second-Order Partial Derivatives of Rigid-Body Inverse Dynamics. Singh et. al., IROS 2022.
二、利用数据驱动方法生成多功能仿人机器人动作
数据驱动方法在滑动接触控制[1]、敏捷和动态运动技能[2]以及野外运动[3]等各种应用中取得了前所未有的成功,因此与机器人控制的关系日益密切。
通过利用真实世界机器人运动的大型数据集或模拟数据[1],数据驱动方法可以学习复杂的控制策略,从而有效处理机器人的非线性动态。数据驱动方法还具有很强的适应性,能够针对不同的任务和环境更快地开发和部署控制策略。因此,数据驱动方法有望提高仿人机器人全身控制的性能、鲁棒性和可扩展性。
[1] N. Rudin, D. Hoeller, P. Reist, and M. Hutter, “Learning to walk in minutes using massively parallel deep reinforcement learning,” in Conference on Robot Learning. PMLR, 2022, pp. 91–100.
[2] J. Hwangbo, J. Lee, A. Dosovitskiy, D. Bellicoso, V. Tsounis, V. Koltun, and M. Hutter, “Learning agile and dynamic motor skills for legged robots,” Science Robotics, vol. 4, no. 26, p. eaau5872, 2019.
[3] T. Miki, J. Lee, J. Hwangbo, L. Wellhausen, V. Koltun, and M. Hutter, “Learning robust perceptive locomotion for quadrupedal robots in the wild,” Science Robotics, vol. 7, no. 62, p. eabk2822, 2022.
三、促进未来的工业应用和新颖的机械设计
将仿人机器人融入现实人类社会是机器人研究人员的终极梦想。它促使许多机器人以可识别的拟人形式出现,将运动、感知和互动融为一体,重现人类的身体、认知和社会功能。然而,要在现实世界中创造出像人类一样的仿人机器人,我们仍然任重而道远。在设计和制造仿人机器人的过程中,我们面临的最大挑战之一是如何提供广泛的传感运动能力,并促进新技术和新方法的探索。例如,增材制造和人造皮肤可以帮助仿人机器人在形态上更像人类,而从对人类运动的生理学理解中获得的灵感则可以揭示出未被充分开发的硬件组件,如超爆发力致动器和高效主动散热系统。我们的特邀发言人将就这些挑战展开深入讨论,旨在启发未来在仿人机器人应用和设计方面的创新。
四、人类状态估计: 仿人机器人的评估与利用
利用仿人机器人和数字人类模型模拟人类动作,为了解人类运动控制提供了一种宝贵的方法。运动优化是生成和模拟这些动作的核心。然而,由于需要计算物理量和导数,复杂动作,尤其是运动,给建模、运动学和动力学带来了挑战。我们将重新审视仿人系统运动优化的各种视角,并重点介绍其应用,包括人类肌肉骨骼分析和通过仿人机器人模拟人类运动。
重要讨论摘要: 通过深入分析和讨论,我们发现状态估计是仿人运动复制的基石,并阐明了该领域的复杂性和潜在解决方案。准确模仿人类运动不仅能提高机器人的能力,还能加深我们对人类运动控制的理解,对康复、运动科学和辅助技术的发展具有重要意义。
五、将人类运动技能传授给仿人机器人
将人类运动技能转移到仿人机器人是一个多学科研究领域,它结合了生物力学、机器学习和神经科学。我们的目标是利用人体运动的神经机制,为仿人机器人开发有效的运动控制器,以复制类似人类的运动并保持平衡[1]。几十年来,研究人员一直致力于通过模仿人类运动,使仿人机器人实现自然的全身运动模式和无缝转换 [2]。将人类的运动技能移植到仿人机器人上是一项长期存在的挑战、
描述一种传统方法?(使用参考文献)
尽管在这一领域取得了重大进展,但仍有若干挑战有待解决。
总结(传统方法的)问题,例如、
(问题 1): 人类演示者与仿人机器人在形态上存在显著差异(问题 2):
此外,目前还不清楚如何将视觉捕捉到的人类运动映射到机器人的运动结构,以及如何有效地应用机器学习技术(如强化学习)来教机器人如何行走或执行其他运动任务。要克服这些挑战,实现将人类运动技能可靠地转移到仿人机器人上,还需要进一步的研究。
和(问题 3): 仿人机器人难以追踪人类运动?(链接到我们的其他主题?)
解决方案:
(关于问题 1),我们的特邀发言人 XXX 最近提议将强化学习与对抗性批评组件相结合,以指导控制策略,确保行为与参考运动的数据分布相一致。在模拟器中对全尺寸仿人 JAXON 进行的评估展示了多种运动模式,如站立、推复、蹲行、类人直腿行走和动态跑步。
值得注意的是,即使在演示数据集中没有过渡动作,机器人也表现出了随着所需的速度变化而在不同运动模式之间自然过渡的能力。
(关于问题 2),我们关于最优控制的主题,.....。
(关于问题 3)、
总结: 通过对人类运动估算和迁移学习的深刻理解,我们期待有影响力的讨论能够推动最先进技术的发展,并在国际社会传播知识。
References:
[1] Mombaur, Katja, Anh Truong, and Jean-Paul Laumond. “From human to humanoid locomotion—an inverse optimal control approach.” Autonomous robots 28 (2010): 369-383.