北京时间2024年6月12日23时，美国北卡罗来纳州立大学与北卡罗来纳大学教堂山分校的苏浩团队在《自然》（Nature）上发表了一篇关于机器人和人工智能算法相结合服务人类的突破性研究论文，标题为“Experiment-free Exoskeleton Assistance via Learning in Simulation”。

外骨骼机器人虽然可以帮助人行走，但通常局限于实验室环境，并且需要半小时到一小时来调整机器人的软件算法以适应每个使用者。该论文展示了一种在计算机仿真环境中通过强化学习来让机器人学习控制策略的新方法。

通过这种“计算机仿真中的机器学习”(learning-in-simulation)，研究展示了这种方法可以让机器人具备智能性，特别是能适合各种人的泛化能力，不仅可以自主适应走路、跑步、爬楼梯等多种动作，还能帮助在行走中节省大量的人体能量。

这项研究标志着外骨骼技术的新纪元，使机器人更加智能和实用，有望极大地提高老年人,行动障碍人士和残疾人的生活质量。

创新人工智能”仿真中学习”框架，实现外骨骼的智能性和通用性
外骨骼是一种穿戴式机器人，通过提供外部动力来辅助人体运动，增强力量和稳定性。它可以改善人类的运动，恢复残疾人的行动能力, 显著提高人们的健康和生活质量。
苏浩教授指出：“ 我们的理念是科学技术要以人为本，为人服务，解决现实中的问题。现有的外骨骼控制算法通常需要长达几个小时的人体实验和调参，这一过程耗时耗力，这阻碍了外骨骼的广泛应用。我们提出了一种创新的人工智能框架突破了仿真与现实之间的鸿沟。通过纯计算机仿真，也就是数字孪生的方法，这种基于模型和数据驱动的强化学习算法，使外骨骼在步行，跑步，爬楼梯多种动作提供有效助力， 减少人体能量消耗，相当于减少11.9公斤体重。这种从仿真到现实(sim2real) 的迁移学习在可穿戴机器人没有研究过，主要是仿真与现实之间的鸿沟巨大，因为每个人和每个人的生物力学特征是非常不同的。我们在研究的早期，感觉解决这个问题是非常困难的，很多机器人同行也觉得这个方法走不通，所以我们当时非常纠结是不是应该继续这个研究方向” 。
为了探索这个技术的可行性，罗淑贞博士（曾是苏浩教授博士后，现任美国安柏瑞德航空大学的助理教授，本文第一作者）进行了长达4年的研究，她介绍说：“我们首先通过创建高保真的肌肉骨骼模型，并设计三个深度神经网络的闭环仿真训练方法。此方法集成了人类模型（包括运动模仿网络和肌肉协调网络）以及外骨骼控制器（神经网络的控制策略），实现通过交换状态信息来精准模拟人机互动过程。通过这种“计算机仿真中的机器学习”(learning-in-simulation)的方法，在NVidia的GPU仿真训练后的控制器可实时生成适应不同运动模式的助力，无需任何人体实验或调试。”
苏浩教授团队将仿真学习得到的控制器在三种活动（步行、跑步和爬楼梯）上进行了实验，每种活动均包含8位健康受试者。实验结果显示，该控制器产生的助力曲线能够根据不同的活动类型自主进行调整，无需进行任何人工干预。例如，随着行进速度的逐渐加快，控制器产生的助力大小也会随之增加，并且曲线形状也会发生变化以适应不同活动的助力需求。实现这一能力的关键在于控制器完全依赖于戴在受试者大腿上的惯性测量单元传感器提供的大腿运动学信息作为输入，并且控制器通过上百万轮的仿真训练掌握了通过输入的运动学信号直接输出合适的助力的能力。我们的控制器能够端到端地生成合适的助力，现有方法大多都需要很多额外的中间步骤，而这会引入繁琐的人工调节参数的过程，并且也会对控制器的泛化能力产生影响”，苏浩教授表示。同时，由于不同受试者的行动方式各有差异，即使是针对同一个速度的活动，控制器也会给不同受试者产生略有不同的助力曲线。“我们工作的一大亮点是控制器产生的助力在不同人身上是不一样的，它会自主调节，而不是给一个固定形状的助力。”苏浩教授说道。

进一步的实验结果显示，使用该控制器后，在行走时将受试者的平均新陈代谢速率降低了24.3%，在跑步时降低了13.1%，在爬楼梯时降低了15.4%。这些降幅超过了以往研究中任何一款使用便携式下肢外骨骼所取得能量降幅，以上结果表明通过仿真学习得到的外骨骼控制器确实对人的不同活动提供了极大的帮助。

图1 | 通过仿真学习对外骨骼助力进行免实验优化
无需人体实验，外骨骼开发进入快车道
该研究的核心在于利用仿真学习来弥合电脑仿真与现实应用之间的鸿沟。研究团队通过数百万轮的仿真训练，使控制器能够在不同的活动中生成有效的助力。这种方法不仅提高了开发效率，还减少了对昂贵且耗时的人体实验的依赖，为外骨骼的快速开发与广泛应用提供了可行路径。

图2 | 仿真学习框架
支持连续多动作，实现高效辅助
张赛男博士（苏浩组博士后，文章作者之一）表示：“这是一种具身智能的研究，我们的算法是基于我们自己研发的外骨骼，是最轻的动力型可穿戴机器人。该研究的一大亮点在于外骨骼设备能够实现多动作的连续支持。在实验中，佩戴外骨骼设备的受试者可以无缝衔接多种动作。例如，用户从慢走逐渐加速到跑步，然后再迅速转变为爬楼梯，整个过程外骨骼设备都能够提供稳定而有效的辅助。通过由强化学习得到的控制策略，外骨骼能够实时调整助力大小和时机，确保每一个动作都得到合适的助力。”这种支持对连续动作提供助力的能力显著提高了外骨骼设备的实用性和用户体验，展示了外骨骼技术在多样化运动中的潜力。

图3 | 各种活动和运动转换期间的助力曲线
应用前景广阔

这项研究成果在外骨骼技术的发展过程中具有重要的里程碑意义。外骨骼设备不仅可以显著提高普通人的运动表现，也能帮助残疾人恢复行动能力。罗淑贞博士、苏浩教授及新泽西理工学院周先连教授和全美最大的康复研究中心之一Kessler Foundation岳光辉教授合作，研究利用仿真学习来控制康复机器人。周教授表示：“我认为仿真学习在康复机器人控制上具有非常好的应用前景。需要进行运动康复的患者病情各异，因而需要不同的辅助需求。我们的仿真学习技术具有很好的自适应性，同时也有可能进一步实现定制化的辅助控制。” 研究团队相信，通过进一步优化和推广这一仿真学习框架，可穿戴机器人未来将在医疗、工业和日常生活中发挥更加广泛的作用。