前言
笔者看了7月4号的人形机器人与具身智能发展论坛的直播，并在7月5日到了上海WAIC展会现场参观。这次大会的举办很有意义，听并看了各家的最新成果，拍了很多照片视频，部分演讲也录屏了在重复观看学习
稍后会相继整理创立穹彻智能的上交卢策吾老师、创立银河通用的北大王鹤老师、宇树CEO王兴兴、哥伦比亚博士生胡宇航、卡内基梅隆智能控制实验室的博士生孙逸凡在此次论坛上的最新公开演讲。并会分享这次WAIC展会上的一些新鲜见闻。欢迎持续关注我的专栏
如果想直接观看演讲原视频，也可以联系我发送，但是我边看边录的，可能会有点模糊。这篇整理学习笔记图也截于此，若模糊望见谅
演讲纪要
1. 演讲思路清晰、技术路线介绍详细易懂
2. 从本体平台、具身智能、数据集、训练场进行介绍
3. 今年的青龙以旋转执行器作为主驱动单元，明年会发布用直线执行器的"snack"人形机器人。每年发布一款公版机，以生肖为版本号
4. 代号是"青龙"人形机器人平台，"朱雀"具身大脑，"玄武"具身小脑、"白虎"数据集、"麒麟"训练场
5. 值得一提的是，通过在强化学习行走的过程中，引入传统控制的思想，使迁移成功率达到100%
6. 2024年，会在上海打造100个人形训练场。2027年，在各个城市、各个场景打造1000个训练场，构建1PB数据集（每周生产5TB+）
上海人形创新中心
2024年5月，上海的国家级人形机器人创新中心揭牌。
上海打造人形机器人底座，关键词——开源。软硬件全开源。开源网站
之前的关键技术，包括GitHub、ROS、Hugging Face都是国外学者组织的开源社区，而中国想打造人形机器人的开源社区
机器人参数、开发时间：
类似ROS每年发布一版，中国的人形机器人也会每年发布一个公版机，以十二生肖为版本序号，体现中国特色：
演讲顺序：
本体平台
100人+，150天+，生态企业50+
本体包括：行走与驱动系统、操纵与作业系统、感知与控制系统
总体硬件
总体设计：
构型设计：
行走与驱动系统
电池电源方面，人形机器人与常规设备不同，存在循环交变、稳态爆发、反电动势巨大的特点。青龙人形搭载了具有能量回收系统和输出稳压管理的电源系统，以支持整机3-4h强功耗续航：
关节模组：
操纵与作业系统
系统设计：
感知与控制系统
具身智能
感知、规划、决策、控制。包括“朱雀”具身大脑、“玄武”具身小脑
- 朱雀大脑：以多模态大模型为核心的机器人指挥调度中心。以文字、图像为输入，输出语音交互、任务决策信息
- 玄武小脑：具体任务执行模型，包括轨迹规划模块和运动控制器。
- 轨迹规划器：由端到端的模仿学习驱动的，视觉作为输入，以人类作业作为模仿对象，输出期望路径
- 运动控制器：以环境信息、机器人状态信息输入，输出关节扭矩，完成控制目标。有两条技术路线。其一是基于强化学习的智能运动控制方法，其二是基于全身动力学模型的预测控制方法
- 遥操作：在朱雀大脑和轨迹规划系统发育尚不完全的情况下，还会利用遥操作系统作为输入，控制机器人完成任务。也可用来收集数据，去发育朱雀大脑和轨迹规划系统
具身大脑
现场演示demo：
——人：你看桌面有什么？
——机器人：桌面有2个面包、3个水果
——人：桌面有点乱，你能帮我清理一下么？
——机器人：好的，正在为您整理桌面。我将把面包和水果分类摆放（它先将面包都放到桌面右边，水果放到桌面左边，再分别抓到篮子中）
具身小脑
三条路径：传统的控制理论（可解释性强）、模仿学习（训练难度低）、强化学习（智能体有较强的鲁棒性）。结合这三条路径有点，打造小脑模型
首先收集大量人体数据，包括人体运动协调数据和人类作业数据，以此为基础，打造行为策略和行为标准。然后，利用控制理论、强化学习两条路径，打造运动控制器。三条路径相互支撑。三个月内完成算法开发、部署、迭代
数据
创新中心采用2类数据采集方式：
- 全身运动捕捉系统：对高精度手部数据、全身数据进行采集。可以训练机器人完成走跑跳、抓拿放等多种技能
- 视觉捕捉系统：针对灵巧专用、精细作业，通过视觉捕捉系统完成毫米级的手部动作采集
通过采集丰富数据训练大小脑：
打通人形机器人数据采集、评估清洗、训练一体的全流程体系。提供解决方案、行业可参考的设计理念：
提供标准数据采集工具和基于数字孪生系统完成的评估/二次标注方法：
3年内100台采集设备，完成1PB数据集采集：
提供预训练模型、微调和测评服务，帮助各个企业加速发展：
人形机器人数据是目前整个行业最大的痛点，只由创新中心来做这件事很艰巨，希望通过生态、联盟单位，一起加速开源数据集的建立
训练场
人形机器人一个难点是获得高质量数据难、场景应用难
训练场：搭建场景模拟产线、工艺流水线的规模化数据，检测评估基地。其实也就是数据生产、收集基地
特斯拉训练场。谷歌RT1的开源数据集，在17个月中只收集到13w条高质量数据
训练场难度分级：
训练场架构：
算-学：用模仿学习、强化学习，做单臂、双臂、全身运动的训练；用：工业产线、服务。模拟应用
训练数据产生步骤：
分为3个阶段
- 第1阶段：基于aloha，打造单臂单技能学习、作业对象与环境的泛化能力
- 第2阶段：基于前面的6自由度协作臂，将这套技术路线迁移到青龙人形机器人的上肢上，做多技能的学习和训练，实现多技能的模仿学习
- 第3阶段：未来会做大规模人类视频，产生低成本、规模化数据集的工作
训练场构建方式：
- 搭建数据管理的平台系统，打造操作端、机器端云网服务器。
- 建设实时标定系统、控制系统、数据采集系统、数据反馈系统
- 通过数字孪生，生成合成式数据
- 通过异构人形机器人，打造真实、生成式数据
2024年，会在上海打造100家人形机器人训练场。2027年，在各个城市、各个场景打造1000个训练场：
