大模型时代的具身智能系列专题(七)

北大王鹤团队

王鹤，北京大学前沿计算研究中心助理教授，本科毕业于清华大学，博士毕业于斯坦福大学，师从美国三院院士Leonidas. J Guibas教授。他创立并领导了具身感知与交互实验室(EPIC Lab)，实验室立足三维视觉感知与机器人学，重点关注具身机器人在三维复杂环境中的感知和交互问题，研究目标是以可扩增地方式发展高泛化性的机器人视觉和控制系统。研究成果覆盖物体抓取、功能性操控、灵巧操作及寻物导航。

主题相关作品

UniDexGrasp
UniDexGrasp++
GraspNerf

UniDexGrasp

这项工作学习一个通用的灵巧抓取方法，可以在仿真的场景中很好地泛化到数百种训练时见过或是未见过的物体类别，并且输入仅包含相机拍摄的深度信息和描述机器人自身状态的自我感知参数。使用的数据集包含来自133个物体类别的5519个物体实例的100多万种抓取手势，这是目前最大的机器人灵巧手抓取数据集。
fig2
如图2所示，方法的流程分为左右两个阶段：第一阶段针对物体点云输入生成若干抓取手势，从中挑选一个作为目标手势之后，第二阶段使用基于目标手势的强化学习策略来执行抓取。

在生成抓取手势时，由于我们发现将旋转的SO(3) 空间与平移和关节角的欧式空间解耦，并且在最后附加基于接触图的优化过程，将会获得更稳定有效的生成流程，因此生成抓取手势总共分为三个子模块。

生成总体旋转的模块 GraspIPDF 受到了 ImplicitPDF（缩写为 IPDF）的启发，使用神经网络来隐式表达概率分布 $p(R|X_0)$ 使得我们可以从中采样。
在确定了一个旋转之后，我们将整个观察到的点云规范化至 $\tilde{X}_0$ ，作为输入进入第二个模块 GraspGlow。Glow 是一种常用的基于标准化流来建模欧式变量的方法，而 GraspGlow 则利用它来建模

由于我们在前两个阶段致力于生成多样性的抓取，因而基于概率采样出的抓取手势在精确度方面不可避免地有所下降。所以我们需要第三个子模块，即通过接触图来优化概率采样得到的抓取手势。ContactNet 的输入是并不完美的抓取手势与物体点云（训练时我们通过扰动完美的抓取手势来实现这一效果），输出是对物体点云中的每一个点的在 [0,1] 区间内的理想接触热力值，越靠近 1 表示离理想接触时的手越远，越靠近 1表示离理想接触时的手越近。

为了使概率采样得到的手更接近理想接触时的手，一方面我们通过自监督的损失函数来微调 GraspGlow，这个损失函数包含了：

预测的理想接触图与由 GraspGlow 输出的手计算得到的接触图之前的差异；
物体点云穿透进手的网格的距离平方值；
手上预先选定的点位穿透进平面的深度；
自穿透。

另一方面，在测试时，我们也设计了能量函数来直接优化手势，这个能量函数包含的项与自监督的项相同，只是直接优化手势参数，而不是用来微调 GraspGlow。
fig3

在执行目标手势的强化学习时，如果直接基于点云以及描述机器人自身状态的自我感知参数，这两个真实世界能够获取的输入，那么学习的难度极大。所以，我们采用了师生学习框架（Teacher-Student Learning Framework）。即我们首先学习一个可以访问全知状态输入的全知教师模型，然后将其蒸馏为只接受实际输入的学生模型。不过尽管教师策略获得了对全知信息的访问权，但使其成功地抓取与不同抓取手势目标配对的不同物体仍然是艰巨的任务。为了提升模型训练的效率和以及在不同类别物体之间的泛化性能，我们设计了以下3个技巧：

状态标准化；
对于物体的课程学习；
使用分类任务协助训练。

我们使用状态规范化（state canonicalization）来提高具有不同目标输入的强化学习的样本效率。具体而言，我们使用了机器手根部在世界坐标系中绕 z 轴的初始欧拉角 φ 作为规范化处理的参数。同时，我们将状态从世界坐标系转移到这个参考坐标系下。这样做可以使得模型更加高效地学习到不同目标输入下的抓取策略。

同时，我们提出了物体课程学习（object curriculum learning）的方法，用于训练机器人在不同类别的物体上进行灵巧抓取。该技术可以帮助机器人更好地学习到不同类别物体的抓取策略，从而提高其抓取成功率。具体而言，物体课程学习技术分为三个阶段。在第一个阶段中，我们首先让机器人在单个物体上进行训练。在第二个阶段中，我们让机器人在同一类别的不同物体上进行训练。最后，在第三个阶段中，我们让机器人在所有类别的物体上进行训练。通过这种逐步增加难度的方式，我们可以帮助机器人更好地学习到不同类别物体的抓取策略，并且避免了直接在多个类别物体上进行训练时出现的失败情况。实验结果表明，使用物体课程学习技术可以显著提高机器人的抓取成功率。

我们还采用了分类任务协助训练。具体而言，我们使用物体类别分类任务提前训练视觉编码器模块并在策略学习中使用分类任务进行联合训练。

最后，我们使用知识蒸馏的方法，通过将教师策略的知识转移到学生策略中，从而提高学生策略的性能。具体而言，我们将在全知状态输入下训练的教师策略的知识转移到只接受真实世界输入的学生策略中。

实验

我们分别针对抓取生成流程、基于状态输入的模型和基于视觉信息输入的模型进行了三类实验比较。
tab1
对于抓取生成流程的实验，我们采用了如下的衡量标准：

$Q_1$ 值，表示了能够成功扰动抓取手势中的物体的最小扰动。
物体穿透深度，表示了从物体点云穿透进手网格的深度。
$σ^2_*$ ：*表示各个指标的标准差，用来衡量我们生成的抓取的多样性，包括 $R/keypoint/T/\theta|R$ 等(旋转/关键点/平移/固定旋转下的关节角度/)。

我们的比较基准则包含了使用了GraspTTA，DDG，以及 ReLie，ProHMR 分别根据推测任务做出调整后再加上了测试时自适应（Test-Time Adaptation）的版本。可以看到，我们提出的方法兼具抓取的高质量和多样性，是其他方法无法做到的。

tab3

对于抓取执行实验，提供了 UniDexGrasp 在大规模合成数据集上的实验结果。实验结果表明，UniDexGrasp 可以在不同类别的物体上实现高质量、多样化的灵巧抓取。具体而言，我们将 UniDexGrasp 与四种基线方法进行了比较，表格3中列出了这些方法在训练集和测试集上的平均成功率。结果显示，UniDexGrasp 在训练集和测试集上分别达到74%和69%的平均成功率，显著优于其他方法。于此同时，我们还做了一系列消融实验以证明了每个关键技术对最终结果的重要性。
tab4

表格4展示了基于视觉输入的学生策略的成功率。我们对比了使用训练抓取数据和使用我们视觉模块方法预测的抓取位姿进行测试的结果。同时，我们通过扰动我们预测的抓取姿势以导致小穿透 (a)、较大穿透 (b) 和无接触 © 来对我们基于视觉的策略进行稳健性测试，并观察到我们的抓取执行策略对此类错误具有一定的鲁棒性。

fig5
我们方法一个非常自然的应用就是加入一个语言处理模块使得机器手按照特定方式来抓取物体。给定一段文本描述，我们将生成的抓取手势渲染成图片，随后通过 CLIP 模型选择图片文本相似度最高的抓取。在我们的初步尝试中，只用了10分钟的微调，CLIP 就能在手和锤子这一组合上达到90%的准确度，这也证明了进一步应用的可行性。