abstract:从人类演示中进行的模仿学习在机器人技术中表现出了令人印象深刻的表现。然而,大多数结果都集中在桌面操作上,缺乏一般有用任务所需的移动性和灵活性。在这项工作中,我们开发了一种用于模仿双手且需要全身控制的移动操纵任务的系统。我们首先推出 Mobile ALOHA,这是一种用于数据收集的低成本全身远程操作系统。它通过移动底座和全身遥控操作界面增强了 ALOHA 系统。然后,我们使用 Mobile ALOHA 收集的数据执行监督行为克隆,并发现与现有静态 ALOHA 数据集的联合训练可以提高移动操作任务的性能。每项任务进行 50 次演示,协同训练可将成功率提高高达 90%,让 Mobile ALOHA 能够自主完成复杂的移动操作任务,例如炒和上一块虾、打开两门壁柜存放重物等烹饪锅具、呼叫并进入电梯以及使用厨房水龙头轻轻冲洗用过的锅。
项目地址:https://mobile-aloha.github.io/
代码复现
code: https://github.com/huiwenzhang/act-plus-plus
conda create -n aloha python=3.8.10
conda activate aloha
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113## 拉取act源码
git clone https://github.com/agilexrobotics/act-plus-plus.git
cd act-plus-pluspip install -r requirements.txt## 4.2 安装detr
cd detr && pip install -v