Mobile ALOHA: 你需不需要一个能做家务的具身智能机器人

相信做机器人的朋友最近一段时间一定被斯坦福华人团队这个Mobile ALOHA的工作深深所震撼,这个工作研究了一个能做饭,收拾衣服,打扫卫生的服务机器人,完成了传统机器人所不能完成的诸多任务,向大家展示了服务机器人的美好愿景,让大家觉得这种机器人进入家庭指日可待。但不同于其他类似工作,该项目的主页上也放出了诸多失败的视频,让大家觉得机器人还处于非常初始阶段,容易犯下非常低端的错误。那承载着美好期望的家庭服务机器人发展到底怎样呢?离走进我们的家庭还有多远呢?还请跟随笔者先来了解这个具有重要意义的工作。
在这里插入图片描述
Mobile ALOHA: 一个低成本的具身智能移动操作机器人软硬件开发系统
背景介绍
机器人利用专家数据进行模仿学习可以学习到很多传统方法(依赖于抓取位姿估计和运动规划)所做不到的任务,比如使用工具、叠抹布、整理家务等,打开了通往通用机器人的希望之门。大多数家庭服务任务都需要双臂操作和底盘移动,如同人类一样,这就需要机器人具有类人架构的硬件和全身协调控制算法,当前在双臂移动机器人领域主要有两大挑战:a) 缺乏适合整体远程操作以便采集数据和训练部署验证的硬件平台; b) 移动和双臂协调自主完成任务。为了解决这些问题,本工作提出了Mobile ALOHA的低成本整体远程操作系统,该系统通过在轮式底座上安装ALOHA,使用户能够通过物理连接来控制移动基座,同时使用双手控制ALOHA。这使得他们能够同时记录基座速度数据和手臂操纵数据,形成一个整体远程操作数据采集系统,本工作开源了完整的软硬件设计图纸和代码,希望可以推进整个领域的发展。

主要贡献
(1) Mobile ALOHA,一个低成本的整体远程操作系统,可用于遥操作数据采集和模仿学习部署验证;
(2) 发现简单的协同训练方法能够实现对复杂移动操作任务的高效学习。
在这里插入图片描述

模仿学习网络方法与训练部署验证

任 务: 倒红酒(Wipe Wine), 烹饪虾(Cook Shrimp), 清洗平底锅(Rinse Pan),使用橱柜(Use Cabinet), 呼叫电梯(Call Elevator), 推动椅子(Push Chairs),击掌(High Five);
任务
训练数据: 825条静态双臂操作数据 + 每个人物20~100条专家示教数据;
方法: ACT, Diffusion Policy, VINN
实验验证问题:
(1) Mobile ALOHA是否可以通过联合训练吸收少量的移动操作数据来获得复杂的移动操作技能 ?
(2)Mobile ALOHA是否可以在不同的模仿学习方法上工作,包括ACT , Diffusion Policy和基于检索的VINN?
实验结果和结论:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 与静态操作数据联合训练能极大地提升准确率
  2. 联合训练的效果对于混合数据的比例不敏感,这个结论可以帮助减少训练新任务时对混合数据比例的调节;
  3. 联合训练效果由于预训练和微调。

个人拙见

本工作在算法研发上并没有任何贡献,使用的三个模仿学习均是前人的成果,实验结论也得不到令人耳目一新的结论,本工作最大的贡献在于开源了模仿学习一整套软硬件方案,使得高校团队也有能力做大规模模仿学习的工作,要知道在此之前这个领域大都有大厂高额投入才能完成的,比如谷歌的RT1、英伟达的VIMA和Meta的RoboAgent等。

同时该工作作者也很务实地放出了诸多失败的视频,在此之前的工作大都只展示其成功的一面,让大家觉得服务机器人马上就要走进千家万户了,作者公开这些视频展示了机器人的潜能,同时也显示了这种机器人离走进我们家庭还需要一段时间,但这个方向绝对是值得我们为之探索和奋斗的,这个工作也为这个领域作出了巨大的贡献。

笔者研究模仿学习也由来已久,模仿学习就是将深度学习中的自监督学习用到机器人领域,学习的是一个机器人观测到动作的映射网络,监督学习所有的问题模仿学习都有,同时还带来了机器人领域的更多问题,最大的问题就是泛化性,作者自己也承认这个工作纯属research,不具备任何泛化性,也难以落地,现在学术界正在通过搜集大规模不同机器人真实数据集(Open-X-Embodiment dataset),希望像训练大语言模型那样先用大规模数据集来做预训练,然后在真实场景中采集少量数据进行微调,提高方法的适用性,但这有一个问题,不同机器人数据对实际部署机器人的用处难以保证是正向的,特别是两者的传感器执行器布局类型差异较大时;笔者预测工业界会有不同的解决方案,同一场景下的机器人形态会日渐趋于大一统,比如将来进入我们生活中的人形机器人,没必要多种身高的机器人,而那些不愿意走向统一的机器人形态,终将因为自身数据量太少丧失竞争而被淘汰出局。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/42547.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

el-date-picker 设置默认值为当前日期

this.listQuery.Date new Date().toISOString().substr(0, 10); <el-date-picker v-model"listQuery.Date" format"yyyy-MM-dd" value-format"yyyy-MM-dd" type"date" placeholder"选择日期" change"getList()&qu…

【MySQL】4.MySQL 的数据类型

MySQL 的数据类型 一.数据类型分类在这里插入图片描述二.注意点1.char VS varchar2.datetime VS timestamp3.enum 和 set 的使用方法 一.数据类型分类 二.注意点 1.char VS varchar char 的意义是直接开辟固定大小的空间&#xff0c;浪费磁盘空间&#xff0c;但是效率高varcha…

WEB05Web开发HTMLCSS

Web前端开发 什么是 Web &#xff1f; Web&#xff1a;全球广域网&#xff0c;也称为万维网(www World Wide Web)&#xff0c;能够通过浏览器访问的网站。 Web 网站的工作流程 W3C 万维网联盟&#xff08; World Wide Web Consortium &#xff09;&#xff0c;创建于1994年1…

OpenEarthMap:全球高分辨率土地覆盖制图的基准数据集(开源来下载!!!)

OpenEarthMap由220万段5000张航拍和卫星图像组成&#xff0c;覆盖6大洲44个国家97个地区&#xff0c;在0.25-0.5m的地面采样距离上人工标注8类土地覆盖标签。我们提供8类标注:裸地、牧场、已开发空间、道路、树木、水、农业用地和建筑。类选择与现有的具有亚米GSD的产品和基准数…

电源纹波相关

什么是纹波&#xff1f;什么是噪声&#xff1f; 这种叠加在直流稳定量上的交流分量就称为纹波。 纹波的危害 电源纹波能影响设备性能和稳定性 纹波会导致电器上产生谐波&#xff0c;降低电源的使用效率&#xff1b; 高频电源纹波可能会产生浪涌电压或电流&#xff0c;影响设…

android deep links即scheme uri跳转以及googlePlay跳转配置

对于googlePlay的Custom URL就是googlePlay上APP网址&#xff1a; https://play.google.com/store/apps/details?idcom.yourapp如果是国内一些应用&#xff0c;则考虑market://包名等方式&#xff0c;自行百度。 对于Android URI Scheme&#xff1a; 首先需要在Manifest xm…

浅尝Apache Mesos

文章目录 1. Mesos是什么2. 共享集群3. Apache Mesos3.1 Mesos主节点3.2 Mesos代理3.3 Mesos框架 4. 资源管理4.1 资源提供4.2 资源角色4.3 资源预留4.4 资源权重与配额 5. 实现框架5.1 框架主类5.3 实现执行器 6. 小结参考 1. Mesos是什么 Mesos是什么&#xff0c;Mesos是一个…

【国产AI绘图】快手把“可图”大模型开源了,这是一款支持中文的SDXL模型

Kolors 是由 Kuaishou Kolors 团队&#xff08;快手可图&#xff09;开发的基于潜在扩散的大规模文本到图像生成模型。经过数十亿对文本图像的训练&#xff0c;Kolors 在视觉质量、复杂语义的准确性以及中英文字符的文本渲染方面&#xff0c;与开源和专有模型相比都具有显著优势…

Hi6276 无Y应用电源方案IC

Hi6276 combines a dedicated current mode PWM controller with integrated high voltage power MOSFET.Vcc low startup current and low operating current contribute to a reliable power on startup design with Hi6276. the IC operates in Extended ‘burst mode’ to …

【初中数学选讲】绝对值的几何意义例题(20240503-01)

初中数学选讲&#xff1a;绝对值的几何意义例题&#xff08;20240503-01&#xff09; 1. 练习题目1.1 题目描述1.2 分析 2 答题2.1 定义2.2 分段讨论2.2.1 情况1&#xff1a; x x x点在 a a a点左侧&#xff08; x < a , m ∣ x − a ∣ x<a,\ \ m\left|x-a\right| x<…

六、数据可视化—首页、列表页制作(爬虫及数据可视化)

六、数据可视化—首页、列表页制作&#xff08;爬虫及数据可视化&#xff09; 1&#xff0c;首页制作&#xff08;1&#xff09;创建新项目选择flask框架&#xff08;2&#xff09;下载模板&#xff08;3&#xff09;导入flask框架中进行改写&#xff08;4&#xff09;访问服务…

回溯算法-以景点门票销售管理系统为例

1.回溯算法介绍 1.来源 回溯算法也叫试探法&#xff0c;它是一种系统地搜索问题的解的方法。 用回溯算法解决问题的一般步骤&#xff1a; 1、 针对所给问题&#xff0c;定义问题的解空间&#xff0c;它至少包含问题的一个&#xff08;最优&#xff09;解。 2 、确定易于搜…

【论文阅读】-- Visual Analytics for Model Selection in Time Series Analysis

时间序列分析中模型选择的可视化分析 摘要1 引言2 相关工作3 问题表征3.1 Box-Jenkins 方法论3.2 ARIMA 和季节性 ARIMA 模型3.3 模型规范3.4 模型拟合3.5 模型诊断 4 需求分析5 VA 用于时间序列分析中的模型选择5.1 VA选型流程说明5.2 TiMoVA 原型5.2.1 实施选择5.2.2 图形用户…

【在Linux世界中追寻伟大的One Piece】HTTPS协议原理

目录 1 -> HTTPS是什么&#xff1f; 2 -> 相关概念 2.1 -> 什么是"加密" 2.2 -> 为什么要加密 2.3 -> 常见的加密方式 2.4 -> 数据摘要 && 数据指纹 2.5 -> 数字签名 3 -> HTTPS的工作过程 3.1 -> 只使用对称加密 3.2 …

《linux系统内核设计与实现》-实现最简单的字符设备驱动

开发linux内核驱动需要以下4个步骤&#xff1a; 1 编写hello驱动代码 驱动代码如下 helloDev.c&#xff0c;这是一个最小、最简单的驱动&#xff0c;去掉了其他的不相干代码&#xff0c;尽量让大家能了解驱动本身。 #include <linux/module.h> #include <linux/mod…

导航栏样式,盒子模型

1.代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title><style>li{he…

MySQL5.7下载及安装详细教程

我下载的是MySQL 5.7.43 &#xff0c;以下是详细下载安装过程 一、下载过程步骤 1、进入官方网站&#xff1a;https://www.mysql.com/ 2、首页滑到最下面&#xff0c;找到MySQL Community server 3、选择你想要的版本和电脑对应配置进行下载 4、下载完后&#xff0c;保存解…

Google Earth Engine(GEE)——ui.Panel添加到地图上

结果 函数 ui.root.add(widget) 将一个widget添加到根面板上。 返回根面板。 参数。 widget&#xff08;ui.Widget&#xff09;。 要添加的widget。 返回&#xff1a; ui.Panel 代码 //label var label ui.Label({ value: "text label", style: {fontSi…

vscode使用Git的常用操作

主打一个实用 查看此篇之前请先保证电脑安装了Git&#xff0c;安装教程很多&#xff0c;可自行搜索 一.初始化本地仓库&#x1f534; 使用vscode打开项目文件夹如图所使初始化仓库&#xff0c;相当于命令行的git init 二.提交到暂存区&#x1f534; 二.提交到新版本&#x1f…

代码随想录算法训练营第25天|LeetCode 491.递增子序列、46.全排列、47.全排列 II

1.LeetCode 491.递增子序列 题目链接&#xff1a;https://leetcode.cn/problems/non-decreasing-subsequences/description/ 文章链接&#xff1a;https://programmercarl.com/0491.递增子序列.html 视频链接&#xff1a;https://www.bilibili.com/video/BV1EG4y1h78v/ 思路&am…