RoboMIND:多体现基准 机器人操纵的智能规范数据

我们介绍了 RoboMIND,这是机器人操纵的多体现智能规范数据的基准,包括 4 个实施例、279 个不同任务和 61 个不同对象类别的 55k 真实世界演示轨迹。

工业机器人企业

埃斯顿自动化 | 埃夫特机器人 | 节卡机器人 | 珞石机器人 | 法奥机器人 | 非夕科技 | CGXi长广溪智造 | 大族机器人 |  越疆机器人 | 优艾智合机器人 | 阿童木机器人 | 盈连科技 | 松灵机器人

服务与特种机器人企业

亿嘉和 | 晶品特装 | 九号机器人 | 普渡机器人 | 机器姬 | 猎户星空 | 七腾机器人

医疗机器人企业

元化智能 | 天智航 | 思哲睿智能医疗 | 精锋医疗 | 佗道医疗 | 真易达 | 术锐®机器人 | 罗森博特 | 磅客策 | 柏惠维康 | 迪视医疗

人形机器人企业

优必选科技 | 宇树 | 达闼机器人 | 云深处 | 理工华汇 | 傅利叶智能 | 逐际动力 | 乐聚机器人 | 星动纪元 | 天链机器人| 中科深谷  | 大象机器人| 伟景机器人 | 众擎机器人 | 开普勒人形机器人 | 数字华夏 | 帕西尼感知

具身智能企业

 跨维智能 | 银河通用 | 千寻智能 | 方舟无限 | 微亿智造 | 睿尔曼智能 | 灵心巧手

核心零部件企业

绿的谐波 | 因时机器人 | 脉塔智能 | 锐驰智光 | 地平线 | 本末科技 | NOKOV度量科技 | 青瞳视觉 | 因克斯 | 蓝点触控 | 福德机器人 | 巨蟹智能驱动 | 鑫精诚传感器 | 思岚科技 | 宇立仪器 | 极亚精机 | 神源生

教育机器人企业

硅步机器人 | 史河科教机器人 | 大然机器人

伴随着全球人工智能技术飞速进步,具身智能产业迅猛发展,赋予机器人类人化的泛化能力是具身智能机器人技术的核心目标之一,实现这一目标的关键在于如何使各类机器人本体在面对多样化的环境和任务时,能够展现出卓越的性能。

正如ChatGPT需要海量文本数据来训练一样,想要培养出一个能力全面的机器人,也需要大量优质的训练数据,数据集是具身智能技术发展的重要基石。与视觉或语言数据的获取相比,收集机器人训练数据远比收集文本或图像数据困难得多,需要在专门的环境中记录机器人的每个关节动作和末端执行器的信息,这个过程不仅需要昂贵的硬件设备,还需投入大量人力来确保数据质量,因而业内目前最具通用性的机器人操作策略主要依赖于在有限多样性条件下收集的数据,大规模多构型具身智能数据集和Benchmark是极为稀缺的资源。

为了解决这个难题,国家地方共建具身智能机器人创新中心与北京大学计算机学院联合推出了一个大规模多构型智能机器人数据集和Benchmark——RoboMIND,捕捉机器人面对复杂环境、长程任务时的各种交互和经验,从而促进能够掌握不同操作策略的通用模型的训练。RoboMIND包含5万5千条机器人轨迹数据,涉及279项不同的任务,涵盖了高达61种不同的物体,覆盖了家居、厨房、工厂、办公、零售等大部分生活服务场景。此外,该数据集包含根据真实场景搭建的数字孪生场景,进一步丰富和扩充了此数据集的多样性,同时提升数据采集效率。机器人构型包含单臂机器人、双臂机器人、人形机器人,手臂末端使用夹爪或者灵巧手。为了评估RoboMind数据集的质量,研究团队在主流单任务模仿学习模型上(如ACT)和具身多模态大模型上(如OpenVLA、RDT-1B)进行了广泛的评测,发现RoboMIND数据集可以有效提升模仿学习模型在现实场景下任务的成功率。该评测得到了北京智源人工智能研究院的大力支持。

RoboMIND为机器人操作模型的训练提供了一个高质量、广泛多样的数据基础,旨在提升机器人在复杂环境中的操作能力和适应性。通过大规模、多样化的数据集,机器人模型能够更好地适应各种任务和环境变化,从而推动通用机器人技术的发展。

RoboMIND 数据分析

数据集概述。(a) 按实施例分类的总轨迹,(b) 按实施例分类的轨迹长度,(c) 按任务类别分组的总轨迹,以及 (d) 基于对象使用场景的总轨迹。

 

RoboMIND 中的对象分布,覆盖大多数日常生活环境:家庭、工业、厨房、办公和零售。

 

图:四个实施例中跨任务的技能计数的直方图。AgileX 任务通常涉及两个或三个组合技能,从而扩展了任务范围。同时,天功任务的长度各不相同,有些任务每个任务最多包含五个技能。右图:我们使用 AgileX 机器人可视化 AX-PutCarrot 任务,该任务涉及三种不同的技能。

 

语言描述注释。我们为 10,000 个成功的机器人运动轨迹提供精细的语言注释。

 

失败数据收集案例的可视化。我们展示了 Franka 和 AgileX 的两个失败示例。在 FR-PlacePlateInPlateRack 任务(第二行)中,Franka 机械臂无法与插槽对齐,导致印版因操作员干预而滑动。在 AX-PutCarrot 任务(第四行)中,AgileX 夹持器意外打开,胡萝卜掉落。在质量检查期间筛选掉了这些失败情况,以保持数据集质量。

 

RoboMIND 实验

我们采用四种流行的模仿学习方法进行综合实验,包括 ACT、 BAKU、RDT-1B 和 OpenVLA 在选定的 RoboMIND 任务上评估其性能和局限性。实验视频如下:1.ACT on Single Tasks 的成功示 例     2.RTD-1B 在多任务设置上的成功案例    3.OpenVLA 多任务设置成功案例

我不试睡神的个人空间-我不试睡神个人主页-哔哩哔哩视频哔哩哔哩我不试睡神的个人空间,提供我不试睡神分享的视频、音频、文章、动态、收藏等内容,关注我不试睡神账号,第一时间了解UP主动态。一个喜欢收集视频的大学生。icon-default.png?t=O83Ahttps://space.bilibili.com/397174233/channel/collectiondetail?sid=4427523&spm_id_from=333.788.0.0

咨询来源:官方网站RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/891040.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python报错ModuleNotFoundError: No module named ‘visdom‘

在用虚拟环境跑深度学习代码时,新建的环境一般会缺少一些库,而一般解决的方法就是直接conda install,但是我在conda install visdom之后,安装是没有任何报错的,conda list里面也有visdom的信息,但是再运行代…

C语言性能优化:从基础到高级的全面指南

引言 C 语言以其高效、灵活和功能强大而著称,被广泛应用于系统编程、嵌入式开发、游戏开发等领域。然而,要写出高性能的 C 语言代码,需要对 C 语言的特性和底层硬件有深入的了解。本文将详细介绍 C 语言性能优化的背后技术,并通过…

go多版本管理工具g win安装配置

go多版本管理工具g 基本介绍仓库安装配置配置环境配置系统变量配置path变量测试使用配置完环境变量之后,打开终端进行测试使用查看 g 的环境变量配置,g env 为环境变量配置,g -v为当前版本信息查看可下载列表下载安装指定版本go,并…

PlasmidFinder:质粒复制子的鉴定和分型

质粒(Plasmid)是一种细菌染色体外的线性或环状DNA分子,也是一种重要的遗传元素,它们具有自主复制能力,可以在细菌之间传播,并携带多种重要的基因(如耐药基因与毒力基因等)功能。根据质粒传播的特性&#xf…

细说STM32F407单片机通过IIC读写EEPROM 24C02

目录 一、操作说明 二、工程配置 1、时钟、DEBUG、GPIO、USART6、NVIC、Code Generator 2、 IIC2 (1)Master Features组,主设备参数 (2)Slave Features组,从设备参数 三、软件设计 1、KELED 2、E…

神经网络-Inception

Inception网络是由Google开发的一种深度卷积神经网络架构,旨在解决计算机视觉领域中的图像分类和物体识别任务。 Inception网络最初在2014年被提出,并在ImageNet图像分类挑战赛上取得了很好的结果。其设计灵感来自于模块化的思想,将不同尺度…

PyTorch Instance Normalization介绍

Instance Normalization(实例归一化) 是一种标准化技术,与 Batch Normalization 类似,但它对每个样本独立地对每个通道进行归一化,而不依赖于小批量数据的统计信息。这使得它非常适合小批量训练任务以及图像生成任务(如风格迁移)。 Instance Normalization 的原理 对每…

国内独立开发者案例及免费送独立开发蓝图书

独立开发者在国内越来越受到关注,他们追求的是一种自由且自给自足的工作状态。 送这个: 少楠light(Flomo、小报童、如果相机):他们是独立开发者的典范,不仅开发了多款产品,还坚信“剩者为王”…

【小程序】自定义组件的data、methods、properties

目录 自定义组件 - 数据、方法和属性 1. data 数据 2. methods 方法 3. properties 属性 4. data 和 properties 的区别 5. 使用 setData 修改 properties 的值 自定义组件 - 数据、方法和属性 1. data 数据 在小程序组件中,用于组件模板渲染的私有数据&…

MATLAB用find函数结合all,any函数高效解决问题

如本节中最后提到的问题,我们输出后还需要判断,不是特别的一目了然,这时候我们可以再加上 f i n d find find函数直接标记序号并输出。首先我们先来了解 f i n d find find的用法, f i n d ( a ) find(a) find(a)表示将矩阵或向量…

2022博客之星年度总评选开始了

作者简介:陶然同学 专注于Java领域开发 熟练掌握Java、js等语言的“Hello World” CSDN原力计划作者、CSDN内容合伙人、Java领域优质作者、Java领域新星作者、51CTO专家、华为云专家、阿里云专家等 🎬 陶然同学🎥 由 陶然同学 原创&#…

vue2 升级为 vite 打包

VUE2 中使用 Webpack 打包、开发,每次打包时间太久,尤其是在开发的过程中,本文记录一下 VUE2 升级Vite 步骤。 安装 Vue2 Vite 依赖 dev 依赖 vitejs/plugin-vue2": "^2.3.3 vitejs/plugin-vue2-jsx": "^1.1.1 vite&…

20241227在ubuntu20.04.6系统中,如何用watch命令每秒钟调用nvidia-smi来监控GPU

watch -n 1 nvidia-smi 20241227在ubuntu20.04.6系统中,如何用watch命令每秒钟调用nvidia-smi来监控GPU 2024/12/27 17:04 缘起:在ubuntu20.04.6系统中,使用M6000显卡来跑whisper,显存拉满/占用巨大,但是CPU占用比低&…

[江科大STM32] 第五集STM32工程模板——笔记

保存,进去选芯片型号,我们是F10C8T6 再添加一些文件,自己看路径 然后去 复习这三文件 打开KEIL add existing那个,添加已经存在的文件 还有5个.c.h文件也要添加进来 回到KEIL 点击旁边的settings 如果你用寄存器开发就建到这里就可…

Bitmap(BMP)图像信息分析主要说明带压缩的形式

文章目录 参考资料Bitmap图片结构Bitmap图片组成实例说明 参考资料 微软官方-位图存储 Bitmap图片结构 序号名称说明1Bitmap File HeaderBitmap文件头2Bitmap Info HeaderBitmap信息头3Color Palette Data调色板数据4Bitmap Image Data图像数据 说明 Bitmap文件头的大小为…

二分和离散化

为什么把二分和离散化放一起:因为离散化其实是一种二分整数的过程。 二分 相信大家都接触过二分查找(折半查找),这就是二分的思想。 二分通过每次舍弃一半并不存在答案的区间,进而快速锁定要求的答案(二…

ESP-IDF学习记录(2)ESP-IDF 扩展的简单使用

傻瓜式记录一个示例的打开,编译,运行。后面我再一个个运行简单分析每个demo的内容。 1.打开示例代码 2.选择项目,文件夹 3.选择串口 4.选择调试方式 5.根据硬件GPIO口配置menuconfig 6.构建项目 7.烧录设备,选择串口UART方式 运行…

SpringMVC学习(一)——请求与响应处理

目录 一、SpringMVC简介 二、RequestMapping:请求路径映射 三、RestController 四、请求限定 五、请求处理 1.使用普通变量,收集请求参数 2.使用RequestParam明确指定获取参数 3.目标方法参数是一个pojo 4.RequestHeader:获取请求…

数据分析的分类和EDIT思维框架

为了服务于企业不同层次的决策,商业数据分析过程需要提供相应的数据科学产出物。 一般而言,数据分析需要经历从需求层、数据层、分析层到输出层四个阶段。 第一个阶段是需求层——确定目标,具体目标需要依据具体的层次进行分析&#xff1a…

实验五 时序逻辑电路部件实验

一、实验目的 熟悉常用的时序逻辑电路功能部件,掌握计数器、了解寄存器的功能。 二、实验所用器件和仪表 1、双 D触发器 74LS74 2片 2、74LS162 1片 3、74194 1片 4、LH-D4实验仪 1台 1.双…