【深度剖析】小米CyberDog四足机器人的AI运动系统的实现

2021年8月10日,雷军进行继宣布造车之后的第二次演讲。

在这场以“我的梦想,我的选择”为主题的演讲上,雷军详细讲述了创业后的故事,发布了一系列全新产品。其中,给人最大惊喜同时也给人带来诸多疑问的就是我们这篇推文的主角——“CyberDog”,中文名 “铁蛋”

在现场的展示中,这只“人类高质量宠物”可以行走、站立、小碎步跳舞等等。

CyberDog拜年

CyberDog行走

在官方给出的运动性能参数中,介绍到,除了这些,CyberDog还支持恢复站立、姿态展示、缓慢趴下、缓跑、小跑、奔跑、跳跑、跳跃、倒地恢复、打滚、握手、跳舞、转圈、作揖、坐下等一系列功能动作。

此物一出,各大论坛上也是众说纷纭,有人惊叹于他的外观,有人惊叹于他的智能,也有人惊叹于他在不同指令下不同行为的体现。可是这只全新的物种,到底是如何做到这些复杂的动作的?它的出现,又能为人类做些什么呢?相信绝大多数人看到这只机器狗的第一反应都如下面的表情包一样,“我不理解”

这只看起来像小狗的机器人其实是当前业内备受关注的新产品形态——仿生四足机器人。CyberDog全身拥有11组高精度传感器时刻待命,可主动探测外部细微变化,它搭载了AI超级计算机——NVIDIA JETSON XAVIER NX平台,可处理来自多个传感器的海量数据。于此同时,CyberDog使用了自研的高性能伺服电机,通过全志MR813芯片对全身的运动模块进行控制。

如果把传感器组比作CyberDog的“眼睛”,那NVIDIA JETSON XAVIER NX就是它的“大脑”,伺服电机就是它的“肌肉”,Allwinner MR813就是“小脑”。

下面就来了解一下铁蛋的各个“器官”是如何组成它的运动系统的。

#01

大脑-英伟达主控

CyberDog 的“大脑”是英伟达的 Jetson Xavier NX 平台,这是一台用于嵌入式和边缘系统的 AI 超级计算机。它集成了6个core NVIDIA Carmel ARM v8.2 64-bit CPU、搭载 384 NVIDIA CUDA  cores 和 48 Tensor cores的GPU、2个 NVDLA 引擎深度学习加速器、7路VLIW视觉处理器。可以提供最高21T的算力。这保证了 CyberDog 可以毫无障碍地处理从传感器系统捕获的大量数据,准确领会主人的意图。同时支持2个 MIPI CSI-2 D-PHY lanes、以太网、WIFI/BT、HDMI、多路USB等。

有了这个大脑,这台机械狗甚至可以直接外接显示输入设备变身一台“电脑”,当然并不是我们传统意义上使用的那种个人用电脑,而是用于开发等用途。

Nvidia Jetson Xavier NX

#02

眼睛-11组高精度传感器

为了让铁蛋真的像一条狗,小米为其配备了超过11组高精密传感器,包括Intel Realsense D450深度摄像头、AI交互相机、双目超广角相机、TOF传感器、环境光传感器、超声波传感器、惯性测量单元、GPS模组、地磁传感器、光流计、6MIC环型阵列、触摸传感器等。有了这些丰富的传感器,CyberDog就像一个拥有白眼的“感知型忍者”,可以敏锐地感觉都周围流动的“查克拉”,并做出避障、预警等行为。

不仅仅是堆砌硬件,小米手机影像部门还亲自介入,将自己在手机方面深耕多年影像的技术运用至四足机器人领域,将硬件的性能发挥到极致。比如CyberDog的自主跟随能力就是源自人脸识别技术的衍生,以及SLAM建图和导航避障功能都来自影像技术的延伸的视觉探知技术,CyberDog通过影像技术感知环境后,通过算法创建出地图并导航,最终规划出最优路线。

#03

肌肉-自研伺服电机

CyberDog全身的自由度是12,单腿的自由度是3,即每只脚大腿关节处有两个电机,小腿关节处有一个电机,共12个电机。12个电机的组合让CyberDog可以自由地做出奔跑、跳跃、空翻等高难度动作。据悉,这12个伺服电机均由小米自研,单个最大扭矩达32N·m,最大转速为220rpm,可以让这只14KG重的CyberDog以11.5km/h的速度前进,这个速度大概和一个普通人晨跑的速度相当,让主人带着CyberDog跑步遛狗成为可能。

伺服电机性能参数

#04

小脑-全志MR813

CyberDog“小脑”使用的国内知名芯片设计厂商全志科技的Allwinner MR813。MR813将负责MPC算法的执行、运动控制、电源系统管理和OTA系统管理等工作。即CyberDog的四只脚以及上面的12个伺服电机,都将在MR813的控制下有序地行动,让CyberDog不会出现顺拐或者“扑街”。

MR813是全志针对运动机器人市场推出的高性能SoC,4核A53架构,主频高达1.6GHz,拥有丰富的音视频接口和运动驱动接口。

据悉,MR系列芯片已经在在扫地机器人产品上被广泛应用,其中包括小米、石头、追觅等知名厂商。本次CyberDog使用MR813也是复用追觅已经成熟的运动驱动模块,这样可以保证产品的性价比、稳定性和可量产性。

也就是说,MR813在其它产品上都是作为“大脑”,而在CyberDog中只用作“小脑”,可见MR813性能的强大,也透露出小米对CyberDog用料选项的踏实和良心。

CyberDog的MPC算法使用的则是知名开源四足MPC算法 MIT Mini Cheetah。对于仿生四足机器人MPC算法的研究一直是近年的热点。MIT这套算法广受开发者欢迎,许多DIY开发者甚至专业厂商,都会基于这套算法进行开发。MR813则是为算法的运行提供了一个高效稳定的环境。

MR813系统框图

米家扫地机器人1T,使用MR813作为“大脑”

#05

神经系统-系统整合

在整体系统框架方面,CyberDog使用的是主流的机器人开源架构ROS 2,它提供一系列程序库和工具以帮助软件开发者创建机器人应用软件,同时提供了硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等诸多功能。

其中,Jetson Xavier NX 运行的是Ubuntu 18.04操作系统,11组高性能传感器获取到的环境信息传到Jetson Xavier NX后,由Jetson Xavier NX进行处理,并将运动信息通过千兆网口下发到MR813,由MR813进行运动总控制,分别控制一个MCU进行OTA和电池包的管理和另一个MCU进行电机的控制,与12个高性能伺服电机通过CAN 2.0进行通信。

小米CyberDog系统框图

#市场前瞻

目前仿生领域四足机器人的研究比较成熟,世界上最有名的四足仿生机器人研发团队当属波士顿动力,旗下研发的“大狗”系列仿生机器人已经有十几个产品型号分支,但售价却达到了惊人的7.5万美元(约合人民币48万),这个价格让很多普通消费者都望而却步

今年 6 月,国内的宇树科技发布了 Unitree GO1,共有三个版本:售价 2700 美元的 G01 Air base 型号、售价 3500 美元的 G01 和售价 8500 美元的 G01 Edu,这个价格可以说率先打开了四足机器人在普通消费人群中的市场,不过碍于功能的不足,依然难以进入大众眼界。

也就是说,Unitree GO1 起步价仅需 1.6 万元人民币,然而这个价格纪录目前已被小米9999的CyberDog打破了。

但是从目前供应链获取到的信息来看,Jetson Xavier NX核心模块的市场报为3000+元,Intel Realsense D450深度摄像头的市场报价约为1500元,这两个关键元器件的成本,就已经接近CyberDog硬件成本的一半。全志的芯片虽然一直以高性价比著称,但是作为一个扫地机器人大脑级别的芯片,再加上12个伺服电机、电池、金属外壳等材料,CyberDog 卖9999元的价格,真的是“交个朋友”了。截止2021年8月底,CyberDog 产品虽然未交货,但是已经有人以数倍的价格收购名额了。

小米副总裁常程在微博对于“为什么要做这样一个机器人”的问题是这样回应的:

“这还是一项投资未来的决策。

一方面仿生机器人未来在服务、工程、安防、医疗等诸多领域蕴含着巨大的市场潜力。另一方面小米作为全球化的科技公司,有必要尽早在前沿领域进行几乎布局,夯实专利储备。探索仿生机器人的过程也是在做技术预研,其中机器视觉、导航避障、人机交互、AI语音算法等技术可以反哺手机、智能家居等产品。

与此同时,我们在这个产品中看到了小米强大的模块整合能力,在项目中,分别调动了核心的手机影像部门、小爱同学AI部门、语音算法部门、生态链公司追觅、芯片原厂全志科技等众多部门、合作伙伴,从概念设计到机械结构设计、BSP、算法移植、系统联调到最终产品交付,只用了10个月的时间。

上一次我们看到这样集全集团之力去做一个玩具的场景,是《四驱兄弟》里的三国藤吉集合三国重工最高科技而打造他的疾速眼镜蛇。而这些模块其实也是自动驾驶会用到的技术热点,结合之前宣布造车的消息,外界猜测,CyberDog其实是在为小米汽车的团队搭建和技术预研做准备

-End-

编辑:李泽禧

作者:DOT小文哥

技术顾问:Kirin 、Peng


推荐阅读:

专辑|Linux文章汇总

专辑|程序人生

专辑|C语言

我的知识小密圈

关注公众号,后台回复「1024」获取学习资料网盘链接。

欢迎点赞,关注,转发,在看,您的每一次鼓励,我都将铭记于心~

嵌入式Linux

微信扫描二维码,关注我的公众号

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/465493.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

变更控制管理流程图_制度是最好的老板,流程就是最好的管理!流程建立法则(附案例)...

为什么很多企业制定了战略,一线执行却没有到位?为什么员工办事拖拉,执行力不到位?为什么总有下属在等待老板分配任务,不能主动地去工作?为什么一些企业的老板处于很忙碌的的糟糕状态?上述这样问…

第二节:Css重写样式

一丶 进入浏览器---->F12----->找到要修改的区域的Style 进行重写Css样式 二丶打开新页面 window.open("/Persitent/OtherIndex?connectionId" connectionId,"_blank"); 转载于:https://www.cnblogs.com/chenze-Index/p/9309775.html

我的Linux内核学习笔记

在开始今天的内容之前,其实有一些题外话可以和大家分享一下。自从工作以来,我个人一直都有一个观点。那就是怎么样利用简单的代码来说明开发中的问题,或者是解释软件中的原理,这是一个很高的学问。有些道理看上去云里雾里说不清楚…

10 文件无效_新手必看!10个CAD常见问题解决技巧

对于很多刚接触CAD的萌新来说,学习过程遇到的问题总是很多。如果没有老师解答的话,上百度搜索也常常不得要领,所以今天为大家做了大概的问题总结,主要是以下几个问题:1多线段合并A.输入命令“PE”B&#xf…

TurboMail手机客户端—强大的附件文档阅读能力

2019独角兽企业重金招聘Python工程师标准>>> 对于频繁使用邮件的用户而言,收发附件已是家常便饭,但对于手机查看附件,用户却遇到了很多问题。稍微低端的手机,除了txt格式的文本,基本上其他格式的文档&#…

连不上机器判断机器状态_如何准确估计机器人的状态,增强机器人控制的精度及稳定性...

在机器人学中,状态估计和控制一样,是无法避开的问题。 任何传感器的精度都是有限的,如何利用传感器信息,尽可能准确地估计一组完整描述机器人随时间运动的物理量,如位置、速度、加速度、角度、角速度等,是状…

2个字符串相等 swift_Swift快速入门(一)之 Swift基础语法

Swift快速入门(一)之 Swift基础语法近期重新学习了一遍Swift语言,主要以《Swift编程权威指南(第2版)》为教程,学习过程中结合比对Java语言特性将学习心得作为三篇笔记:Swift基础语法&#xff0c…

bootstrap switch只出现一个对号_python:34.第一个只出现一次的字符位置

题目描述在一个字符串(0<字符串长度<10000&#xff0c;全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 -1&#xff08;需要区分大小写&#xff09;.解析暴力解法&#xff0c;时间复杂度是 。# -*- coding:utf-8 -*- class Solution:def Fi…

mac系统如何进入系统偏好设置_MacOS Big Sur 系统偏好设置无法解锁Bug解决

前不久&#xff0c;MacOS推送正式版Big Sur&#xff0c;我满怀期待的更新。更新的过程很平缓&#xff0c;一切都很顺利。但在使用时&#xff0c;出现了一个问题&#xff0c;系统偏好设置的锁无法解除&#xff0c;导致有些软件需要权限&#xff0c;却不能正常允许通过&#xff0…

事务嵌套问题_注意Spring事务这一点,避免出现大事务

背景本篇文章主要分享压测的(高并发)时候发现的一些问题。之前的两篇文章已经讲述了在高并发的情况下&#xff0c;消息队列和数据库连接池的一些总结和优化&#xff0c;有兴趣的可以在我的公众号中去翻阅。废话不多说&#xff0c;进入正题。事务&#xff0c;想必各位CRUD之王对…

多布局怎么搭建_怎么制作网页?网页制作基本步骤

怎么制作网页?网页制作基本步骤&#xff0c;互联网时代&#xff0c;各行各业的企业为了适应时代的发展&#xff0c;纷纷从线下转移至线上来拓展自己的业务。若想让更多人了解自己的企业&#xff0c;拥有一个专属网站至关重要。网站不仅可以详细介绍企业信息&#xff0c;更重要…

能运行shell吗_terminal, shell, bash, zsh

##秋天的第一杯奶茶梗?Terminal: shell运行在里面。A terminal refers to a wrapper program that runs a shell.Shell:The shell is the program that actually processes commands and returns outputs. Most shells also manage foreground and background processes, comm…

OSPF的虚链路配置

OSPF的虚链路配置<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />OSPF多区要求普通区域必须和骨干区域&#xff08;area 0&#xff09;相连&#xff0c;如果一个区域不能和骨干区域直接相连&#xff0c;可以使用虚链路把该区域逻…

webmvcconfigurer配置跨域_为什么加了 Spring Security 会导致 Spring Boot 跨域失效呢?...

点击上方 IT牧场 &#xff0c;选择 置顶或者星标技术干货每日送达作者&#xff1a;欧阳我去链接&#xff1a;https://segmentfault.com/a/1190000019485883作为一个后端开发&#xff0c;我们经常遇到的一个问题就是需要配置 CORS&#xff0c;好让我们的前端能够访问到我们的 AP…

[jQuery]3D效果的标签云

刚才看了篇园友关于如何自定义标签云的文章&#xff0c;心痒痒自己也想弄一个&#xff0c;其实原理非常简单&#xff0c;就是动态load标签页里的标签&#xff0c;按需要的格式重新动态生成DOM结构&#xff0c;再通过第三方的js插件(他们用的是Google Visualization API Gallery…

1071svm函数 r语言_R语言机器学习之核心包e1071 - 数据分析

R语言有很多包可以做机器学习(Machine Learning)的任务。机器学习的任务主要有有监督的学习方式和无监督的学习方式。有监督学习&#xff1a;在正确结果指导下的学习方式&#xff0c;若是正确结果是定性的&#xff0c;属于分类问题&#xff1b;若正确结果是定量的&#xff0c;属…

重装系统失败后怎么用好系统U盘启动解决?

很多朋友在第一次重装电脑系统时都会出现这样或那样的错误&#xff0c;导致重装系统后进不去系统&#xff0c;非常的被动。那么当我们遇到这种情况该怎么办呢&#xff1f;其实我们可以使用好系统U盘启动来解决重装系统后进不去的问题。 好系统U盘启动解决重装系统后进不去的方法…

MEncoder 使用实例

MEncoder 是一个简单的影片编码程序&#xff0c;它可用于将视频或者音频文件在 MPlayer 可播放的格式当中互相转换。说到 MEncoder 就不得不知道 MPlayer。MPlayer 是一款为 Linux 编写的电影播放器。它能播放大部分 XAnim、RealPlayer 以及 Win32 DLL 支持的 MPEG、VOB、AVI、…

div为空的时候 浮动没有效果_3种CSS清除浮动的方法

点击上方 "前端技术精选" 关注&#xff0c;星标或者置顶12点00分准时推送&#xff0c;第一时间送达作者&#xff1a;html中文网 | 编辑&#xff1a;前端妹来源&#xff1a;html.cn/web/css/19613.html前端技术精选(ID&#xff1a;FrontEndTech)第 55 次推文 图源&…

3. 中间件安全基础(三)

0x00 前言 前两篇文章我们对六款中间件的基本信息和相关的安全配置做了介绍&#xff0c;这篇文章我们主要就中间件常见的漏洞利用方式及修复方法做出讲解。如果某些地方存在疑问可以对比着前两篇文章阅读&#xff0c;更好地加深理解。 0x01 Apache 解析漏洞是指非程序文件被异常…