36小时,造一个亚马逊无人商店 | 实战教程+代码

夏乙 问耕 编译整理
量子位 出品 | 公众号 QbitAI

class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.7666666666666666" data-w="848" scrolling="no" data-src="http://v.qq.com/iframe/player.html?vid=o0358gf4jbk&width=670&height=376.875&auto=0" style="display: block; width: 670px !important; height: 376.875px !important;" width="670" height="376.875" data-vh="376.875" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=o0358gf4jbk&width=670&height=376.875&auto=0"/>

无人超市,未来趋势。


上面这段视频,展示了逛亚马逊的Amazon Go无人超市是种怎样的体验。毫无疑问,一个完善的无人超市需要复杂的技术支撑。


现在,挑战来了。


你能不能在一天半的时间里,从零着手搭建出一个基本的Amazon Go无人超市系统?让客户可以体验无缝衔接的购物体验?


当然可以。


有个四人小组就在最新的一次黑客马拉松中,完成了这样一次挑战。他们只用了不到36个小时,就搞定了一切,而且还把整个教程公布了出来。


首先,得有一套文档,列出全部需要做/可以做的事情;然后就是根据文档,去分模块实现。他们给自己的“山寨”Amazon Go起名叫EZShop,由这六大模块构成:


△ EZShop的六大组件


小编来分别介绍一下他们用到的些模块:


Kairos人脸识别API


这是EZShop的一个基本组件,能够识别、存储特定的人脸信息。EZShop用了它两个API:/enroll和/verify。


/enroll的意思是“拍张照,找到里边的脸,然后把这张脸存到你创建的相册里。”


这个小组就为顾客们创建了一个相册,也叫EZShop。顾客注册时,脸就会存到这个相册里,系统的实时数据库也会向这个顾客的注册信息返回并存储一个face_id。


当要验证顾客的照片时,就需要把它送到/verify终端那里,终端返回一个匹配可能性最高的face_id。


在实际应用中,自己用TensorFlow搭一个人脸识别应用可能比用这种API更好,但是36小时hackathon嘛,API挺好用的。


实时Firebase数据库


这也是一个非常基本的组件,整套EZShop里,所有其他的组件都得和它实时交互。

Firebase支持在数据库里的任何数据上创建定制化的变化监听器,这样一个特性再加上简单的设置流程,用起来简直毫不费力。


整个计划很简单,数据库存储一组商品、一组顾客,如下面的JSON文件架构所示:


{"items": [{"item_id": 1,"item_name": "Soylent","item_stock": 1,"price": 10}],"users": [{"face_id": 1,"name": "Subhan Nadeem","in_store": false,"cart": [1]}] }


新顾客通过Kairos API注册之后,就会被添加到users那一组。当顾客出入时,他的in_store布尔值会更新,在商店经理和个人App界面上都有所体现。


顾客拿起商品时,items那组数据会有更新。系统能够识别出哪个顾客拿了哪件商品,商品的ID会被添加到顾客的cart栏。


经理App和顾客App


团队里的iOS开发者John只用了12小时,就写完了这两个App。


△ 经理App


经理App是iPad版的,能将新用户添加到Kairos API和Firebase数据库中,也能显示店里顾客的列表和货物的库存清单。商店经理能用这个App操作Firebase数据库、查看数据库发生的变化。


这个App还能追踪店内当前的所有用户,并获取他们的姓名和照片。当用户离开时,这个系统也能实时更新店内当前用户列表。


△ 顾客App


另一个App是供商店顾客用的。


顾客要进店,需要先上传自己的照片,注册成为可以在无人店内购物的用户。图片通过API上传到Imgur(一家国外图片分享网站),并与用户名相关联。


EZShop会根据这个照片来识别顾客。顾客进入商店之后,它们购物车的更新会立刻显示在这个App上。顾客离开商店时,手机上还会收到一条推送通知,显示着他们花了多少钱。


货架、传感器和摄像头


这些东西由Soheil和Ruslan负责,他们设计了货架,写了相关的Pi Python脚本。


货架大致长这样:


△ 货架


在货架上,三件商品并排放着,中间的塔上安装监控摄像头(就是图上那个手机),两排商品后边还装有超声波传感器。超声波传感器和树莓派相连接,树莓派运行的Python脚本处理传感器与货架上物体之间的距离读数。


商品被拿起来的时候,传感器的读数就会变化,触发数据库中商品库存的更新。


塔顶上绑着的手机(摄像头)也会探测到场景的变化,还会识别拿商品的顾客。然后,这件商品会被放到顾客的虚拟购物车里。


出入口的摄像头


在商店的出口和入口,这个小组使用了Android手机作为面部识别摄像头。


两部手机被安装在一个三脚架上,分别冲着相反的方向,一个方向用来识别入店的顾客,另一个方向用来识别出店的顾客。


至于人脸检测技术,Google有一套非常棒的API,能够很好地检测出人脸。


API地址:https://developers.google.com/vision/


特别的是,这个API还能提供从相机到人脸之间的大致距离,一旦顾客的距离足够近,摄像头就会拍照并使用Kairos API进行验证,然后与Firebase数据库同步,更新顾客在店内的状态。


在客户识别之外,系统还增加了个性化的语音问候,这进一步提升了用户体验。

效果是这样的:


class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="0.5666666666666667" data-w="272" scrolling="no" data-src="http://v.qq.com/iframe/player.html?vid=c1331g8owx4&width=670&height=502.5&auto=0" style="display: block; width: 670px !important; height: 502.5px !important;" width="670" height="502.5" data-vh="502.5" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=c1331g8owx4&width=670&height=502.5&auto=0"/>

一旦顾客离开商店,Android应用程序将会检测顾客购买了什么商品,并计算消费总额,并通过Firebase云消息向顾客的个人App推送账单明细。


总结


在36个小时的黑客马拉松中,这个项目的团队大概只睡了6个小时,期间克服了许许多多的障碍,也有一些还未解决的问题。


他们的努力也没有白费,这个项目最后夺得了第一名。


有上百人进入了这个快速搭建的无人超市,拿起商品,然后离店,随即完成结算并获得账单。整个过程中不需要收银员、不需要排队……


这个项目是开源的,想自己动手玩一下的话……GitHub地址在此:
https://github.com/subhan-nadeem/EZShop


原文地址:https://www.docdroid.net/file/download/Dh4A6aQ/amazon-go-implementation.pdf


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。由互联网进化论作者,计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/497630.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

穷查理宝典--人类误判心理学思维导图

穷查理宝典--人类误判心理学思维导图 分享地址:https://www.processon.com/view/link/5d6e0976e4b09176f3092aa6

深度学习将眼睛变成健康“指示器”

来源:科学网概要:科学家正利用该方法寻找基因组中的突变,并且预测单个细胞布局的变化。眼膜图象可使计算机预测一个人是否会马上心脏病发作。人们常说,眼睛是心灵的窗户。但谷歌公司的研究人员将其视为个人健康的“指示器”。这个…

AI智能手机会是什么样?至少有这十个功能

来源:腾讯科技,编译:云开概要:AI功能将成为智能手机厂商提升产品差异度,获得新客户,留住现有用户的一种手段。业界媒体digit近日发表文章称,据调研公司Gartner预测,到2022年&#xf…

Mockito教程--思维导图笔记

笔记来源:https://blog.csdn.net/xiang__liu/article/details/81147933 思维导图地址:https://www.processon.com/view/link/5da7bfbfe4b0ea86c2b3db94

有生之年,人工智能会给世界带来什么变化?这里是现代机器人之父Rodney Brooks关于未来的预言

来源:网络大数据概要:所有的新技术都会“这项技术对人类有多少好处”或者“这项技术有多糟糕”之类的预测。新年伊始,世界著名的机器人学家,机器人企业家(iRobot和Rethink Robotics两家知名机器人企业的创始人),澳大利…

《学习究竟是什么》思维导图笔记

《学习究竟是什么》思维导图笔记 详细地址:https://www.processon.com/view/5f0184a6e401fd3908b1f1a7#map

百度CES大秀,Apollo2.0与DuerOS新产品背后的百度开放新姿态

来源:亿欧概要:在过去的一年里,无论是自动驾驶开放平台 Apollo和智能语音交互平台DuerOS都取得了外界瞩目的成绩,百度迫切地希望把这份成绩传达出去,并且吸引来更多的合作伙伴,扩大战果。美国当地时间1月8日…

HttpClient 指南思维导图笔记

完整思维导图:https://www.processon.com/view/link/5ff28968e401fd661a0f0c2f

机器人产业的前途取决于人工智能关键技术的发展

来源:亿欧概要:让机器人实现智能的关键技术在最近十年会发展到什么程度?整个产业的应用前景将会如何?目前的机器人已经能够胜任精确、重复性的工作,但很多时候,它还不能够灵活地为新任务进行自我调整&#…

携手320+合作伙伴,英伟达扔下一枚自动驾驶炸弹,打响新年越野赛 | CES2018

来源:36Kr概要:英伟达宣布世界首个自动机器处理器英伟达DRIVE Xavier,2018年第一季度发布,称这是英伟达有史以来最大的研发投入,研发投入高达 20 亿美元。还是那个伸手就可以从兜里掏出芯片的老黄。黄仁勋以2个小时的主…

对象设计——责任、角色和协作思维导图笔记

思维导图url:https://www.processon.com/view/link/5ff6660007912930e01fc923

英特尔宣布全新自动驾驶平台整合处理器和视觉芯片

来源:网易科技概要:在英特尔主题演讲环节中,英特尔公司Mobileye联合创始人Amnon Shashua发布了英特尔全新的自动驾驶平台,包含2个EyeQ5芯片以及一个凌动芯片。美国拉斯维加斯时间1月9日至12日,第51届国际消费类电子产品…

ThoughtWorks洞见领域驱动设计思维导图笔记

思维导图url:洞见领域驱动设计 | ProcessOn免费在线作图,在线流程图,在线思维导图 |

大江大海2018: 冲浪科技之巅不可错过的十大数字前沿趋势

来源:腾讯研究院概要:所有主流科技公司、创业公司都相继进入战线,为科技的未来发展打造必要的元素。序 言2017年,人工智能的“热身”刚刚结束。继李世石人机大战,AlphaGo升级再复出,三度进化,让…

设计原本思维导图笔记

https://www.processon.com/view/link/601d04a87d9c0830de487b91

深度长文:智能手机的社会学研究

来源:36Kr编辑:郝鹏程媒介是人的延伸,智能手机是直接嫁接在我们身体上的一种器官这是一篇长文,以社会学的研究路径展示了智能手机的影响:它潜移默化、无影无踪。斯麦兹”受众商品论“的论断仍然存在,乔姆斯…

Mockito教程

https://www.cnblogs.com/Ming8006/p/6297333.html 目录 1 Mockito 介绍 1.1 Mockito是什么? 1.2 为什么需要Mock 1.3 Stub和Mock异同 1.4 Mockito资源 1.5 使用场景 2 使用Mockito 2.1 验证行为 2.2 模拟我们所期望的结果 2.3 RETURNS_SMART_NU…

日本科学家利用AI扫描大脑活动,「看到」了你正在「想什么」

原文来源:biorxiv作者:Guohua Shen、Tomoyasu Horikawa1、Kei Majima、Yukiyasu Kamitani「雷克世界」编译:嗯~阿童木呀、KABUDA你有没有想象过,将来的某一天,计算机可以“看到”你在想什么。图表由Kamitani实验室提供…

python正方形阴影面积计算_利用Python求阴影部分的面积实例代码

一、前言说明今天看到微信群里一道六年级数学题,如下图,求阴影部分面积看起来似乎并不是很难,可是博主添加各种辅助线,写各种方法都没出来,不得已而改用写Python代码来求面积了二、思路介绍1.用Python将上图画在坐标轴…

Yann LeCun力挺观点:算法对AI提升不大,奇点仍然很遥远

来源:AI前线策划|Tina,译者|薛命灯、核子可乐、Debra什么是奇点(Singularity)?奇点是指在未来某个假想的时间点,因为技术发展太过迅速,以致于达到我们无法理解的地步。奇…