华为云ModelBox实战:体感小游戏应用实操

目录

  • 一、VsCode插件注册ModelBox设备
  • 二、Windows SDK安装
    • 1.安装Git for Windows
    • 2.下载ModelBox SDK
    • 3.相关插件安装
  • 三、体感小游戏应用开发
    • 1.技能模板使用
    • 2.AI应用示例
    • 3.体感小游戏体验

参与华为云活动【HCSD】ModelBox实战营邀请活动,呼朋唤友学AIoT,完成体感小游戏体验。

以及ModelBox端边云AI应用开发框架交流专区。

ModelBox是高性能、高扩展、易用的端云协同AI应用开发框架,帮助开发者快速完成AI应用开发和部署到端边云设备上,30分钟完成AI应用开发,同时可以增加推理的数据吞吐量,降低AI分析耗时!

以人体关键点检测案例为例,使用原生的ONNXRuntime API做开发,可以达到36fps;而ModelBox版本(推理框架同样是ONNXRuntime),则达到了79fps,大大提升了分析速率,详细的分析过程可参考ModelBox推理真的高效吗一文。

简易Flappy Bird游戏,ModelBox体感小游戏:玩家通过上下摆动双臂做出“扇动翅膀”的动作,阻止小鸟下落,躲避画面中的“狼柱”;如果小鸟不小心碰到了“狼”或者触碰到画面边缘,游戏停止,然后会重新开始。画面左上方显示的是玩家存活的时长。

一、VsCode插件注册ModelBox设备

安装VsCode,VS Code官网下载安装Windows x64版本的编辑器,也可以参考Visual Studio Code 安装教程,打开VsCode,搜索并安装ModelBox管理插件

在这里插入图片描述

安装完成后,点击插件,进入华为云登录界面,获取访问密钥

在这里插入图片描述

在这里插入图片描述

新增访问密钥,确认后将下载的表格文件中AK/SK,输入访问密钥登录

在这里插入图片描述

登录后,右键ModelBox的本地设备,选择注册此设备,即可注册完成

在这里插入图片描述

二、Windows SDK安装

1.安装Git for Windows

ModelBox中有些脚本的执行依赖bash,使用Git bash也可以让开发者在Windows上获得与Linux相同的执行环境,因此需要安装Git for Windows,根据以下步骤安装即可

在这里插入图片描述

安装时注意勾选关联sh文件的默认应用为Git for Windows,即Associate .sh files to be run with Bash其他按照默认点击即可

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.下载ModelBox SDK

在HiLens管理控制台,选择专业版,同意协议后,再选择技能开发-工具/插件板块下载Windows系列的ModelBox SDK

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

新建一个用于ModelBox开发的文件夹(注意路径中不能有中文和空格),将下载的SDK压缩包解压到该路径

在这里插入图片描述

使用VSCode打开该文件夹

在这里插入图片描述

ModelBox SDK的目录结构,modelbox-win10-x64文件夹即为ModelBox核心库,包含ModelBox运行环境、内置的功能单元等,SDK中已经包含了Python运行环境python-embed目录,AI应用常用的OpenCV、NumPy等三方库也已经内置,开发者无需手动安装

在这里插入图片描述

3.相关插件安装

相关插件安装用于提高开发效率

Python:后面教程会涉及到ModelBox的Python功能单元开发,可以进行语法高亮、自动补全、代码跳转等

在这里插入图片描述

Even Better TOML:ModelBox中的流程图、配置文件等使用 TOML 语法编写,可以进行语法检查、关键字高亮、文件排版等

在这里插入图片描述

三、体感小游戏应用开发

1.技能模板使用

新建终端:打开VSCode,点击终端-新建终端,在下方会出现一个新终端

在这里插入图片描述

ModelBox技能模板:ModelBox中存在口罩检测、手势检测、人体姿态识别等AI技能模板,存放在华为云OBS中

在ModelBox SDK中提供了一个solution.bat工具,用于下载云侧的技能模板,执行.\solution.bat -l可看到当前已有的技能模板,如果是第一次执行solution.bat工具,会先去下载安装相关的obs工具

.\solution.bat -l

在这里插入图片描述
安装完成后再执行一次.\solution.bat -l,就可以看到技能模板了

在这里插入图片描述

2.AI应用示例

创建工程:ModelBox SDK中提供了create.bat工具,用于创建ModelBox工程、创建功能单元、工程打包等

执行.\create.bat可看到辅助工具的用法介绍

.\create.bat

在这里插入图片描述

执行以下命令可以创建车辆检测技能

.\create.bat -t server -n car_det -s car_det

在这里插入图片描述

创建好的工程结构如下

在这里插入图片描述

运行应用:车辆检测技能默认会打开工程中的测试视频(data/car_test_video.mp4),检测画面中的车辆,将车辆画框再输出到另一个视频文件中

进入到车辆检测工程目录,然后执行命令启动应用

cd .\workspace\car_det\
.\bin\main.bat

在这里插入图片描述

看到Task SUCCEEDED、请按任意键继续等字样,即表示应用运行完毕

在这里插入图片描述

在hilens_data_dir目录下生成了car_test_result.mp4文件,用播放器打开将看到车辆检测效果

在这里插入图片描述

至此,ModelBox开发环境已准备完毕,可以进行AI应用开发了

3.体感小游戏体验

体感小游戏对应的ModelBox版本已经做成模板放在华为云OBS中,可以用SDK中的solution.bat工具下载

下载模板:执行.\solution.bat -l查看当前公开的技能模板

.\solution.bat -l

在这里插入图片描述

pose_game_flappy_bird为体感小游戏应用模板,下载模板

.\solution.bat -s pose_game_flappy_bird

solution.bat工具的参数中,-l 代表list,即列出当前已有的模板名称;-s 代表solution-name,即下载对应名称的模板,下载下来的模板资源,将存放在ModelBox核心库的solution目录下

在这里插入图片描述

创建工程:在ModelBox SDK目录下使用create.bat创建flappy_bird工程

.\create.bat -t server -n flappy_bird -s pose_game_flappy_bird

create.bat工具的参数中,-t 表示创建事务的类别,包括工程(server)、Python功能单元(Python)、推理功能单元(infer)等;-n 代表name,即创建事务的名称;-s 代表solution-name,表示将使用后面参数值代表的模板创建工程,而不是创建空的工程

在这里插入图片描述

运行应用:打开工程目录下bin/mock_task.toml文件,修改其中的任务输入和任务输出配置为如下内容

即使用编号为0的摄像头(默认为PC自带的摄像头),输出画面显示到名为pose_game的本地屏幕窗口中

[input]
type = "url"
url = "0"  # 表示0号摄像头,即PC自带摄像头,若PC无摄像头需外接USB摄像头[output]
type = "local"
url = "0:pose_game"  # 表示名为```pose_game```的本地窗口

在这里插入图片描述

进入到应用目录,执行.\bin\main.bat运行应用开始游戏

cd .\workspace\flappy_bird\
.\bin\main.bat

在这里插入图片描述

在这里插入图片描述
如果需要终止游戏,打开任务管理器,结束进程即可,然后返回终端停止

在这里插入图片描述

更多有关体感小游戏应用的介绍可以参考:ModelBox开发案例 - 体感小游戏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/678934.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

flask+python企业产品订单管理系统938re

在设计中采用“自下而上”的思想,在创新型产品提前购模块实现了个人中心、个体管理、发布企业管理、投资企业管理、项目分类管理、产品项目管理、个体投资管理、企业投资管理、个体订单管理、企业订单管理、系统管理等的功能性进行操作。最终,对基本系统…

Java学习-常用API(二)

Math类及其常用API: 演示: StringBuilder的认识及其常用方法: StringBuilder支持链式编程 StringBuilder sbnew StringBuilder();sb.append(12).append.(“itHeima”&am…

synchronized关键字以及底层实现

目录 基本使用 底层实现 synchronized锁升级 对象的内存结构 ⅰ. 对象头 1. ① 运行时元数据 (Mark Word) (占64位) a. 哈希值 (HashCode) b. GC分代年龄 c. 锁状态标记 2. ② 类型指针: (Klass Point) (占 32位) ⅱ. 实例数据 ⅲ. 对齐填充 Moniter重量级锁 轻量…

[ai笔记3] ai春晚观后感-谈谈ai与艺术

欢迎来到文思源想的ai空间,这是技术老兵重学ai以及成长思考的第3篇分享! 今天我们不聊技术,只聊感受! 1 关于ai春晚 期待许久的ai春晚,但是等初一晚上观看的时候,或多或少还是有些失望。 首先是观看人数…

前端工程化面试题 | 06.精选前端工程化高频面试题

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…

【二叉树】构建销毁二叉树

目录 创建二叉树 整体思路 代码实现 图示理解​ 销毁二叉树 判断二叉树是否是完全二叉树&层序 整体思路 代码实现 图是理解 二叉树的性质 题目 创建二叉树 整体思路 通过前序遍历的数组"ABD##E#H##CF##G##"构建二叉树遇到#就回退,返回…

浅谈路由器交换结构

一、路由器技术概述 路由器(Router)是连接两个或多个网络的硬件设备,在网络间起网关的作用,是读取每一个数据包中的地址然后决定如何传送的专用智能性的网络设备。它能够理解不同的协议,例如某个局域网使用的以太网协议…

文章页的上下篇功能是否有必要?boke112百科取消上下篇功能

也不知道是从什么时候开始,我们很多站长的博客网站文章页都会在文末添加上“上一篇”和“下一篇”功能,目的是进行站内SEO优化和方便用户阅读上下篇文章。 boke112百科不管是以前使用的Three主题还是现在使用的YIA主题,刚开始的文章页都是有…

学习Android的第十天

目录 Android CheckBox 复选框 获得选中的 CheckBox 的值 自定义点击效果 改变文字与选择框的相对位置 修改文字与选择框的距离 Android ToggleButton 开关按钮 改变 ToggleButton 的状态和文本 Android Switch 开关 改变 Switch 的状态和文本 Android CheckBox 复选框…

腾讯云4核8G服务器可以用来干嘛?怎么收费?

腾讯云4核8G服务器适合做什么?搭建网站博客、企业官网、小程序、小游戏后端服务器、电商应用、云盘和图床等均可以,腾讯云4核8G服务器可以选择轻量应用服务器4核8G12M或云服务器CVM,轻量服务器和标准型CVM服务器性能是差不多的,轻…

sheng的学习笔记-docker部署springboot

部署文章目录:目录 docker部署,原理,命令,可以参考:docker原理图,部署,命令 目录 将springboot部署到docker中 遇到过的问题: pom配置 操作步骤 生成jar 构建镜像 查看镜像d…

CTFshow-WEB入门-信息搜集

web1(查看注释1) wp 右键查看源代码即可找到flag web2(查看注释2) wp 【CtrlU】快捷键查看源代码即可找到flag web3(抓包与重发包) wp 抓包后重新发包,在响应包中找到flag web4(robo…

物联网和工业4.0

在当今这个快速发展的技术时代,物联网(IoT)和工业4.0成为了推动全球进入新工业时代的两大驱动力。对于刚入行的人来说,深入理解这两个概念及其背后的技术原理,对于把握未来的职业机会至关重要。 物联网,简…

关于java的多线程初识

关于java的多线程初识 我们从今天开始,正式学习java的多线程,我们在前面的文章中学习到了java的基础, 但是距离我们工作实战还差的很远,我们学习好了基础,以后的文章会逐步的深入,去讲解各种前端框架&…

Flink从入门到实践(三):数据实时采集 - Flink MySQL CDC

文章目录 系列文章索引一、概述1、版本匹配2、导包 二、编码实现1、基本使用2、更多配置3、自定义序列化器4、Flink SQL方式 三、踩坑1、The MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match the configured timezone Asia/Shanghai. 参考资…

【python】网络爬虫与信息提取--requests库

导学 当一个软件想获得数据,那么我们只有把网站当成api就可以 requests库:自动爬取HTML页面,自动网络请求提交 robots协议:网络爬虫排除标准(网络爬虫的规则) beautiful soup库:解析HTML页面 工具&…

算法---回溯(正文)

1.什么是回溯? 回溯算法的定义就是和暴力枚举一样枚举所有可能并加撤回,也能和暴力一样去掉一些重复(在之前就被筛出,但还要枚举这个,我们可以跳过这个了---------这个就是回溯剪枝)。但为什么回溯不是暴力…

【精选】java多态进阶——多态练习测试

🍬 博主介绍👨‍🎓 博主介绍:大家好,我是 hacker-routing ,很高兴认识大家~ ✨主攻领域:【渗透领域】【应急响应】 【python】 【VulnHub靶场复现】【面试分析】 🎉点赞➕评论➕收藏…

Mac上新版InfluxDB使用教程

一、简介 官网:influxdb 二、influxdb安装 建议使用Homebrew在 macOS 上安装 InfluxDB v2: brew install influxdb启动influxdb服务:brew services start influxdb 停止influxdb服务:brew services stop influxdb 查看是否启…

使用R语言fifer包进行分层采样

使用R语言fifer包中的stratified()函数用来进行分层采样非常方便,但fifer包已经从CRAN存储库中删除,需要从存档中下载可用的历史版本,下载链接:Index of /src/contrib/Archive/fifer (r-project.org)https://cran.r-project.org/s…