【技术干货】教你如何基于华为昇腾CANN架构快速实现模型推理应用(内含视频教程)

昇腾的AI全软件栈平台、开源框架、CANN、MindSpore、MindX 等工具,可以让开发者实现「统一端边云,全端自动部署」,开启了机器学习开发的新时代,一直被人们寄予厚望。但正因为资源极其丰富,浩如星辰,想要快速寻找,到摸索清楚其中的原理,并最终结合自己手上的项目实现应用部署,人力成本、时间成本将增加不少,不利于快速推进项目。

现在~好消息来了!

经过英码科技工程师们的认真梳理,本篇文章,我们以英码科技EA500I边缘计算盒子为例,为大家介绍在昇腾CANN架构下,基于PyTorch框架的ResNet50模型,以及基于YOLOV7网络模型如何快速实现模型推理应用。

CANN架构介绍

                      01 样例1介绍(ResNet50模型)

▍基于PyTorch框架的ResNet50模型,对*.jpg图片分类,输出各图片所属分类的编号、名称。

样例的理流程如下图所示:

1 样例下载

命令行方式下载(下载时间较长,需稍作等待)。

# 开发环境,非root用户命令行中执行以下命令下载源码仓。cd ${HOME}

cd ${HOME}

git clone https://gitee.com/ascend/samples.git

注: 如果需要切换到其它tag版本,以v0.9.0为例,可执行以下命令。

git check out v0.9.0 

样例的代码目录说明如下:

2 准备环境

(1)安装CANN软件

最新版本的CANN软件安装指南请戳→安装指南

注:英码科技EA500I智能工作站系统环境中已适配该软件,无需另行下载安装。

(2)设置环境变量

注:“$HOME/Ascend”请替换“Ascend-cann-toolkit”包的实际安装路径。

# 设置CANN依赖的基础环境变量

. ${HOME}/Ascend/ascend-toolkit/set_env.sh

#如果用户环境存在多个python3版本,则指定使用python3.7.5版本

export PATH=/usr/local/python3.7.5/bin:$PATH

#设置python3.7.5库文件路径

export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib:$LD_LIBRARY_PATH

# 配置程序编译依赖的头文件与库文件路径

export DDK_PATH=$HOME/Ascend/ascend-toolkit/latest

export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub

(3)安装OpenCV

执行以下命令安装opencv ,须确保是3.x版本;

sudo apt-get install libopencv-dev

3 样例运行

(1)获取PyTorch框架的ResNet50模型(*.onnx),并转换为昇腾AI处理器能识别的模型(*.om)

注:此处以昇腾310 AI处理器为 例,针对其它昇腾AI处理器的模型转换,需修改atc命令中的-- soc_version参数值。

# 为方便下载,这里直接给出原始模型下载及模型转换命令,可以直接拷贝执行。  

cd $HOME/samples/inference/modelInference/sampleResnetQuickStart/

cpp/model wget https://obs-9be7.obs.cn-east-  2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx

atc --model=resnet50.onnx --framework=5 --output=resnet50 --    

input_shape="actual_input_1:1,3,224,224"  --soc_version=Ascend310

atc命令中各参数的解释如下,详细约束说明请参见《ATC模型转换指南》。

  • --model :ResNet-50网络的模型文件的路径

  • --framework:原始框架类型。5表示ONNX。

  • --output:resnet50.om模型文件的路径。请注意,记录保存该om模型文件的路径,后续开发应用时需要使用。

  • --input_shape:模型输入数据的shape。

  • --soc_version:昇腾AI处理器的版本。

说明:如果无法确定当前设备的soc_version,则在安装驱动包的服务器执行npu-smi info 命令进行查询,在查询到的“Name“前增加Ascend信息,例如“Name“对应取值为_xxxyy_ , 实际配置的soc_version值为Ascend_xxxyy_。

(2)获取测试图片数据

请从以下链接获取该样例的测试图片dog1_ 1024_683.jpg,放在data目录下。

cd $HOME/samples/inference/modelInference/

sampleResnetQuickStart/cpp/data wget 

https://obs-9be7.obs.cn-east-  

2.myhuaweicloud.com/models/aclsample/dog1_1024_683.jpg

注:若需更换测试图片,则需自行准备测试图片,并将测试图片放到data录下。

(3)编译样例源码

执行以下命令编译样例源码:

cd $HOME/samples/inference/modelInference/

sampleResnetQuickStart/

cpp/scripts bash sample_build.sh

(4)运行样例

执行以下脚本运行样例:

bash sample_run.sh

执行成功后,在屏幕上的关键提示信息示例如下,提示信息中的label表示类别标识、conf表示该分类的 最大置信度,class表示所属类别。这些值可能会根据版本、环境有所不同,请以实际情况为准:

[INFO] The sample starts to run

out_dog1_1024_683.jpg

label:162 conf:0.902209  class:beagle

[INFO] The program runs successfully

图片结果展示:

图片

4 代码逻辑详解(C&C++语言)

样例中的接口调用流程如下图所示:

图片

在此样例基础上:

若想要更换测试图片,只需自行准备好新的jpg图片并存放到样例的data目录下,图片数据预处理时会自 动从该目录下读取图片数据、再缩放至模型所需的大小。

若想要更换模型,则需关注以下修改点:

1.准备模型:需自行准备好原始模型并存放到样例的model目录下,再参考《ATC模型转换指南》转换模型;

2. 加载模型:在aclmdlLoadFromFile接口处加载转换后的模型;

3. 准备模型输入/输出数据结构:根据新模型的输入、输出个数准备;

4. 获取推理结果&后处理:根据新模型的输出数据进行后处理。

须知: 一般来说,更换其它图片分类模型(例如resnet50- >resnet101)  ,由于同类模型的输入、输出类 似,在此样例基础上改动较小,但如果更换为其它类型的模型(例如目标检测模型),由于不同类型模 型的输入、输出差别较大,在此样例基础上数据预处理、模型输入&输出准备以及数据后处理等改动很大,建议在Ascend Sample仓先找到目标检测类的样例,再基于目标检测样例修改。

                         02 样例2介绍(YOLOV7模型)

以YOLOV7网络模型为例,使能Acllite对图片进行预处理,并通过模型转换使能静态AIPP功能,使能AIPP功能后,YUV420SP_U8格式图片转化为RGB,然后减均值和归一化操作,并将该信息固化到转换后的离线模型中,对YOLOV7网络执行推理,对图片进行物体检测和分类,并给出标定框和类别置信度。

样例输入:图片。

样例输出:图片物体检测,并且在图片上给出物体标注框,类别以及置信度。

1 获取源码包

可以使用以下两种方式下载,请选择其中一种进行源码准备。

命令行方式下载(下载时间较长,但步骤简单):

# 开发环境,非root用户命令行中执行以下命令下载源码仓。

cd ${HOME}

git clone https://gitee.com/ascend/samples.git

注:如果需要切换到其它tag版本,以v0.5.0为例,可执行以下命令。

git checkout v0.5.0

压缩包方式下载(下载时间较短,但步骤稍微复杂)。

注:如果需要下载其它版本代码,请先请根据前置条件说明进行samples仓分支切换。

# 1. samples仓右上角选择【克隆/下载】下拉框并选择【下载ZIP】。

# 2. 将ZIP包上传到开发环境中的普通用户家目录中,

【例如:${HOME}/ascend-samples- master.zip】。

# 3. 开发环境中,执行以下命令,解压zip包。

cd ${HOME}

unzip ascend-samples-master.zip

2 第三方依赖安装

设置环境变量,配置程序编译依赖的头文件,库文件路径。“$HOME/Ascend”请替换“Ascend-cann-toolkit”包的 实际安装路径。

export DDK_PATH=$HOME/Ascend/ascend-toolkit/latest

export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub

export THIRDPART_PATH=${DDK_PATH}/thirdpart

export LD_LIBRARY_PATH=${THIRDPART_PATH}/lib:$LD_LIBRARY_PATH

创建THIRDPART_PATH路径:

mkdir -p ${THIRDPART_PATH}

acllite

注:源码安装ffmpeg主要是为了acllite库的安装 执行以下命令安装x264

# 下载x264

cd ${HOME}

git clone https://code.videolan.org/videolan/x264.git

cd x264

# 安装x264

./configure --enable-shared --disable-asm

make

sudo make install

sudo cp /usr/local/lib/libx264.so.164 /lib

执行以下命令安装ffmpeg:

# 下载ffmpeg

cd ${HOME}

wge thttp://www.ffmpeg.org/releases/ffmpeg-4.1.3.tar.gz --no-check- certificatetar -zxvf ffmpeg-4.1.3.tar.gz

cd ffmpeg-4.1.3

# 安装ffmpeg

./configure --enable-shared --enable-pic --enable-static --disable-x86asm -- enable-libx264 --enable-gpl --prefix=${THIRDPART_PATH}

make -j8

make install

执行以下命令安装acllite:

cd ${HOME}/samples/inference/acllite/cplusplus

make

make install

安装opencv

执行以下命令安装opencv(注:须确保是3.x版本)

sudo apt-get install libopencv-dev

3 样例运行

(1)数据准备

请从以下链接获取该样例的输入图片,放在data目录下。

cd $HOME/samples/inference/modelInference/sampleYOLOV7/data

wget https://obs-9be7.obs.cn-east-

2.myhuaweicloud.com/models/aclsample/dog1_1024_683.jpg

(2)ATC模型转换

将YOLOV7原始模型转换为适配昇腾310处理器的离线模型(*.om文件),放在model路径下。

#为了方便下载,在这里直接给出原始模型下载及模型转换命令,可以直接拷贝执行。 

cd $HOME/samples/inference/modelInference/

sampleYOLOV7/model

wget https://obs-9be7.obs.cn-east-

2.myhuaweicloud.com/003_Atc_Models/yolov7/yolov7x.onnx

wget https://obs-9be7.obs.cn-east-

2.myhuaweicloud.com/003_Atc_Models/yolov7/aipp.cfg

atc --model=yolov7x.onnx --framework=5 --output=yolov7x --

input_shape="images:1,3,640,640"  --soc_version=Ascend310  --

insert_op_conf=aipp.cfg

样例编译

执行以下命令,执行编译脚本,开始样例编译。

cd $HOME/samples/inference/modelInference/

sampleYOLOV7/scripts

bash sample_build.sh

样例运行

执行运行脚本,开始样例运行。

bash sample_run.s

(3)样例结果展示

运行完成后,会在样例工程的out目录下生成推理后的图片,显示对比结果如下所示。

图片

结语

图片

以上内容详细介绍了在昇腾CANN架构下,基于PyTorch框架的ResNet50模型,以及基于YOLOV7网络模型如何快速实现模型推理应用的主要流程,尤其方便已购买英码科技EA500I边缘计算盒子的开发者朋友们快速实现推理应用。

下期将会继续更新关于昇腾开发工具的其他详细使用教程,欢迎关注!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/729206.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用Python进行股票分析(1)

简介 Python具有非常好的数据分析和数据可视化的功能。在本文中,我们将通过使用Python获取股票的闭市价格,并且对股票价格进行分析从而向我们提供买卖股票的依据。 数据获取 需要说明的是在这里我们获取的是美国股票的数据。至于中国股市的数据大家可…

【C语言】左旋字符串(三种实现方式)

题目: 实现一个函数,可以左旋字符串中的k个字符。 例如: ABCD左旋一个字符得到BCDA ABCD左旋两个字符得到CDAB 方法一: 我们画个图分析一下: 基本逻辑: 就是我们每一次旋转之前,我们就取出…

蓝桥杯——web(ECharts)

ECharts 初体验 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><script src"echarts.js">&l…

《JAVA与模式》之观察者模式

系列文章目录 文章目录 系列文章目录前言一、观察者模式的结构二、推模型和拉模型三、JAVA提供的对观察者模式的支持四、怎样使用JAVA对观察者模式的支持前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站,这篇文章男…

入门学习Python推荐书籍

. Python作为一门易学易用的编程语言&#xff0c;在近些年得到了越来越多的关注和应用。Python的开发效率极高&#xff0c;语言特性丰富&#xff0c;拓展性强。因此&#xff0c;Python成为了众多IT工程师、科研人员、数据分析师以及爱好者的首选。 那么&#xff0c;对于初学者…

vite项目修改node_modules

问题详情 在使用某个依赖的时候遇到了bug&#xff0c;提交issue后不想一直等待到作者更新版本&#xff0c;所以寻求临时自己解决 问题解决 在node_modules里找到需要修改的依赖&#xff0c;修改想要修改的代码 修改后记得保存 然后在node_modules里找到.vite文件夹&#x…

docker快照备份回滚

1. 安装系统 1.1 vm安装Ubuntu 参考:https://blog.csdn.net/u010308917/article/details/125157774 1.2 其他操作 添加自定义物理卷 –待补充– 1.2.1 查询可用物理卷 fdisk -l 输出如下 Disk /dev/loop0: 73.9 MiB, 77492224 bytes, 151352 sectors Units: sectors of …

耐腐蚀PFA消解管可配四氟回流盖适配海能莱伯泰科全自动石墨消解仪

PFA消解管&#xff0c;也叫PFA消化管、特氟龙消解管、耐高温消解杯等&#xff0c;应用于气相、液相、等离子光谱质谱、原子吸收、原子荧光等化学分析方法的样品前处理&#xff0c;可消解重金属、农残、食品、淤泥、稀土、水产品、有机物等。 PFA消解管 PFA消解管可耐强酸、强碱…

基于单片机的红外测距仪设计

目 录 摘 要 I Abstract II 引 言 1 1 控制系统设计 3 1.1 主控制器选择 3 1.2 项目总体设计 3 2 项目硬件设计 5 2.1 单片机控制模块 5 2.2 测距模块设计 9 2.3 液晶显示模块 10 2.4 报警模块 11 3 项目软件设计 12 3.1 软件开发环境 12 3.2 系统主程序设计 13 3.3 LCD显示程…

Spring Boot 生成与解析Jwt

Spring Boot 生成与解析Jwt Maven依赖 <dependency><groupId>io.jsonwebtoken</groupId><artifactId>jjwt</artifactId><version>0.9.1</version> </dependency>生成&解析 package yang;import io.jsonwebtoken.Claims…

收银系统源码-智慧新零售2.0小助手全新升级!

欢迎后台私信&#xff0c;测试体验&#xff01; 新零售助手是智慧新零售系统的移动管理端&#xff0c;尤其针对商户/门店日常经营必不可少的一环。智慧新零售2.0版小助手也进行了全新升级&#xff0c;使用起来更简单&#xff0c;页面更美观。小助手采用微信小程序登陆&#xf…

Git 掌握

目录 一、前言 二、centos安装Git 三、Git基本操作 (1) 创建Git本地仓库 (2) 配置Git (3) 认识工作区&#xff0c;暂存区&#xff0c;版本库 四、添加文件 五、查看.git文件 六、修改文件 七、版本回退 八、撤销修改 (1) 场景一 对于还没有add的代码 (2) 场景二 已…

基于springboot+vue实现民宿管理系统项目【项目源码+论文说明】计算机毕业设计

基于springbootvue实现民宿管理系统演示 摘要 伴随着我国旅游业的快速发展&#xff0c;民宿已成为最受欢迎的住宿方式之一。民宿借助互联网和移动设备的发展&#xff0c;展现出强大的生命力和市场潜力。民宿主要通过各种平台如携程、去哪儿、淘宝等在网络上销售线下住宿服务&a…

模块自动导入

看的短视频&#xff0c;自己试了下&#xff0c;发现挺好用的&#xff1a;模块自动导入【渡一教育】_哔哩哔哩_bilibili 1. 安装插件 npm i unplugin-auto-import 2. 在vite配置文件&#xff08;vite.config.ts&#xff09;中进行配置&#xff0c; 配置完场后&#xff0c;需要重…

ChatGPT原理与应用开发【文末送书-33】

文章目录 ChatGPT原理应用开发开发指南 ChatGPT原理与应用开发【文末送书-33】 ChatGPT ChatGPT 是一款由 OpenAI 开发的大型语言模型聊天机器人&#xff0c;它基于 GPT-3.5 和 ChatGPT 3.5 模型构建&#xff0c;并采用了大量的训练数据进行训练。ChatGPT 能够生成类似人类的文…

MySQL常见的索引类型介绍

我将为您详细讲解 MySQL 中常见的索引类型&#xff0c;以及它们的使用场景、特点、区别和优势。索引是提高数据库查询性能的关键工具&#xff0c;它可以加速数据检索速度&#xff0c;减少服务器的负担。在 MySQL 中&#xff0c;索引类型主要包括 B-Tree 索引、哈希索引、全文索…

从数据处理到3D PDF生成:交互式3D PDF生成引擎HOOPS Publish的工作原理

在当今数字化时代&#xff0c;3D技术在各个行业中扮演着重要角色&#xff0c;从制造业到医疗保健&#xff0c;再到建筑设计。为了更好地共享、演示和交互展示3D模型数据&#xff0c;HOOPS Publish作为一款强大的3D引擎&#xff0c;专门用于生成交互式的3D PDF文件。本文将深入探…

Linux平台下智能入侵检测系统设计与实现

目 录 摘 要 I Abstract II 引 言 1 1 入侵检测与Snort概述 3 1.1入侵检测系统概念 3 1.2 Snort系统 3 1.3 Snort的特点 3 1.4 Snort规则 4 1.4.1 规则的结构 4 1.4.2 规则头部 5 1.4.3 规则选项 6 1.5 本章小结 6 2 需求分析与总体设计 7 2.1 必要功能需求分析 7 2.2 数据库的…

智能研发新纪元:探索2024年AI辅助研发的发展与趋势

随着人工智能&#xff08;AI&#xff09;技术的高速发展与创新&#xff0c;我们迎来了一个全新的时代&#xff0c;尤其是在研发领域。AI正以前所未有的速度和效率推动着科技的突破。2024年&#xff0c;AI辅助研发成为走在时代前端的核心竞争力。在这篇文章中&#xff0c;我们将…

FPGA AXI4总线信号介绍篇

一.AXI总线类型接口 AXI是一种总线协议&#xff0c;可以挂在多个master和slave&#xff1a; &#xff08;1&#xff09;AXI4&#xff1a;主要面向高性能地址映射通信的需求&#xff1b;&#xff08;突发数据&#xff09;&#xff08;地址映射模式&#xff09; &#x…