yolov5训练并生成rknn模型部署在RK3588开发板上，实现NPU加速推理

简介

RK3588是瑞芯微（Rockchip）公司推出的一款高性能、低功耗的集成电路芯片。它采用了先进的28纳米工艺技术，并配备了八核心的ARM Cortex-A76和Cortex-A55处理器，以及ARM Mali-G76 GPU。该芯片支持多种接口和功能，适用于广泛的应用领域。

本篇为yolov5部署在RK3588的教程。

一、yolov5训练数据

请选择v5.0版本：Releases · ultralytics/yolov5 (github.com)

训练方法请按照官方的READEME文件进行。 

转换前将model/yolo.py的 Detect 类下的

    def forward(self, x):z = []  # inference outputfor i in range(self.nl):if os.getenv('RKNN_model_hack', '0') != '0':z.append(torch.sigmoid(self.m[i](x[i])))continuex[i] = self.m[i](x[i])  # convbs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()if not self.training:  # inferenceif self.onnx_dynamic or self.grid[i].shape[2:4] != x[i].shape[2:4]:self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i)y = x[i].sigmoid()if self.inplace:y[..., 0:2] = (y[..., 0:2] * 2 + self.grid[i]) * self.stride[i]  # xyy[..., 2:4] = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # whelse:  # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953xy, wh, conf = y.split((2, 2, self.nc + 1), 4)  # y.tensor_split((2, 4, 5), 4)  # torch 1.8.0xy = (xy * 2 + self.grid[i]) * self.stride[i]  # xywh = (wh * 2) ** 2 * self.anchor_grid[i]  # why = torch.cat((xy, wh, conf), 4)z.append(y.view(bs, -1, self.no))if os.getenv('RKNN_model_hack', '0') != '0':return zreturn x if self.training else (torch.cat(z, 1),) if self.export else (torch.cat(z, 1), x)

修改为：

    def forward(self, x):z = []for i in range(self.nl):x[i] = self.m[i](x[i])return x

但在训练阶段请勿修改。

接着将训练好的best.pt放在工程文件夹下，使用yolov5工程中的export.py将其转换为onnx模型。

python export.py --weights best.pt

二、下载RKNN-Toolkit2

1、下面的请在 Ubuntu下进行，创建一个Python环境

conda create -n rknn152 python=3.8

激活环境rknn152

conda activate rknn152

拉取rockchip-linux/rknn-toolkit2 at v1.5.2 (github.com)仓库。我是直接下载的1.5.2版本的zip包。

git clone git@github.com:rockchip-linux/rknn-toolkit2.git

2、安装依赖(requirements_cp38-1.5.2.txt,在rknn-toolkit2/doc目录下)

pip install -r /home/yuzhou/rknn15/rknn-toolkit2-1.5.2/doc/requirements_cp38-1.5.2.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装rknn-toolkit2，位置在packages文件夹下面，请选择合适的版本。

pip install /home/yuzhou/rknn15/rknn-toolkit2-1.5.2/packages/rknn_toolkit2-1.5.2+b642f30c-cp38-cp38-linux_x86_64.whl

3、开发环境与板子连接

sudo apt-get install adb

使用USB-typeC线连接到板子的TypeC0接口，PC端识别到虚拟机中。
在开发环境中检查是否连接成功

adb devices

如果连接成功会返回板子的设备ID,如下:

List of devices attached
* daemon not running; starting now at tcp:5037
* daemon started successfully
75370ea69f64098d    device

三、onnx转rknn模型

在rknn-toolkit2工程文件夹中浏览至./examples/onnx/yolov5，将我们在yolov5工程中转换得到的best.onnx复制到该文件夹下，需要修改该文件夹下的test.py中的内容。

  • ONNX_MODEL：模型名；
  • RKNN_MODEL：转换后的rknn模型名；
  • IMG_PATH：推理的图片路径；
  • DATASET：需要打开txt文件修改，改为IMG_PATH的图片名
  • CLASSES：修改为自己数据集的类别

添加target_platform='rk3588'。

进入此目录，运行：

python test.py

如上图如此，说明没有问题，并且在该目录下会生成一个推理图片，以及转换好的rknn模型。

四、下载NPU工程

git clone https://github.com/rockchip-linux/rknpu2

将rknn_server和rknn库发送到板子上

adb push /home/yuzhou/rknn15/rknpu2-1.5.0/runtime/RK3588/Linux/rknn_server/aarch64/usr/bin/rknn_server /usr/bin/
adb push /home/yuzhou/rknn15/rknpu2-1.5.0/runtime/RK3588/Linux/librknn_api/aarch64/librknnrt.so /usr/bin/
adb push /home/yuzhou/rknn15/rknpu2-1.5.0/runtime/RK3588/Linux/librknn_api/aarch64/librknn_api.so /usr/bin/

 在板子上运行rknn_server服务

adb shell 
root@ok3588:/# chmod +x /usr/bin/rknn_server
root@ok3588:/# rknn_server &
[1] 6932
root@ok3588:/# start rknn server, version:1.5.0 (17e11b1 build: 2023-05-18 21:43:39)
I NPUTransfer: Starting NPU Transfer Server, Transfer version 2.1.0 (b5861e7@2020-11-23T11:50:51)

在开发环境中检测rknn_server是否运行成功

(base) yuzhou@yuzhou-HP:~$ adb shell
root@ok3588:/# pgrep rknn_server
6932

有返回进程id说明运行成功。

git clone https://github.com/rockchip-linux/rknpu2.git

五、部署在rk3588上

修改include文件中的头文件postprocess.h

#define OBJ_CLASS_NUM     80  #这里的数字修改为数据集的类的个数

修改model目录下的coco_80_labels_list.txt文件，改为自己的类并保存

car

将转换后的rknn文件放在model/RK3588目录下

在model目录下放入需要推理的图片

cd /home/yuzhou/rknn15/rknpu2-1.5.0/examples/rknn_yolov5_demo

编译，运行shell 

bash ./build-linux_RK3588.sh

成功后生成install目录，将文件推到我们的板子上面

adb push /home/yuzhou/rknn15/rknpu2-1.5.0/examples/rknn_yolov5_demo /mydatas/

与rk3588进行交互 

adb shell

进入我们传入文件的目录下 

cd /mydatas/rknn_yolov5_demo_Linux

使用npu加速推理

./rknn_yolov5_demo ./model/RK3588/best5s.rknn ./model/6.jpg

 将生成的图片拉取到本地来

adb pull /mydatas/rknn_yolov5_demo_Linux/6out.jpg /home/yuzhou/rknn-toolkit2/examples/onnx/yolov5_rk3588_demo/test

参考文章

瑞芯微RK3588开发板：虚拟机yolov5模型转化、开发板上python脚本调用npu并部署 全流程_yolov5模型在rk3588-CSDN博客

yolov5训练pt模型并转换为rknn模型，部署在RK3588开发板上——从训练到部署全过程_yolov5 rknn-CSDN博客

瑞芯微rk3588部署yolov5模型实战_在rk3588上部署yolov5-CSDN博客

yolov5训练并生成rknn模型以及3588平台部署_yolov5 在rk3588上的部署-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/768773.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

shell脚本入门练习（非常详细）零基础入门到精通，收藏这一篇就够了

shell脚本入门练习（非常详细）零基础入门到精通，收藏这一篇就够了

【脚本1】打印形状 打印等腰三角形、直角三角形、倒直角三角形、菱形 #!/bin/bash \# 等腰三角形 read \-p "Please input the length: " n for i in \seq 1 $n\ do for ((j\$n;j>i;j--)) do echo \-n " " done for m in \seq 1 $i\ do…
阅读更多...
淘宝1688京东...商品详情数据采集，按关键词搜索商品列表

淘宝1688京东...商品详情数据采集，按关键词搜索商品列表

淘宝、1688、京东等电商平台的商品详情数据采集以及按关键词搜索商品列表，通常可以通过以下几种方法实现： 请求示例，API接口接入Anzexi58 一、使用API接口 这些电商平台通常都提供开放API接口，允许开发者调用接口获取所需的数据…
阅读更多...
【Linux】网络编程套接字一

【Linux】网络编程套接字一

网络编程套接字一 1.预备知识1.1理解源IP地址和目的IP地址1.2认识端口号1.3认识TCP协议1.4认识UDP协议1.5网络字节序 2.socket编程接口3.UDP网络程序3.1UDP Server服务器端3.2UDP Client客户端 4.根据UDP客户端服务端做的设计4.1字典热加载4.2shell命令行4.3聊天室 5.windows客…
阅读更多...
WSL下Ubuntu+RTX4090安装CUDA+cuDnn+Pytorch

WSL下Ubuntu+RTX4090安装CUDA+cuDnn+Pytorch

安装驱动 首先需要明确的是，在WSL下安装Ubuntu，如果要使用主机的GPU卡，只需要在主机Windows上安装驱动，Linux中不需要安装驱动，可以在Linux中使用nvidia-smi命令查看驱动版本。 安装CUDA 避坑注意事项：如…
阅读更多...
网络原理(6)——IP协议

网络原理(6)——IP协议

目录 一、网段划分 现在的网络划分： 1、一般情况下的家庭网络环境 2、IP地址 3、子网掩码 4、网关 以前的网络划分： 二、特殊IP 1、环回 IP 2、主机号为全 0 的IP 3、广播地址IP 三、路由选择（路线规划） 一、网段划分…
阅读更多...
毕业论文降重（gpt+完美降重指令），sci论文降重gpt指令——超级好用，重复率低于4%

毕业论文降重（gpt+完美降重指令），sci论文降重gpt指令——超级好用，重复率低于4%

1. 降重方法：gpt降重指令 2. gpt网站 https://yiyan.baidu.com/ https://chat.openai.com/ 3. 降重指令——非常好用！！sci论文，本硕大论文都可使用！ 请帮我把下面句子重新组织，通过调整句子逻辑&#xff0…
阅读更多...
通过命令在Windows入站出站放行上放行端口8090, 8443, 5222, 8021

通过命令在Windows入站出站放行上放行端口8090, 8443, 5222, 8021

可以通过循环结构来简化操作，下面分别创建入站和出站规则的示例： 入站规则 $ports 8090, 8443, 5222, 8021foreach ($port in $ports) {New-NetFirewallRule -DisplayName "Allow Inbound Port $($port)" -Direction Inbound -Action Allow…
阅读更多...
day6：STM32MP157——串口通信实验

day6：STM32MP157——串口通信实验

使用的是cortex A7内核 【串口通信的工作原理】 本次实验使用的是uart4的串口，分别使用了uart4_tx和uart4_rx两个引脚。根据板子的原理图我们可以知道，他们分别对应着芯片的PG11和PB2 从引脚名字也可以知道使用了GPIO口，所以本次实验同样需…
阅读更多...
array go 语言的数组 /切片

array go 语言的数组 /切片

内存地址通过& package mainimport "fmt"func main() {var arr [2][3]int16fmt.Println(arr)fmt.Printf("arr的地址是: %p \n", &arr)fmt.Printf("arr[0]的地址是 %p \n", &arr[0])fmt.Printf("arr[0][0]的地址是 %p \n"…
阅读更多...
动态规划Dynamic Programming

动态规划Dynamic Programming

上篇文章我们简单入门了动态规划（一般都是简单的上楼梯，分析数据等问题）点我跳转，今天给大家带来的是路径问题，相对于上一篇在一维中摸爬滚打，这次就要上升到二维解决问题，但都用的是动态规划思…
阅读更多...
手机termux上用hydra在线暴力穷举破解

手机termux上用hydra在线暴力穷举破解

HYDRA 是一个在线暴力破解工具，速度快，穷举稳定，支持50线程的暴力穷举破解，兼容的协议也多，telnet, ftp, http, https, smb, 多数网页服务的databases，应用广泛。 在手机termux上也可以轻松实现。 不废话…
阅读更多...
开源博客项目Blog .NET Core源码学习（10：App.Framwork项目结构分析）

开源博客项目Blog .NET Core源码学习（10：App.Framwork项目结构分析）

开源博客项目Blog的解决方案总共包括4个项目，其中App.Hosting项目包括所有的页面及控制器类，其它项目主要提供数据库访问、基础类型定义等。这四个项目的依赖关系如下图所示，本文主要分析App.Framwork项目的主要结构及主要文件的用途。   …
阅读更多...
水瓶座性格分析及星座配对！

水瓶座性格分析及星座配对！

水瓶座性格分析及星座配对！ 标签：水瓶座 水／瓶／座 1.20~2.18 “珍爱生命，远离水瓶” 这是一个被水瓶座折磨的巨蟹文艺男青年的呐喊 “都是外星人，根本没法沟通” 这是号称水瓶最佳基友的逆生长射手妹子…
阅读更多...
21.同步模式-保护性暂停

21.同步模式-保护性暂停

1.Guarded Suspension,用在一个线程等待另一个线程的执行结果。 2.一个结果从一个线程传递到另一个线程，让他们关联同一个GuardedObject 保护对象。 3.如果有结果不断从一个线程到另一个线程，那么可以使用消息队列。 4.join方法和Future的实现&#x…
阅读更多...
JavaScript原型、原型对象、原型链系列详解（三）

JavaScript原型、原型对象、原型链系列详解（三）

(三)、JavaScript原型链 原型链 在 JavaScript 中，对象之间的继承是通过原型链来实现的。每个对象都有一个指向原型对象的内部链接，也就是 [[Prototype]] 属性。这个链接的作用是如果对象本身没有某个属性或方法，就会去它的原型对象上找&…
阅读更多...
Linux 进程通信：匿名管道、实现进程池

Linux 进程通信：匿名管道、实现进程池

目录 一、进程间通信 1、 为什么需要进程通信 2、发展和分类 二、管道 1、概念 2、特点 2、复制并共享 3、用fork来共享管道原理 4、站在文件描述符角度-深度理解管道 5、站在内核角度-管道本质 三、匿名管道 1、概念 2、创建 3、snprintf 4、父子进程中进行单…
阅读更多...
小程序英文口语发音评测

小程序英文口语发音评测

一、英文口语评测需求 在全球化的今天，英语已经成为了世界上最重要的国际语言之一。无论是在国际商务、科技研究、教育还是日常生活中，英语都扮演着举足轻重的角色。因此，掌握英文口语的能力对于个人的职业发展、学术研究以及跨文化交流都具…
阅读更多...
【Linux】vim配置及安装方法

【Linux】vim配置及安装方法

注 安装方法在文章最后 配置文件的位置 在目录 /etc/ 下面，有个名为vimrc的文件，这是系统中公共的vim配置文件，对所有用户都有效。而在每个用户的主目录下，都可以自己建立私有的配置文件，命名为“.vimrc”。例如&…
阅读更多...
atoi函数详解

atoi函数详解

atoi函数使用方法 在c官网中是这样介绍atoi函数的 通俗的讲就是把字符串中的字符数字转换为整形数字，遇到空格就跳过，如果在字符串开始遇到不是有效的整数比如说abc就直接返回0，如果遇到像这种情况123abc345这个就只返回123，这个…
阅读更多...
C语言数据结构之计数排序

C语言数据结构之计数排序

世中逢尔 雨中逢花 目录 计数排序的介绍 代码展示 时间复杂度和空间父复杂度 计数排序的用途 计数排序的局限性 计数排序的介绍 排序原理 计数排序又称为鸽巢原理，是对哈希直接定址法的变形应用。 是一个不比较排序算法，通过计数将时间复杂度降到了O…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023