1.rk3588的yolov5运行:pt_onnx_rknn转换及rknn在rk3588系统python运行

        自己有点笨,查资料查了一周才完美的实现了yolov5在rk3588环境下的运行,在这里写具体步骤希望大家少走弯路。具体步骤如下:

一、yolov5的原代码下载及pt文件转换为onnx文件

1.yolov5的原代码下载及环境搭建

        在这里一定要下载正确版本的源代码,否则pt到onnx文件的转换很容易出错。进入网盘链接下载即可:https://pan.baidu.com/s/1D-9UzyfNgrACdqliLwkrEg ,提取码:qnbv

       下载后在\yolov5-master\文件夹下打开requirements.txt文件,里面有很多需要安装的包,根据这个文件安装好所有yolov5需要的包即可。

2.pt文件转换为onnx文件

          yolov5训练好的权重文件为pt文件,由于训练麻烦,在这里我们用自带的yolov5s.pt文件转换。我已经将这个文件放在\yolov5-master\文件夹下面,大家可以找到。

         在转换之前,我们需要对yolov5的几个py文件做个修改。修改如下:

(1) 修改models/yolo.py Detect类下的forward函数。首先将该forward函数注释了(一定记着,模型训练时必须用这个函数,不要删了),再修改为下面的函数即可:

    def forward(self, x):z = []  # inference outputfor i in range(self.nl):x[i] = self.m[i](x[i])  # convreturn x

修改前的函数如下(代码已经被我注释):

# def forward(self, x):#     z = []  # inference output#     for i in range(self.nl):#         x[i] = self.m[i](x[i])  # conv#         bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)#         x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()##         if not self.training:  # inference#             if self.dynamic or self.grid[i].shape[2:4] != x[i].shape[2:4]:#                 self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i)##             if isinstance(self, Segment):  # (boxes + masks)#                 xy, wh, conf, mask = x[i].split((2, 2, self.nc + 1, self.no - self.nc - 5), 4)#                 xy = (xy.sigmoid() * 2 + self.grid[i]) * self.stride[i]  # xy#                 wh = (wh.sigmoid() * 2) ** 2 * self.anchor_grid[i]  # wh#                 y = torch.cat((xy, wh, conf.sigmoid(), mask), 4)#             else:  # Detect (boxes only)#                 xy, wh, conf = x[i].sigmoid().split((2, 2, self.nc + 1), 4)#                 xy = (xy * 2 + self.grid[i]) * self.stride[i]  # xy#                 wh = (wh * 2) ** 2 * self.anchor_grid[i]  # wh#                 y = torch.cat((xy, wh, conf), 4)#             z.append(y.view(bs, self.na * nx * ny, self.no))##     return x if self.training else (torch.cat(z, 1), ) if self.export else (torch.cat(z, 1), x)

(2)修改yolov5-master/export.py文件

把第838行的'--opset'的defaut修改为12(一定要修改为12),修改后的代码如下:

parser.add_argument('--opset', type=int, default=12, help='ONNX: opset version')

如果运行export.py报错,则修改export.py文件的760行的代码,修改前后的代码如下:

修改前:

shape = tuple((y[0] if isinstance(y, tuple) else y).shape)  # model output shape

修改后:

shape = tuple(y[0].shape)

           其他修改的地方,在以上百度网盘的yolov5的代码中已经修改完,其中,以上几步也已经修改完。大家直接运行即可。

运行方式:直接运行pycharm文件,或者终端运行:python export.py

注意:

如果下载了其他的yolov5,除了修改上述的内容,还需要修改export.py的其他内容如下:

1.修改export_saved_model函数和run函数里面的一些参数,基本上模型参数,比如置信度等;

2.修改parse_opt函数里面的一些参数,常见修改如下:

  (1)'--weights':后面需要修改为我们生成的pt文件的路径(可以是相对路径或者绝对路径),如我将要转换的模型yolov5s.pt,用相对路径修改后如下:

parser.add_argument('--weights', nargs='+', type=str, default='yolov5s.pt', help='model.pt path(s)')

 (2)'--include':后面修改为“onnx",y因为我们要转换为onnx型。转换后如下:

parser.add_argument('--include',nargs='+',default=['onnx'],#'torchscript'help='torchscript, onnx, openvino, engine, coreml, saved_model, pb, tflite, edgetpu, tfjs, paddle')

(3)也可以修改'--iou-thres'和'--conf-thres'参数,该参数是yolov5的置信度,会影响模型最终检测的精度,但不会影响pt文件转换为onnx文件的成功与否。其他的大家可以根据需要进行修改,前面的修改后,Pt文件就可以成功转换为onnx文件了。

二、onnx文件转换为rknn文件

       第一步将pt文件转换为了onnx文件,这里开始将onnx文件转换为rknn文件,这步转换我们需要搭建ubuntu20.04的虚拟环境,然后在ubuntu20.04的虚拟环境下转换(我开始用的ubuntu18.04的虚拟环境,但转换失败,所以大家还是乖乖的用ubuntu20.04吧)

1.搭建ubuntu20.04环境(这里不作具体介绍)

        大家去官网下载ubuntu-20.04.6-desktop-amd64.iso文件即可,下载后,需要下载VMware-workstation-full-17.0.0-20800274.exe,大家可以去百度网盘下载,链接如下:https://pan.baidu.com/s/1UHU9ZiCNpqUbazdg0NW7sQ 提取码:rpff

      之后具体的安装可以参照如下网址:【Ubuntu 20.04 虚拟机安装教程详解】_ubuntu20 虚拟机_千北@的博客-CSDN博客

2.安装Anaconda3

       第1步安装好ubuntu20.04环境后,我们首先要安装Anaconda3,具体安装步骤如下:

(1)下载Anaconda3-2021.11-Linux-x86_64.sh文件,可以进入百度网盘下载,下载路径如下:

链接:https://pan.baidu.com/s/1egRszYlWcpwhmt3-VEH3lA 提取码:bg0c

(2)加入下载后将该文件放在了public文件夹下面,然后我们进入该文件夹打开终端,如下图所示:

         然后在终端输入su进入根目录,在根目录下运行bash Anaconda3-2021.11-Linux-x86_64.sh即可,运行完后关闭终端,然后再次打开终端,终端运行conda-env list看是否安装好了Anaconda3。

3.rknn-toolkit2文件的搭建

   第2步搭建好了Anaconda3,我们接下来就可以搭建rknn-toolkit2文件了,具体步骤如下:

(1)下载rknn-toolkit2文件,可以通过百度网盘下载,下载路径如下:

链接:https://pan.baidu.com/s/1QzyAG23WMMjmOLDW3J8ZGA 提取码:vs3c,下载后将该文件放在你要放的文件夹下面,我放在了home/下面。

新建一个rknn环境如下(这里一定是python3.8,其他版本容易转换出错):

conda create -n rknn python=3.8

然后激活该环境

conda activate rknn

进入home/rknn-toolkit2-master/doc/路径,该路径有一个requirements_cp38-1.5.2.txt文件,然后终端运行代码:

pip install -r requirements_cp38-1.5.2.txt -i https://mirror.baidu.com/pypi/simple

返回上一级目录,然后进入packages目录,安装rknn_toolkit2

pip install rknn_toolkit2-1.5.2+b642f30c-cp38-cp38-linux_x86_64.whl

完成后,输入命令 python

from rknn.api import RKNN

运行以上命令,若不报错,则说明已经成功安装了rknn-toolkit2,然后退出python,如下图:

        把yolov5生成的onnx文件放到examples/onnx/yolov5文件夹下,然后终端进入该文件夹,再打开该文件夹的test.py文件,对里面的内容进行修改,具体修改如下:

       上图的第11行是我们要转换的onnx文件的路径(相对路径或者绝对路径都可以)。

       第12行是转换后的rknn文件的路径及文件名称。

       第13行是我们要检测的图片的路径,第14行是数据的路径,第22行是我们的要检测的目标名称。这里用了官方的pt文件,所以写了80个类,后面可以根据我们要检测的实际的类进行修改。

       然后再对第241行的target_platform修改为rk3588(因为我是要将该模型放在rk3588系统里),如果写成其他,转换后的rknn放到rk3588系统会报错。

      最后运行test.py文件即可,成功后在该文件夹下会生成对应的rknn文件。注意:一般转移这个文件需要解除权限。我们在终端运行以下代码解除文件权限即可。

chmod -R 777 文件名

至此,我们的onnx转换为rknn文件完毕!

接下来是将rknn文件部署在rk3588系统里。

三、rk3588部署rknn文件

在第二步生成rknn文件后,接下来是如何部署在rk3588系统里,具体步骤如下:

首先在rk3588系统的ubuntu20.04环境下运行

git clone https://github.com/rockchip-linux/rknpu2.git

然后进入yolov5目录运行

cd /home/ptay/rknpu2-master/examples/rknn_yolov5_demo

再修改include文件中的头文件postprocess.h

#define OBJ_CLASS_NUM     2  #这里的数字修改为数据集的类的个数

修改model目录下的coco_80_labels_list.txt文件,改为自己的类并保存(比如我要检测的类为person,moto)

person
moto

将我们在ubuntu20.04虚拟环境下转换后的rknn文件放在rknpu2/examples/rknn_yolov5_demo/model/RK3588/目录下,然后终端切换到rknpu2/examples/rknn_yolov5_demo/运行以下代码:

bash ./build-linux_RK3588.sh

然后会在该文件下生成install目录(更新该文件夹即可看到include文件夹).

cd install/rknn_yolov5_demo_linux

在model目录下放入需要推理的图片

运行

./rknn_yolov5_demo ./model/RK3588/best.rknn ./model/bus.jpg

运行后即可获得需要的结果。

当然,最后一步可以通过python运行,如果用python 运行,我们需要写一个demo.py文件如下:

import cv2
import subprocessp = subprocess.Popen(['./rknn_yolov5_demo', './model/RK3588/best.rknn', './model/bus.jpg'])
p.wait()
picDetected = cv2.imread('out.jpg')
# cv2.imshow("ss",picDetected)
# cv2.waitKey(0)

然后在该文件夹运行

python demo.py

       在同级文件夹下会生成一个out.jpg图片,该图片就是用rknn模型检测的图片结果。到这里,我们就完成了从pt文件到rk3588的模型部署了。

   完成以上环境部署后,后面多个模型时,可以根据实际情况进行嵌套检测,就简单了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/147207.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

替换SlowFast中Detectron2为Yolov8

一 需求 FaceBookReserch中SlowFast源码中检测框是用Detectron2进行目标检测,本文想实现用yolov8替换detectron2二 实施方案 首先,yolov8 支持有自定义库ultralytics(仅支持yolov8),安装对应库 pip install ultraly…

模拟实现一个Linux中的简单版shell

exec系列接口中的环境变量 在之前我们学习了exec系类函数的功能就是将一个程序替换成另外一个程序。 然后就会出现下面的问题: 首先父进程对应的环境变量的信息是从bash中来的,因为我们自己写的父进程在运行的时候首先就要成为bash的子进程。这里我们将…

9 STM32标准库函数 之 独立看门狗(IWDG)所有函数的介绍及使用

9 STM32标准库函数 之 独立看门狗(IWDG)所有函数的介绍及使用 1. 图片有格式该文档修改记录:总结 函数描述格式: 函数名外设函数的名称函数原形原形声明功能描述简要解释函数是如何执行的输入参数{x}输入参数描述输出参数{x}输出…

单片机语音芯片在工业控制中的应用优势

单片机语音芯片,这一智能化的代表产品,不仅在家庭和消费电子领域发挥着重要的作用,更为工业控制领域注入了新的活力。将单片机语音芯片与语音交互技术相结合,为工业设备的控制和监测提供了前所未有的解决方案。 首先,…

便利工具分享:一个proto文件的便利使用工具

最近在研究序列化,每次的proto文件手敲生成代码指令都很麻烦,干脆自己写一个泛用脚本,这样以后使用时候就方便了。 废话不多说,首先上代码: #!/bin/bash # 检查是否提供了文件名参数 if [ -z "$1" ]; then…

人充当LLM Agent的工具(Human-In-The-Loop ),提升复杂问题解决成功率

原文:人充当LLM Agent的工具(Human-In-The-Loop ),提升复杂问题解决成功率 在Agent开发过程中,LLM充当Agent的大脑,对问题进行规划、分解、推理,在执行过程中合理选择利用工具(Tool&…

Uniapp连接iBeacon设备——实现无线定位与互动体验(实现篇)

export default { data() { return { iBeaconDevices: [], // 存储搜索到的iBeacon设备 deviceId: [], data: [], url: getApp().globalData.url, innerAudioContext: n…

如何使用Flask request对象处理请求

在 Flask 中,request 对象是处理 HTTP 请求的重要工具之一。它提供了许多属性和方法,可以帮助我们获取请求的相关信息和数据。本文将向你介绍 request 对象的常用方法以及如何在 Flask 应用程序中使用它。 1. 获取请求方法 首先,让我们看一…

计算机网络的体系结构

目录 一. 计算机体系结构的形成二. 协议与层次划分2.1 数据传输过程2.2 什么是网络协议2.3 网络协议的三要素2.4 协议有两种形式2.4 各层协议2.5 什么是复用和分用 \quad 一. 计算机体系结构的形成 \quad 计算机网络是一个非常复杂的系统, 相互通信的两个计算机系统必须高度协调…

SSH协议简介与使用

Secure Shell(SSH) 是由 IETF(The Internet Engineering Task Force) 制定的建立在应用层基础上的安全网络协议。它是专为远程登录会话(甚至可以用Windows远程登录Linux服务器进行文件互传)和其他网络服务提供安全性的协议,可有效弥补网络中的漏洞。通过SSH&#xf…

本地jar导入maven

一、通过dependency引入 1.1. jar包放置&#xff0c;建造lib目录 1.2. pom.xml文件 <dependency><groupId>zip4j</groupId><artifactId>zip4j</artifactId><version>1.3.2</version><!--system&#xff0c;类似provided&#x…

网络原理-IP/数据链路层协议

一. IP IP协议有两个版本,IPv4和IPv6.我们通常所用的IP协议,若没有特殊说明,默认都是IPv4. IPv4数量2^32,大约43亿左右,而TCP/IP协议规定,每个主机都需要有一个IP地址.对于全世界的计算机来说,这个数量是不够的,所以后来推出了IPv6(长度128位,是IPv4的4倍).但因为目前IPv4还广…

leetcode栈和队列三剑客

用队列实现栈 队列是先进先出的&#xff0c;而栈是只能在栈顶进行出栈和入栈&#xff0c;那我们这道题要用队列来实现栈的话&#xff0c;这里给的思路是两个队列&#xff0c;因为两个队列的话就可以相互导数据&#xff0c;比如我们来实现这个题目的push函数&#xff0c;我们的栈…

CronExpression

CronTrigger配置格式: 格式: [秒] [分] [小时] [日] [月] [周] [年]序号 说明 是否必填 允许填写的值 允许的通配符 1 秒 是 0-59 , - * / 2 分 是 0-59 , - * / 3 小时 是 0-23 , - * / 4 日 是 1-31 , - * ? / L W 5 月 是 1-12 or JA…

springboot321基于java的校园服务平台设计与开发

交流学习&#xff1a; 更多项目&#xff1a; 全网最全的Java成品项目列表 https://docs.qq.com/doc/DUXdsVlhIdVlsemdX 演示 项目功能演示&#xff1a; ————————————————

Python---函数练习:编写一个打招呼程序

函数的定义-------相关链接&#xff1a;Python---函数的作用&#xff0c;定义&#xff0c;使用步骤&#xff08;调用步骤&#xff09;-CSDN博客基本语法&#xff1a; def 函数名称([参数1, 参数2, ...]):函数体...[return 返回值] 函数的调用 Python中&#xff0c;函数和变量一…

storage和正则表达式

一、Storage 1.认识Storage WebStorage主要提供了一种机制&#xff0c;可以让浏览器提供一种比cookie更直观的key、value存储方式&#xff1a; localStorage&#xff1a;本地存储&#xff0c;提供的是一种永久性的存储方法&#xff0c;在关闭掉网页重新打开时&#xff0c;存…

侧面多级菜单(一个大类、一个小类、小类下多个物体)

效果&#xff1a; 说明&#xff1a; 左右侧面板使用Animator组件控制滑入滑出。左侧面板中&#xff0c;左的左里面是大类&#xff0c;左的右有绿色的小类&#xff0c;绿色的小类下有多个真正的UI图片按钮。 要点&#xff1a; 结合了一点EasyGridBuilderPro插件的UI元素&…

2023 PostgreSQL 数据库生态大会:解读拓数派大数据计算系统及其云存储底座

11月3日-5日&#xff0c;由中国开源软件推进联盟 PostgreSQL 分会主办的中国 PostgreSQL 数据库生态大会在北京中科院软件所隆重举行。大会以”极速进化融合新生”为主题&#xff0c;从线下会场和线上直播两种方式展开&#xff0c;邀请了数十位院士、教授、高管和社群专家&…

浏览器缓存sessionStorage、localStorage、Cookie

一、sessionStorage 1、简介 sessionStorage用于在浏览器会话期间存储数据&#xff0c;数据仅在当前会话期间有效。 存储的数据在用户关闭浏览器标签页或窗口后会被清除。 2、方法 使用sessionStorage.setItem(key, value)方法将数据存储在sessionStorage中。使用sessionSt…