yolov5-6.2 在 rk3399pro 上的移植

文章目录

    • 一、搭建yolov5环境
    • 二、导出onnx模型
    • 三、安装 rknn-toolkit
    • 四、通过netron 查看 yolov5s.onnx 输出节点
    • 五、创建 onnx2rknn.py 文件
    • 六、通过toolkit将onnx转换为rknn模型
    • 七、在rk3399pro开发板上运行rknn模型

一、搭建yolov5环境

从yolov5官方仓库 ultralytics/yolov5/releases 中下载 yolov5-6.2 代码。
解压后,修改 requirements.txt :
1、将第12行 torch>=1.7.0 改为 torch==1.9.0
因为只有 pytorch 1.8.0 或 1.9.0 版本才能正常导出模型
2、删除第28、29行 onnx>=1.9.0 前的 # 号,否则无法导出onnx模型;
执行

pip install -r requirement.txt

验证环境是否搭建成功

python detect.py

二、导出onnx模型

1、进入 yolov5-6.2/models ,将 yolo.py 文件中 class Detect 中的 forward 函数,修改如下

def forward(self, x):z = []  # inference outputfor i in range(self.nl):x[i] = self.m[i](x[i])  # convreturn x[0],x[1],x[2]

在这里插入图片描述
2、进入 yolov5-6.2 主目录,执行以下命令导出onnx模型

python export.py --weights yolov5s.pt --img 640 --batch 1 --opset 12 --include onnx

执行成功后,将在 yolov5s.pt 同目录生成 yolov5s.onnx 文件

三、安装 rknn-toolkit

1、下载docker版本的toolkit
从 rockchip-linux/rknn-toolkit 下载 docker版本的toolkit,提取码:rknn
在这里插入图片描述
这里下载的是 1.7.3 版本
在这里插入图片描述
2、在安装有docker的linux服务器上导入上述toolkit

docker load --input rknn-toolkit-1.7.3-docker.tar.gz

导入完成后执行 docker images,将看到 toolkit-1.7.3 镜像
在这里插入图片描述
执行以下命令,进入docker

docker run -t -i --privileged -v $PWD:/test rknn-toolkit:1.7.3 /bin/bash

其中 -v $PWD:/test 是指把当前目录映射到docker容器的/test目录内,这样当要和docker容器内部进行文件传输时,只需把需要传输的文件放到当前目录,就能在 docker 容器内的 /test 目录看到,反之亦然。
执行成功后,将自动进入docker容器内
在这里插入图片描述
可以看到已经有一个 test 目录,test 目录的内容就是服务器当前目录的内容。

四、通过netron 查看 yolov5s.onnx 输出节点

先安装后 netron,然后netron打开上述第二步导出的 yolov5s.onnx 模型,点击左上角图标,即可看到输出节点信息
在这里插入图片描述
可以看到这里的输出节点分别是: output、327、328,记住这几个输出节点,下一步导出rknn时将用到

五、创建 onnx2rknn.py 文件

在该文件中指定onnx_model路径,platform,以及 rknn.load_onnx 时一定要指定上一步查看的输出节点信息

from rknn.api import RKNN
ONNX_MODEL = 'yolov5s.onnx'
platform = "rk3399pro"
RKNN_MODEL = 'yolov5s_{}_out_opt.rknn'.format(platform)
if __name__ == '__main__':add_perm = False # 如果设置成True,则将模型输入layout修改成NHWC# Create RKNN objectrknn = RKNN(verbose=True)# pre-process configprint('--> config model')rknn.config(batch_size=1, mean_values=[[0, 0, 0]], std_values=[[255, 255, 255]], reorder_channel='0 1 2', target_platform=[platform], force_builtin_perm=add_perm, output_optimize=1)print('done')# Load tensorflow modelprint('--> Loading model')ret = rknn.load_onnx(model=ONNX_MODEL,outputs=['output', '327', '328'])# 这里一定要根据onnx模型输出节点进行修改if ret != 0:print('Load onnx model failed!')exit(ret)print('done')# Build modelprint('--> Building model')ret = rknn.build(do_quantization=True, dataset='./dataset.txt')if ret != 0:print('Build rkmodel failed!')exit(ret)print('done')# rknn.export_rknn_precompile_model(RKNN_MODEL)rknn.export_rknn(RKNN_MODEL)rknn.release()

六、通过toolkit将onnx转换为rknn模型

1、将上述第二步导出的 yolov5s.onnx 模型以及 第五步创建的 onnx2rknn.py 放到服务器当前目录,即映射到docker容器内/test目录的目录;
2、进入docker容器内,执行

cp /test/yolov5s.onnx /examples/onnx/yolov5/
cp /test/onnx2rknn.py /examples/onnx/yolov5/
cd /examples/onnx/yolov5/
python onnx2rknn.py
cp yolov5s_rk3399pro_out_opt.rknn /test

执行完成后将生成相应的 yolov5s_rk3399pro_out_opt.rknn 模型
在这里插入图片描述

七、在rk3399pro开发板上运行rknn模型

1、下载 airockchip/RK3399Pro_npu,将其放到 rk3399pro 开发板上;
2、如有必要,根据说明更新NPU驱动,只需要替换相应的boot.img 即可;
3、进入 RK3399Pro_npu-main/rknn-api/examples/c_demos/rknn_yolov5_demo 目录,执行以下命令

cd RK3399Pro_npu-main/rknn-api/examples/c_demos/rknn_yolov5_demo
mkdir build
cd build
cmake -DCMAKE_C_COMPILER=/usr/bin/gcc -DCMAKE_CXX_COMPILER=/usr/bin/g++ ..
make -j4

执行成功后,将在build目录生成可执行程序 rknn_yolov5_demo
4、将上述第六步导出的yolov5s_rk3399pro_out_opt.rknn模型上传到rk3399pro的
RK3399Pro_npu-main/rknn-api/examples/c_demos/rknn_yolov5_demo/model 目录
5、在RK3399Pro_npu-main/rknn-api/examples/c_demos/rknn_yolov5_demo创建以下运行脚本 run_demo.sh

export LD_LIBRARY_PATH=./lib/
./build/rknn_yolov5_demo  model/yolov5s_rk3399pro_out_opt.rknn  model/bus.bmp

6、执行脚本

./run_demo.sh

正常将输出预测信息
在这里插入图片描述
可视化结果如图所示
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/52405.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[论文笔记] LLM大模型剪枝篇——2、剪枝总体方案

https://github.com/sramshetty/ShortGPT/tree/main My剪枝方案(暂定): 剪枝目标:1.5B —> 100~600M 剪枝方法: 层粒度剪枝 1、基于BI分数选择P%的冗余层,P=60~80 2、对前N%冗余层,直接删除full layer。N=20(N:剪枝崩溃临界点,LLaMA2在45%,Mistral-7B在35%,Qw…

【DS18B20 简单开发】

DS18B20 是一种数字温度传感器,由 Maxim Integrated 生产。它提供了一个非常简单的方式来将温度测量集成到微控制器系统中。以下是关于 DS18B20 的一些关键特性: 单总线协议:DS18B20 使用单总线(1-Wire)数字通信协议&…

HTML添加文字

一、创建HTML5文档基本标签 <!DOCTYPE html> //定义文档类型 <html> //定义HTML文档<head> //定义关于文档的信息<title>文档标题</title> //定义文档的标题<meta charset"utf-8" /> //定义文档的字符编码</head&…

远程连接Hiveserver2服务

目录 1.修改 core-site.xml 和 hive-site.xml 的配置文件 2.启动HiveServer2服务 3.启动Beeline工具连接Hiveserver2服务 4.利用IDEA工具连接Hiveserver2服务 完成Hive本地模式安装后&#xff0c;可以启动hiveserver2服务进行远程连接和操作Hive。 1.修改 core-site.xml …

rancher upgrade 【rancher 升级】

文章目录 1. 背景2. 下载3. 安装4. 检查5. 测试5.1 创建项目5.2 创建应用5.3 删除集群5.4 注册集群 1. 背景 rancher v2.8.2 升级 v2.9.1 2. 下载 下载charts helm repo add rancher-latest https://releases.rancher.com/server-charts/latest helm repo update helm fetc…

常见概念 -- 光回波损耗

什么是回波损耗 回波损耗&#xff0c;又称为反射损耗&#xff0c;当高速信号进入或退出光纤的某个部分&#xff08;例如光纤连接器&#xff09;&#xff0c;不连续和阻抗不匹配会引起反射&#xff0c;这就是光纤回波损耗。器件的回波损耗Return Loss(RL)是光信号的输入端口的反…

C++ | Leetcode C++题解之第395题至少有K个重复字符的最长子串

题目&#xff1a; 题解&#xff1a; class Solution { public:int longestSubstring(string s, int k) {int ret 0;int n s.length();for (int t 1; t < 26; t) {int l 0, r 0;vector<int> cnt(26, 0);int tot 0;int less 0;while (r < n) {cnt[s[r] - a];…

MATLAB下载详细教程及下载链接

欢迎大家进评论区交流经验 1. 准备工作 下载MATLAB安装包&#xff1a;首先&#xff0c;从MathWorks官方网站&#xff08;http://www.mathworks.com&#xff09;下载适合您操作系统的MATLAB安装包。确保选择与您的操作系统&#xff08;如Windows、macOS或Linux&#xff09;兼容的…

西门子PLC与HMI之间的时间同步工控小周

HMI 时间同步功能工控人加入PLC工业自动化精英社群 HMI 设备具有时间同步功能&#xff0c;利用 HMI 设备的该功能&#xff0c;可实现 PLC 和 HMI 之间的时间同步&#xff0c;进而实现多个 PLC 之间的时间同步。 HMI 设备时间同步的属性&#xff1a; 1.HMI 设备既可作为主站对…

Reflection 70B——HyperWrite推出的大型语言模型

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

Vue Echarts报错Initialize failed: invalid dom解决方法

此问题是图表初始化时 找不到dom&#xff0c;以下是解决方法 1、不要用created&#xff08;用mounted&#xff09;&#xff0c;created这时候还只是创建了实例&#xff0c;但模板还没挂载完成&#xff1b; created&#xff1a; 在模板渲染成 html 前调用&#xff0c;通常初始…

通信工程学习:什么是ASK振幅键控、FSK频移键控、PSK相移键控

ASK振幅键控、FSK频移键控、PSK相移键控 ASK&#xff08;振幅键控&#xff09;、FSK&#xff08;频移键控&#xff09;和PSK&#xff08;相移键控&#xff09;是三种常见的数字调制技术&#xff0c;它们各自通过不同的方式改变载波的某个参数来传输数字信息。以下是对这三种调制…

大模型实战一、Ollama+RagFlow 部署本地知识库

大模型实战一、OllamaRagFlow 部署本地知识库 参考你提供的文章&#xff0c;这里是基于 Windows 系统通过 Docker 安装部署 RagFlow 和 Ollama 的本地化大模型知识库的详细教程。本文将指导你如何在 Windows 上使用 Docker 来设置 RagFlow 和 Ollama 环境&#xff0c;并安装通…

Metal知识集锦

最近一段时间一直在弄metal相关的工作&#xff0c;整理了一下自己在调研metal时搜集到资料。感兴趣的朋友可以看看。网址如下&#xff1a; Metal入门教程总结 SwiftUI&#xff0c;Metal&#xff0c;Model I/O&#xff0c;画圆&#xff0c;画一个红色的圆 Metal by Tutorials…

数据结构---哈西表、算法

一、哈希表 哈希算法&#xff1a; 在记录的存储位置和它的关键字之间建立一种去特定的对应关系&#xff0c;使得每个关键字key对应一个存储位置&#xff1b; 查找时&#xff0c;根据确定的对应关系&#xff0c;找到给定的key的映射。 记录的存储位置 f&…

使用 C# WinForm 制作简单的串口调试助手

使用 C# WinForm 制作简单的串口调试助手 很久之前就已经发现了C# WinForm开源的控件界面库Sunny.UI&#xff0c;于是想着做一个Demo来用上Sunny.UI界面库。于是就想着做一个串口调试助手的Demo。 下面我就创建一个工程,并且加载Sunny.UI控件库&#xff0c;我这个项目还加载了…

使用stripe进行在线支付、退款、订阅、取消订阅功能(uniapp+h5)

stripe官网:Stripe 登录 | 登录 Stripe 管理平台 然后在首页当中打开测试模式,使用测试的公钥跟私钥进行开发 测试卡号 4242 4242 4242 4242 1234 567 在线支付 stripe的在线支付有两种,第一种就是无代码,第二中就是使用api进行自定义,一般来说推荐第二种进行开发 无…

哈希表 和 算法

1.哈希表的作用&#xff1a;将我们要存储的数据&#xff0c;通过关键字与位置的关系函数&#xff0c;来确定具体的位置。 2.写哈希表时常出现的问题&#xff1a;哈希冲突/矛盾&#xff1a;当多个数据满足哈希函数的映射时出现 解决的方法为&#xff1a; 1&#xff09;开放地址…

[C#学习笔记]LINQ

视频地址&#xff1a;LINQ入门示例及新手常犯的错误_哔哩哔哩_bilibili 强烈推荐学习C#和WPF的朋友关注此UP&#xff0c;知识点巨多&#xff0c;讲解透彻&#xff01; 一、基本概念 语言集成查询(Language-Intergrated Query) 常见用途 .Net原生集合(List&#xff0c;Arra…

SEO 分类策略权威指南

如果你在 SEO 领域工作了一段时间&#xff0c;你可能熟悉网站分类法的概念。这是指网站内容的组织方式以及用户找到他们正在寻找的内容的难易程度。 例如&#xff0c;考虑一个专门从事服装的电子商务网站。结构良好的分类可能包括主要类别&#xff0c;例如男装、女装和配饰&am…