[深度学习]使用python转换pt并部署yolov10的tensorrt模型封装成类几句完成目标检测加速任务

【简单介绍】

使用Python将YOLOv10模型从PyTorch格式(.pt)转换为TensorRT格式,并通过封装成类来实现目标检测加速任务,是一个高效且实用的流程。以下是该过程的简要介绍:

  1. 模型转换
    • 利用官方提供导出命令,将训练好的YOLOv10模型(.pt格式)转换为tensorrt模型。
    • 利用NVIDIA的TensorRT框架,将ONNX模型转换为TensorRT引擎,以优化在NVIDIA GPU上的运行速度。

  1. TensorRT模型封装
    • 创建一个Python类,该类负责加载TensorRT引擎、处理输入数据、执行推理以及解析输出结果。
    • 封装类中包含模型加载、预处理、后处理以及推理执行等关键步骤,提供简洁的API供用户调用。
  2. 目标检测加速
    • TensorRT通过算子融合、量化、内核自动调整等技术,显著减少数据流通次数和显存使用,最大化并行操作,从而加速目标检测任务。
    • YOLOv10模型本身的轻量级设计和高效性能,在TensorRT的加持下,能够实现更快的推理速度和更高的检测精度。

通过上述流程,我们可以将YOLOv10模型高效地部署到NVIDIA GPU上,实现快速且准确的目标检测任务。

【实现流程】

1、首先安装好anaconda环境然后开始安装yolov10环境

conda create -n yolov10 python=3.9
conda activate yolov10
pip install -r requirements.txt
pip install -e .

2、下载好tensorrt8.6.1.6版本安装包进行安装,并将tensorrt安装到yolov10环境中

3、导出模型

yolo export model=jameslahm/yolov10{n/s/m/b/l/x} format=engine half=True simplify opset=13 workspace=16
# or
trtexec --onnx=yolov10n/s/m/b/l/x.onnx --saveEngine=yolov10n/s/m/b/l/x.engine --fp16
# Predict with TensorRT
yolo predict model=yolov10n/s/m/b/l/x.engine

您也可以直接使用我封装的转换接口:

    #pt转tensorrtdetector = Yolov10Detector(weights='weights/yolov10n.pt')detector.pt_to_engine()

 转换注意:由于tensorrt依赖于硬件,也就是不同电脑可能无法使用同一个tensorrt模型,因此需要在自己电脑本地首先转换pytorch模型为tensorrt模型,而不是直接拿别人转换好的tensorrt模型,否则可能会出现检测不到目标或者无法加载模型情况。

【封装调用】

推理图片:

    #推理图片detector = Yolov10Detector(weights='weights/yolov10n.engine')frame = cv2.imread('E:\person.jpg')result_list = detector.inference_image(frame)result_img = detector.draw_image(result_list, frame)cv2.imshow('frame', result_img)cv2.waitKey(0)

推理视频:

    #推理视频detector = Yolov10Detector(weights='weights/yolov10n.engine')detector.start_video(r'D:\car.mp4')

推理摄像头:

    #推理视频detector = Yolov10Detector(weights='weights/yolov10n.engine')detector.start_camera()

【效果展示】

【视频演示】

使用python转换pt并部署yolov10的tensorrt模型_哔哩哔哩_bilibili测试环境:torch==2.0.1tensorrt==8.6.1.6cuda==11.7.1cudnn==8.8.0更多信息请访问博文:, 视频播放量 5、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者 未来自主研究中心, 作者简介 未来自主研究中心,相关视频:ChatTTS增强版V2,批量导出srt,语速控制,情感控制,支持朗读数字,问题修复,使用纯opencv部署yolov8目标检测模型onnx,yolov8 TensorRT C++ C#部署,yolox+deepsort+pyqt5实现目标追踪结果演示,C#使用纯OpenCvSharp部署yolov8-pose姿态识别,使用C++部署yolov8的onnx和bytetrack实现目标追踪,[目标检测][数据集]张贴小广告数据集VOC-1725张介绍,基于yolov6+botsort+pyqt5实现的目标追踪视频演示,基于gradio开发的通用目标检测UI设计,yolox+bytetrack+pyqt5实现目标追踪结果演示icon-default.png?t=N7T8https://www.bilibili.com/video/BV1Fy41187aC/?vd_source=989ae2b903ea1b5acebbe2c4c4a635ee

【测试环境】

torch==2.0.1 tensorrt==8.6.1.6 cuda==11.7.1 cudnn==8.8.0

【源码下载】 https://download.csdn.net/download/FL1623863129/89426162

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/26562.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浅谈网络通信(2)

文章目录 一、TCP1.1、TCP提供的api —— ServerSocket 、Socket1.2、使用TCP协议编写回显服务器1.3、长/短连接 二、应用层协议、传输层协议详解2.1、应用层(后端开发必知必会)2.1.1、自定义应用层协议2.1.2、通用的协议格式2.1.2.1、XML2.1.2.2、json2.1.2.3、protobuffer 2.…

Protected and unprotected Meilisearch projects(/health)

Elasticsearch 做为老牌搜索引擎,功能基本满足,但复杂,重量级,适合大数据量。 MeiliSearch 设计目标针对数据在 500GB 左右的搜索需求,极快,单文件,超轻量。 所以,对于中小型项目来说…

02通讯录管理系统——创建项目

创建项目步骤如下: 1.创建新项目 2.添加文件 2.1创建项目 打开vs2019后,点击创建新项目,创建新的C项目 填写项目名称,选择路径 2.2添加文件 添加成功后,效果如图

Jira的原理及应用详解(六)

本系列文章简介: 在当今快速发展的软件开发和项目管理领域,有效的团队协作和精确的项目进度追踪是确保项目成功的关键。Jira作为一款广受欢迎的项目和问题追踪工具,以其强大的功能、灵活的定制性以及卓越的用户体验,赢得了全球众多…

【QT5】<知识点> QT串口编程

目录 前言 一、串口编程步骤 0. 添加串口模块 1. 自动搜索已连接的串口 2. 创建串口对象 3. 初始化串口 4. 打开串口 5. 关闭串口 6. 发送数据 7. 接收数据 二、简易串口助手 1. 实现效果 2. 程序源码 3. 实现效果二 前言 本篇记录QT串口编程相关内容&#xff0…

iText7画发票PDF——小tips

itext7教程: 1、https://blog.csdn.net/allway2/article/details/124295097 2、https://max.book118.com/html/2017/0720/123235195.shtm 3、https://www.cnblogs.com/fonks/p/15090635.html 4、https://www.cnblogs.com/sky-chen/p/13026203.html 5、官方&#xff…

React基础教程(06):Ref的应用

7、Ref的应用 7.1 给标签设置ref"username" 通过这个获取this.refs.username&#xff0c;ref可以获取到应用的真实dom <input style{{width:300}}ref{"text"}/> {/*非常推荐*/} <Button style{{backgroundColor:#2ba471, border:"none&qu…

探索 HNSW:分层导航小世界算法的深度解析

近年来&#xff0c;随着大规模数据和高维数据的广泛应用&#xff0c;高效的近似最近邻&#xff08;Approximate Nearest Neighbor, ANN&#xff09;搜索变得越来越重要。HNSW&#xff08;Hierarchical Navigable Small World&#xff09;算法因其出色的性能和高效的查询速度&am…

JAVAEE认证题库

1、&#xff08;2分&#xff09;下列哪个命令用于在Tomcat服务器上启动一个特定的Web应用程序&#xff1f; A、catalina.bat start B、catalina.bat deploy C、catalina.bat stop D、catalina.bat run 你的答案&#xff1a;D正确答案&#xff1a;A 2、&#xff08;2分&am…

毕业了!给学计算机朋友的 10 条血泪建议

大家好&#xff0c;我是程序员鱼皮。最近高考结束了&#xff0c;也有很多同学毕业了&#xff0c;首先祝福这些朋友在人生的新阶段一帆风顺。 刚参加完高考的朋友&#xff0c;面临的最大问题就是选专业&#xff0c;这段时间也有一些家长向我咨询&#xff1a;还能不能选计算机啦…

人脸匹配——OpenCV

人脸匹配 导入所需的库加载dlib的人脸识别模型和面部检测器读取图片并转换为灰度图比较两张人脸选择图片并显示结果比较图片创建GUI界面运行GUI主循环运行显示全部代码 导入所需的库 cv2&#xff1a;OpenCV库&#xff0c;用于图像处理。 dlib&#xff1a;一个机器学习库&#x…

爬山算法(Hill Climbing Algorithm)详细介绍

爬山算法&#xff08;Hill Climbing Algorithm&#xff09;详细介绍 1. 概述 爬山算法&#xff08;Hill Climbing Algorithm&#xff09;是一种基于启发式的搜索算法&#xff0c;广泛应用于人工智能、运筹学和优化问题。该算法以当前状态为起点&#xff0c;不断选择邻域中能够…

基于深度学习视觉算法的多模型文件融合检测系统设计与实现及优化(工人姿态检测+安全帽佩戴检测系统)

1&#xff0c;融合pose.pt(姿态检测)(安全帽佩戴检测)效果图 实时检测优化后FPS可达20 2,原理介绍 YOLOv5是目前应用广泛的目标检测算法之一&#xff0c;其主要结构分为两个部分&#xff1a;骨干网络和检测头。 输入&#xff08;Input&#xff09;: YOLOv5的输入是一张RGB图像…

定档6.20,创邻科技图数据库先锋版发布会来了!

6月20日 14:00 &#xff0c;创邻科技将重磅召开 2024 Galaxybase银河图数据库先锋版发布会&#xff0c;戳此预约&#xff01; 书于竹帛&#xff0c;镂于金石&#xff0c;琢于盘盂。历史长河中&#xff0c;数据通过不同形态承载着人类文明&#xff0c;人们在数千年中始终保持着…

微信小程序:实现音乐播放器的功能

在编写微信小程序时&#xff0c;也许会用到播放背景音乐的功能&#xff0c;那么如果是自动播放背景音乐&#xff0c;可以在加载页面时就运行播放音乐的函数&#xff0c;若是希望简单实现音乐播放器的功能&#xff0c;那么设计几个按钮&#xff0c;并且设计按钮点击的事件。 接…

使用Python和Matplotlib绘制复杂数学函数图像

本文介绍了如何使用Python编程语言和Matplotlib库来绘制复杂的数学函数图像。通过引入NumPy库的数学函数,我们可以处理包括指数函数在内的各种复杂表达式。本文详细讲解了如何设置中文字体以确保在图像中正确显示中文标题和标签,并提供了一个完整的代码示例,用户可以通过输入…

找不到xinput1_3.dll文件要怎么修复?有哪些有效修复xinput1_3.dll文件的方法

要解决xinput1_3.dll文件缺失的问题&#xff0c;首先我们需要对这个文件有所了解。理解了这个文件的性质和作用后&#xff0c;才能更科学、有效地解决因其丢失而导致的问题。那么接下来&#xff0c;让我们不浪费时间&#xff0c;直接深入研究如何修复xinput1_3.dll文件的最佳方…

震坤行亮相2024成都工博会,赋能产业新发

为期3天的成都工博会于2024年4月23日在成都国际会展中心完美落幕。震坤行再次紧跟西部智能制造产业发展步伐&#xff0c;亮相现场&#xff0c;实力“圈粉”&#xff0c;为西部地区的制造企业带来打造了一场工业互联网盛宴。 本届成都工博会成功举办&#xff0c;展会聚集了各个国…

在ubuntu中恢复误删除的文件

1、安装 TestDisk 在 Ubuntu 上&#xff0c;可以使用以下命令安装 TestDisk&#xff1a; sudo apt-get install testdisk2、查询你删除的文件所在那个分区 #查询分区 df -h #我这里是/dev/sda2 #也可以使用下面命令查看具体哪个分区 lsblk3、查询该分区是什么系统类型 sudo …

java:【@ComponentScan】和【@SpringBootApplication】扫包范围的冲突

# 代码结构如下&#xff1a; 注意【com.chz.myBean.branch】和【com.chz.myBean.main】这两个包是没有生重叠的。 主程序【MyBeanTest1、MyBeanTest2、MyBeanTest3】这两个类是在包【com.chz.myBean.main】下 # 示例代码 【pom.xml】 org.springframework.boot spring-boot-…