trt | torch2trt的使用方式

一、安装

1. 安装 tensorrt python 接口
  • 下载 trt 包 .tar.gz
https://developer.nvidia.com/nvidia-tensorrt-5x-download
  • 解压
tar xvf TensorRT-6.0.1.5.Ubuntu-18.04.x86_64-gnu.cuda-10.1.cudnn7.6.tar.gz
  • 安装 trt python 接口
cd pythonpip install tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl
  • 安装 uff
cd uffpip install uff-0.6.5-py2.py3-none-any.whl
  • 验证trt是否安装成功
pythonimport tensorrt
2. 安装 torch2trt
sudo apt-get install libprotobuf* protobuf-compiler ninja-buildgit clone https://github.com/NVIDIA-AI-IOT/torch2trtcd torch2trtsudo python setup.py install --plugins

二、代码演示

model = BNNproAtt()
model.load_state_dict(torch.load('/src/2_toeng/pytorch_2_eng/reid2trt/BNNproAtt0525.pt', map_location = 'cpu')
model.eval().float().cuda()input_data = torch.rand((4, 3, 384, 128), dtype = torch.float).cuda()t0 = time.time()
out = model(input_data)
t1 = time.time()
print("pytorch costed time: ", t1 - t0)# convert to TensorRT model
model_trt = torch2trt(model, [input_data], max_batch_size = 4, int8_mode = True)t2 = time.time()
out_trt = model_trt(input_data)
t3 = time.time()
print("trt costed time: ", t3 - t2)# check the output against pytorch
print(torch.max(torch.abs(out - out_trt)torch.save(model_trt.state_dict(), '/src/2_toeng/pytroch_2_eng/reid2trt/bnn_trt_int8.pt'

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/768234.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springboot结合mongodb使用(一)

配置连接 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-mongodb</artifactId><version>${spring.boot.version}</version></dependency>#mongodb 这里是没有设置密码sprin…

406. 根据身高重建队列(力扣LeetCode)

文章目录 406. 根据身高重建队列题目描述贪心算法代码 406. 根据身高重建队列 题目描述 假设有打乱顺序的一群人站成一个队列&#xff0c;数组 people 表示队列中一些人的属性&#xff08;不一定按顺序&#xff09;。每个 people[i] [hi, ki] 表示第 i 个人的身高为 hi &…

阿里云倚天云服务器怎么样?如何收费?

阿里云倚天云服务器CPU采用倚天710处理器&#xff0c;租用倚天服务器c8y、g8y和r8y可以享受优惠价格&#xff0c;阿里云服务器网aliyunfuwuqi.com整理倚天云服务器详细介绍、倚天710处理器性能测评、CIPU架构优势、倚天服务器使用场景及生态支持&#xff1a; 阿里云倚天云服务…

2024.3.22FunPlus客户端开发工程师笔试记录

仅做笔试记录之用。 FunPlus客户端开发工程师笔试分为以下题型&#xff1a; 15道单选、5道多选、5道填空、2道编程 相比起上次考多益的时候&#xff0c;确实是感觉轻松多了。可能是选择题难度比起上次更简单的原因。这次的考题出的相对更加全面&#xff0c;但是同时显现出的就…

macOS访问samba文件夹的正确姿势,在哪里更改“macOS的连接身份“?还真不好找!

环境&#xff1a;路由器上需要身份认证的Mini NAS macOS Sonoma 14 这是一个非常简单的问题&#xff0c;但解决方法却藏得比较深&#xff0c;不够直观&#xff0c;GPT也没有给出明确的解决提示&#xff0c;特意记录一下。 macOS很多地方都很自动&#xff0c;有时候让人找不到设…

基于单片机的语音识别智能窗帘控制器的设计

摘要 系统以单片机STC89C52 芯片作为主控模块,可以对窗帘实现光照度检测、语音识别、 按键手动等智能控制功能。光照度模块采集室外光照度数据上传至单片机,单片机发送控制指令 驱动步进电动机驱动模块,控制步进电动机转动实现窗帘的自动开合,LCD 显示屏显示实时的温 度和时…

3.20日哈啰面试纪要

1.介绍自己&#xff0c;巴拉巴拉 2.面试官谈到了redis 问&#xff1a;redis在项目中你们主要用来干什么的&#xff1f; 答&#xff1a;分布式锁、存储图标信息 问&#xff1a;你们hash类型主要用来做什么&#xff1f; 答&#xff1a;主要用来存储token 问&#xff1a;token不应…

高中信息技术教资刷题笔记_大题篇

1.选择排序 2. SMTP属于TCP/IP协议体系结构中的哪一层&#xff1f;请列出其通信的三个阶段。 3.高中信息技术课程的基本理念/意义 4.视频作品制作和发布的主要环节 5.信息社会责任内涵及学生表现 6.教学活动意图 ①突出学生的主体地位。材料中&#xff0c;王老师设计的“扮演谍…

mac安装openresty

官方地址&#xff1a;https://openresty.org/cn/download.html brew update brew install pcre openssl下载源码 https://openresty.org/download/openresty-1.25.3.1.tar.gz解压源码 tar -zxvf openresty-1.25.3.1.tar.gz进入解压后的目录 ./configure --prefix/opt/openr…

johnson最短路模板(未完成,自用)

johnson最短路 https://www.starrycoding.com/problem/100 关键就在于&#xff0c;解决dijkstra不能处理负权值的问题&#xff0c;先用spfa或者bellman-ford得到所有点到虚点的最短距离&#xff0c;可以称之为势能。然后通过势能对所有边进行处理&#xff0c;处理过后保证了所…

代码随想录算法训练营Day56 ||leetCode 583. 两个字符串的删除操作 || 72. 编辑距离

647. 回文子串 dp[i][j]表示第i位开始&#xff0c;第j位结束的字符串是否为回文串 class Solution { public:int countSubstrings(string s) {vector<vector<bool>> dp(s.size(), vector<bool>(s.size(), false));int result 0;for (int i s.size() - 1…

WSL2 (Ubuntu 22.04.3 LTS)安装docker

文章目录 前言一、安装二、总结 前言 在wsl2(Ubuntu 22.04.3 LTS)中安装docker。 一、安装 安装过程主要参考了&#xff1a;ubuntu安装docker下面主要安装命令&#xff0c;执行完便可完成docker的安装。 检查卸载老版本docker $ apt-get remove docker docker-engine docker…

大数据分布式计算引擎用虚拟CPU的核心原因?

两个核心原因&#xff1a; 第一&#xff1a;为了屏蔽不同服务器之间的CPU算力差异。 第二&#xff1a;为了增加集群可提交的任务数量以及提高单个CPU的使用效率。 当我们做大数据开发用分布式计算引擎提交任务时&#xff0c;一般都会给每个提交的任务分配对应的内存和CPU资源。…

深入理解与使用go之函数与方法--使用

深入理解与使用go之函数与方法–理解与使用 文章目录 引子函数与方法分类函数函数入参普通参数可变参数默认值返回命名不带命名带命名讨论init 函数defer 函数方法值接收指针接收构造函数引子 在 Go 语言中,函数被视为一等公民(First-Class Citizens),这意味着函数可以像其…

分类预测 | Matlab实现CNN-LSTM-Mutilhead-Attention卷积神经网络-长短期记忆网络融合多头注意力机制多特征分类预测

分类预测 | Matlab实现CNN-LSTM-Mutilhead-Attention卷积神经网络-长短期记忆网络融合多头注意力机制多特征分类预测 目录 分类预测 | Matlab实现CNN-LSTM-Mutilhead-Attention卷积神经网络-长短期记忆网络融合多头注意力机制多特征分类预测分类效果基本介绍模型描述程序设计参…

c#矩阵求逆

目录 一、矩阵求逆的数学方法 1、伴随矩阵法 2、初等变换法 3、分块矩阵法 4、定义法 二、矩阵求逆C#代码 1、伴随矩阵法求指定3*3阶数矩阵的逆矩阵 &#xff08;1&#xff09;伴随矩阵数学方法 &#xff08;2&#xff09;代码 &#xff08;3&#xff09;计算 2、对…

【微服务】详解弹性设计中各个模式的应用场景

目录 故障和微服务架构如何构建具有弹性的服务?隔舱模式何时使用此模式断路器模式何时使用此模式不适用断路器的情况速率限制器模式何时使用此模式重试模式何时使用此模式超时模式使用该模式的优势推荐超级课程: Docke

PyAV源码安装及基本使用

PyAV源码编译 PyAV是对 ffmpeg 库的 Python 绑定&#xff0c;本篇介绍PyAV的源码安装及基本使用。 文章目录 PyAV源码编译编译流程源码目录结构编译中遇到的问题 PyAV的使用nvidia 硬件编解码Python C debug 方式 编译流程 PyAV的源码地址为&#xff1a;https://github.com/…

政安晨:【深度学习实践】【使用 TensorFlow 和 Keras 为结构化数据构建和训练神经网络】(五)—— Dropout和批归一化

政安晨的个人主页&#xff1a;政安晨 欢迎 &#x1f44d;点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras实战演绎 希望政安晨的博客能够对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff01; Dropout和批归一化是深度学习领域中常用的正则化技术…

stm32之GPIO寄存器

文章目录 1 背景2 GPIO寄存器的类型2.1 端口配置寄存器2.2 设置/清除寄存器和位清除寄存器 3 总结 1 背景 C51单片机在进行数据的输入输出时&#xff0c;是直接操作与外部引脚关联的内部寄存器&#xff0c;例如&#xff0c;当设置P2_1为0时&#xff0c;就是将外部引脚的P21引脚…