五. TensorRT API的基本使用-TensorRT-network-structure

目录

    • 前言
    • 0. 简述
    • 1. 案例运行
    • 2. 代码分析
      • 2.1 main.cpp
      • 2.2 model.cpp
    • 总结
    • 下载链接
    • 参考

前言

自动驾驶之心推出的 《CUDA与TensorRT部署实战课程》，链接。记录下个人学习笔记，仅供自己参考

本次课程我们来学习课程第五章—TensorRT API 的基本使用，一起来学习打印网络模型结构

课程大纲可以看下面的思维导图

在这里插入图片描述

0. 简述

本小节目标：学习如何打印优化前后网络模型结构

今天我们来讲第五章节第四小节—5.4-print-structure 这个案例，来看下经过 TensorRT 优化前后网络的结构有什么样的变化

下面我们开始本次课程的学习🤗

1. 案例运行

在正式开始课程之前，博主先带大家跑通 5.4-print-structure 这个小节的案例🤗

源代码获取地址：https://github.com/kalfazed/tensorrt_starter.git

首先大家需要把 tensorrt_starter 这个项目给 clone 下来，指令如下：

git clone https://github.com/kalfazed/tensorrt_starter.git

也可手动点击下载，点击右上角的 Code 按键，将代码下载下来。至此整个项目就已经准备好了。也可以点击 here 下载博主准备好的源代码（注意代码下载于 2024/7/14 日，若有改动请参考最新）

整个项目后续需要使用的软件主要有 CUDA、cuDNN、TensorRT、OpenCV，大家可以参考 Ubuntu20.04软件安装大全 进行相应软件的安装，博主这里不再赘述

假设你的项目、环境准备完成，下面我们来一起运行 5.4 小节案例代码

开始之前我们需要创建几个文件夹，在 tensorrt_starter/chapter5-tensorrt-api-basics/5.4-print-structure 小节中创建一个 models 文件夹，接着在 models 文件夹下创建 onnx 和 engine 文件夹，总共三个文件夹需要创建

创建完后 5.4 小节整个目录结构如下：

在这里插入图片描述

接着我们需要执行 python 文件创建一个 ONNX 模型，先进入到 5.4 小节中：

cd tensorrt_starter/chapter5-tensorrt-api-basics/5.4-print-structure

执行如下指令：

python src/python/generate_onnx.py

Note：大家需要准备一个虚拟环境，安装好 torch、onnx、onnxsim 等第三方库

输出如下：

在这里插入图片描述

生成好的 onnx 模型文件保存在 models/onnx 文件夹下，大家可以查看

接着我们需要利用 ONNX 生成对应的 engine，在此之前我们需要修改下整体的 Makefile.config，指定一些库的路径：

# tensorrt_starter/config/Makefile.config
# CUDA_VER                    :=  11
CUDA_VER                    :=  11.6# opencv和TensorRT的安装目录
OPENCV_INSTALL_DIR          :=  /usr/local/include/opencv4
# TENSORRT_INSTALL_DIR        :=  /mnt/packages/TensorRT-8.4.1.5
TENSORRT_INSTALL_DIR        :=  /home/jarvis/lean/TensorRT-8.6.1.6

Note：大家查看自己的 CUDA 是多少版本，修改为对应版本即可，另外 OpenCV 和 TensorRT 修改为你自己安装的路径即可

然后我们还要简单修改下源码，在 src/cpp/main.cpp 中默认打印的 ONNX 是 vgg16.onnx，我们修改为 sample.onnx，修改如下所示：

# src/cpp/main.cpp
int main(int argc, char const *argv[])
{Model model("models/onnx/sample.onnx");// Model model("models/onnx/resnet50.onnx");// Model model("models/onnx/vgg16.onnx");...
}

接着我们就可以来执行编译，指令如下：

make -j64

输出如下：

在这里插入图片描述

接着执行：

./trt-infer

输出如下：

在这里插入图片描述

我们这里读取一个模型，然后将模型优化前后信息都打印出来了，我们的模型是使用的上节课的 onnx，就是一个 Linear 层

Note：博主这里也准备了 resnet50 和 vgg16 的 ONNX 模型，大家可以点击 here 下载，然后运行代码看下 resnet50 和 vgg16 在 TensorRT 优化前后有什么区别

如果大家能够看到上述输出结果，那就说明本小节案例已经跑通，下面我们就来看看具体的代码实现

2. 代码分析

2.1 main.cpp

我们先从 main.cpp 看起：

#include <iostream>
#include <memory>#include "utils.hpp"
#include "model.hpp"using namespace std;int main(int argc, char const *argv[])
{Model model("models/onnx/sample.onnx");// Model model("models/onnx/resnet50.onnx");// Model model("models/onnx/vgg16.onnx");if(!model.build()){LOGE("fail in building model");return 0;}// if(!model.infer()){//     LOGE("fail in infering model");//     return 0;// }return 0;
}

与之前 build 的案例一样，这里只提供 build 的接口，然后在 build 函数中我们对模型的结构进行打印，除了 sample.onnx 外这边还有 resnet50.onnx 和 vgg16.onnx，大家可以都测试下

博主这边还测试了 resnet50.onnx 经过 tensorRT 优化前后的网络结构打印：

在这里插入图片描述

resnet50.onnx优化前

在这里插入图片描述

resnet50.onnx优化后

可以看到优化前有 126 层，都是 conv+relu，每一层的输入输出维度以及精度都有打印；优化后只有 79 层，可以看懂 tensorRT 做了很多层融合，比如 conv+relu 融合，conv+add+relu 融合等等

我们再看下 vgg16.onnx：

在这里插入图片描述

vgg16.onnx优化前

在这里插入图片描述

vgg16.onnx优化后

可以看到 vgg16 优化前有 49 个 layer，基本上就是 conv+relu+maxpool 的组合，优化后只有 25 层，tensorRT 做了一些层融合操作

2.2 model.cpp

相比于之前的 build 案例代码，它新增了如下代码：

bool Model::build(){...// 把优化前和优化后的各个层的信息打印出来LOG("Before TensorRT optimization");print_network(*network, false);LOG("");LOG("After TensorRT optimization");print_network(*network, true);return true;
};

那它通过调用 print_network 函数打印网络结构信息，其中该函数接受两个参数传递，一个是 network，一个是 bool 变量，用来指定打印优化前还是优化后的网络结构

我们重点来看下该函数的实现：

int inputCount = network.getNbInputs();
int outputCount = network.getNbOutputs();
string layer_info;for (int i = 0; i < inputCount; i++) {auto input = network.getInput(i);LOG("Input info: %s:%s", input->getName(), printTensorShape(input).c_str());
}for (int i = 0; i < outputCount; i++) {auto output = network.getOutput(i);LOG("Output info: %s:%s", output->getName(), printTensorShape(output).c_str());
}

首先我们通过 network 获取模型输入和输出的数量，接着对于每个 input 和 output，我们都把它的 name 和 shape 给打印出来。network 的 getInput 和 getOutput 方法返回的是一个 ITensor* 类型的变量，从 ITensor 中我们可以获取它的 dimension、name、type 等信息

其中的 printTensorShape 函数的内容如下：

string printTensorShape(nvinfer1::ITensor* tensor){string str;str += "[";auto dims = tensor->getDimensions();for (int j = 0; j < dims.nbDims; j++) {str += to_string(dims.d[j]);if (j != dims.nbDims - 1) {str += " x ";}}str += "]";return str;
}

通过 getDimensions 获取 ITensor 的维度信息，之后遍历 nbDims 将每个维度的信息给打印出来就行

OK，我们接着往下看：

int layerCount = optimized ? mEngine->getNbLayers() : network.getNbLayers();
LOG("network has %d layers", layerCount);

通过 optimized 变量我们选择不同的 API 接口获取 layer 总数量，如果 optimized 为 true 那么我们从 mEngine 中去拿 layer 总层数，如果 optimized 为 false，那么我们从 network 中去拿 layer 总层数，接着将网络总层数打印出来

其中的 IEngine 我们可以认为它是已经用 tensorR 优化好的模型，而 INetwork 我们可以认为它是还没有用 tensorRT 优化，刚刚通过 parser 给 parse 出来的模型

我们下面看优化前后模型结构如何打印：

if (!optimized) {for (int i = 0; i < layerCount; i++) {char layer_info[1000];auto layer   = network.getLayer(i);auto input   = layer->getInput(0);int n = 0;if (input == nullptr){continue;}auto output  = layer->getOutput(0);LOG("layer_info: %-40s:%-25s->%-25s[%s]", layer->getName(),printTensorShape(input).c_str(),printTensorShape(output).c_str(),getPrecision(layer->getPrecision()).c_str());}
}

如果打印没有被优化的模型结构，则先遍历 layerCount，然后通过 getLayer 方法拿到层信息，接着通过 layer 的 getInput 和 getOutput 方法拿到对应层的输入输出，接着把层的 name、input shape、output shape、precision 给打印出来

我们再来看优化后：

auto inspector = make_unique<nvinfer1::IEngineInspector>(mEngine->createEngineInspector());
for (int i = 0; i < layerCount; i++) {string info = inspector->getLayerInformation(i, nvinfer1::LayerInformationFormat::kONELINE);info = info.substr(0, info.size() - 1);LOG("layer_info: %s", info.c_str());
}

这里我们通过 createEngineInspector 创建了一个 inspector 来查看 engine 内部信息，接着通过 inspector 的 getLayerInformation 获取每一层的信息，它直接返回的就是一个字符串。它有两个参数，第一个参数代表获取的是第几个 layer，第二个参数代表想获取的 layer info 的格式，可以有 JSON、ONELINE 格式

OK，这就是 print network structure 的全部内容，内容不多，比较简单

总结

本次课程我们主要学习了如何打印 tensorRT 优化前后的网络结构，可以方便我们对比 tensorRT 都做了哪些优化，优化前我们主要是通过 INetwork 获取 layer 信息，优化后我们主要是 ICudaEngine 获取 layer 信息，此外一些类的定义包括 ITensor、ILayer、INetwork、ICudaEngine、IExecutionContext、IBuilder 等等大家可以看下官方文档理解其含义

OK，以上就是 5.4 小节案例的全部内容了，下节我们来学习 5.5 小节来利用 C++ API 手动搭建网络模型，敬请期待😄

下载链接

  • tensorrt_starter源码
  • 5.4-TensorRT-network-structure案例文件

参考

  • Ubuntu20.04软件安装大全
  • https://github.com/kalfazed/tensorrt_starter.git

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/49810.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Redisson分布式锁使用详解

Redisson分布式锁使用详解

引言 日常开发中&#xff0c;难免遇到一些并发的场景&#xff0c;为了保证接口执行的一致性&#xff0c;通常采用加锁的方式&#xff0c;因为服务是分布式部署模式&#xff0c;本地锁Reentrantlock和Synchnorized这些就先放到一边了&#xff0c;Redis的setnx锁存在无法抱保证原…
阅读更多...
QT开发（QT的基本概述和环境的安装）

QT开发（QT的基本概述和环境的安装）

QT的概述 一.QT的介绍背景1.1 什么是QT1.2QT的发展史1.3 Qt支持的平台1.4QT版本1.5QT的优点1.6QT的应用场景 二.搭建QT开发环境2.1 QT的开发工具的下载2.2 QT环境变量配置 三.QT的三种基类四.QT Hello World程序4.1使用按钮实现4.1.1 代码方式实现4.1.2 可视化操作实现 一.QT的…
阅读更多...
如何在vscode中对在服务器上多卡运行的bash脚本进行debug?

如何在vscode中对在服务器上多卡运行的bash脚本进行debug?

问题描述 使用vscode可以很方便地添加断点&#xff0c;进行代码调试。 在使用服务器时&#xff0c;我们的python代码通常是通过bash脚本来执行的&#xff0c;那么如何进行debug呢&#xff1f; 待运行的bash 脚本示例 前半段定义了一些参数&#xff0c;后半段是执行python代码…
阅读更多...
数据结构的概念和术语

数据结构的概念和术语

目录 一.前言 二.数据结构的基本概念 三.数据结构的术语 一.前言 数据结构是一门研究非数值计算的程序设计中计算机的操作对象以及它们之间的关系和操作的学科。数据结构的基本数据结构包括两部分&#xff0c;线性结构跟非线性结构。 二.数据结构的基本概念 数据结构主要包括…
阅读更多...
压测实操--kafka broker压测方案

压测实操--kafka broker压测方案

作者&#xff1a;九月 环境信息&#xff1a; 操作系统centos7.9&#xff0c;kafka版本为hdp集群中的2.0版本。 kafka broker参数 num.replica.fetchers&#xff1a;副本抓取的相应参数&#xff0c;如果发生ISR频繁进出的情况或follower无法追上leader的情况则适当增加该值&…
阅读更多...
CTF ssrf 基础入门

CTF ssrf 基础入门

0x01 引言 我发现我其实并不是很明白这个东西&#xff0c;有些微妙&#xff0c;而且记忆中也就记得Gopherus这个工具了&#xff0c;所以重新学习了一下&#xff0c;顺便记录一下吧 0x02 辨别 我们拿到一个题目&#xff0c;他的名字可能就是题目类型&#xff0c;但是也有可能…
阅读更多...
划分型dp，CF 1935C - Messenger in MAC

划分型dp，CF 1935C - Messenger in MAC

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 1935C - Messenger in MAC 二、解题报告 1、思路分析 比较简单的思路是反悔贪心&#xff0c;这里不展开说了&#xff0c;来说一下dp的做法 由于式子里面带绝对值&#xff0c;很烦&#xff0c;我们将pair按…
阅读更多...
Bootstrap实现dialog上一步下一步多个弹窗交互

Bootstrap实现dialog上一步下一步多个弹窗交互

Bootstrap实现dialog上一步下一步多个弹窗交互 版本介绍&#xff1a; Bootstrap v3.3.7jQuery v3.5.1 一、功能介绍 重新设置bootstrap主题色内容区以card形式展示&#xff0c;纯js实现分页功能共两步骤&#xff0c;第一步选择模板&#xff0c;第二步进行其他操作步骤一内的按…
阅读更多...
JAVA毕业设计153—基于Java+Springboot+小程序的校园维修管理系统小程序(源代码+数据库)

JAVA毕业设计153—基于Java+Springboot+小程序的校园维修管理系统小程序(源代码+数据库)

毕设所有选题&#xff1a; https://blog.csdn.net/2303_76227485/article/details/131104075 基于JavaSpringboot小程序的校园维修管理系统小程序(源代码数据库)153 一、系统介绍 本项目分为用户、维修员、管理员三种角色 1、用户&#xff1a; 注册、登录、报修申报、报修…
阅读更多...
师资培训丨AIGC 技术与大模型应用开发实战线下广州班莅临泰迪智能科技参观调研

师资培训丨AIGC 技术与大模型应用开发实战线下广州班莅临泰迪智能科技参观调研

7月23日&#xff0c;2024年第二期全国数字人才技能提升师资培训班——AIGC 技术与大模型应用开发实战线下广州班莅临广东泰迪智能科技股份有限公司产教融合实训基地参观调研&#xff0c;来自全国各地三十多名高校教师参与本次活动。泰迪智能科技董事长张良均、校企合作经理吴桂…
阅读更多...
【Gin】架构的精妙编织：Gin框架中组合模式的革新实践与技术深度解析(上)

【Gin】架构的精妙编织：Gin框架中组合模式的革新实践与技术深度解析(上)

【Gin】架构的精妙编织&#xff1a;Gin框架中组合模式的革新实践与技术深度解析(上) 大家好 我是寸铁&#x1f44a; 【Gin】架构的精妙编织&#xff1a;Gin框架中组合模式的革新实践与技术深度解析(上)✨ 喜欢的小伙伴可以点点关注 &#x1f49d; 前言 本次文章分为上下两部分…
阅读更多...
【区块链+绿色低碳】基于区块链的企业碳管理平台 | FISCO BCOS应用案例

【区块链+绿色低碳】基于区块链的企业碳管理平台 | FISCO BCOS应用案例

在当今全球气候变化和环境问题日益严重的背景下&#xff0c;碳减排已成为全球共同面临的重要任务。作为能源消耗大户&#xff0c; 现代企业必须认识到碳减排的重要性&#xff0c;并采取有效措施实现碳减排。通过完善碳资产管理&#xff0c;企业可以清晰地了解 自身的碳排放情况…
阅读更多...
矩估计与最大似然估计的通俗理解

矩估计与最大似然估计的通俗理解

点估计与区间估计 矩估计与最大似然估计都属于点估计&#xff0c;也就是估计出来的结果是一个具体的值。对比区间估计&#xff0c;通过样本得出的估计值是一个范围区间。例如估计一个人的年龄&#xff0c;点估计就是最终直接估计年龄为50岁&#xff0c;而区间估计是最终估计的…
阅读更多...
探索原型设计的未来——Axure RP引领设计革新

探索原型设计的未来——Axure RP引领设计革新

在快节奏、高效率的现代产品开发过程中&#xff0c;原型设计工具成为了连接创意与实现的桥梁。而提到原型设计&#xff0c;我们不得不提Axure RP —— 一款集高保真原型设计、丰富交互制作及团队协作于一体的工具&#xff0c;已成为众多设计师和产品经理的首选。 获取Axure RP…
阅读更多...
electron 网页TodoList应用打包win桌面软件数据持久化

electron 网页TodoList应用打包win桌面软件数据持久化

参考&#xff1a; electron 网页TodoList工具打包成win桌面应用exe https://blog.csdn.net/weixin_42357472/article/details/140648621 electron直接打包exe应用&#xff0c;打开网页上面添加的task在重启后为空&#xff0c;历史没有被保存&#xff0c;需要持久化工具保存之前…
阅读更多...
从数据时代到智能时代，星环科技信雅达联合发布金融全栈解决方案

从数据时代到智能时代，星环科技信雅达联合发布金融全栈解决方案

近年来&#xff0c;星环科技与信雅达在金融行业的多个关键领域展开了广泛而深入的合作&#xff0c;推出了一系列面向金融科技领域的联合解决方案。此次合作基于星环科技在大数据、人工智能和云计算领域的先进技术&#xff0c;以及信雅达在金融领域的深厚积累&#xff0c;围绕数…
阅读更多...
nms概念

nms概念

nms基本概念&#xff1a;非极大值抑制 用途&#xff1a;在做目标检测的时候&#xff0c;往往会生成很多很多候选框&#xff0c;在做目标检测的时候&#xff0c;往往会生成很多很多候选框。 处理流程&#xff1a; 1.对某一类按score对候选框进行排序&#xff0c;并选出score最…
阅读更多...
META 备受期待的 Llama 3 405B 即将发布

META 备受期待的 Llama 3 405B 即将发布

本心、输入输出、结果 文章目录 META 备受期待的 Llama 3 405B 即将发布前言Llama 3 405B或许会彻底改变专用模型的数据质量Llama 3 405B将形成新的模型生态系统：从基础模型到专家组合Llama 3 405B有最高效 API 的竞争Llama 3 405B 基准测试META 备受期待的 Llama 3 405B 即将…
阅读更多...
【Unity国产化信创平台】麒麟银河V10系统虚拟机创建

【Unity国产化信创平台】麒麟银河V10系统虚拟机创建

目录 一、麒麟V10系统镜像下载 二、虚拟机创建流程 三、麒麟银河系统安装流程 一、麒麟V10系统镜像下载 https://www.kylinos.cn/# 官方访问还是会有问题&#xff0c;如果有需要麒麟银河Kylin系统V10的镜像文件&#xff0c;可以留下邮箱或者私信博主获取。 二、虚拟机创…
阅读更多...
SpringBoot3 JDK21 Vue3开源后台RBAC管理系统 | 2024年好用的开源RBAC管理系统 | 数据权限的探索

SpringBoot3 JDK21 Vue3开源后台RBAC管理系统 | 2024年好用的开源RBAC管理系统 | 数据权限的探索

序言 项目现已全面开源&#xff0c;商业用途完全免费&#xff01; 当前版本&#xff1a;v0.7.2。 如果喜欢这个项目或支持作者&#xff0c;欢迎Star、Fork、Watch 一键三连 &#x1f680;&#xff01;&#xff01; 在构建此代码框架的过程中&#xff0c;我已投入了大量精力&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023