【TensorRT】官方文档onnx序列化教程与推理教程

官方文档onnx序列化教程与推理教程

  • 一、构建TensorRT序列化模型
  • 二、搭建阶段(三步走)
    • 2.1 创建网络
    • 2.2 使用ONNX解析器导入模型
    • 2.3 构建推理引擎
  • 三、反序列化模型
  • 四、执行推理

一、构建TensorRT序列化模型

本博客主要说明的是TensorRT C++ API,从我们获取到onnx模型开始的流程。C++ API可以通过引用头文NvInfer.h来进行访问(使用其命名空间nvinfer1),代码示例:

#include "NvInfer.h"using namespace nvinfer1;

需要说明的是,TensorRT C++的接口类都以I为前缀开头,例如ILoggerIBuilder,等等。如果在此之前不存在,则TensorRT第一次调用CUDA时会自动创建CUDA上下文。在第一次调用TensorRT之前,最好自己创建和配置CUDA上下文。

并且由于需要展示各对象的存在周期,实例代码中没有使用智能指针,但是建议在实际使用中加上智能指针来配合TensorRT接口。

二、搭建阶段(三步走)

要创建构建器,首先必须实例化ILogger接口。这个例子捕获所有警告消息,但忽略信息性消息:

inline const char* severity_string(nvinfer1::ILogger::Severity t) {switch (t) {case nvinfer1::ILogger::Severity::kINTERNAL_ERROR: return "internal_error";case nvinfer1::ILogger::Severity::kERROR:   return "error";case nvinfer1::ILogger::Severity::kWARNING: return "warning";case nvinfer1::ILogger::Severity::kINFO:    return "info";case nvinfer1::ILogger::Severity::kVERBOSE: return "verbose";default: return "unknow";}
}class My_Logger : public nvinfer1::ILogger           
{
public:virtual void log(Severity severity, const char* msg) noexcept override{// suppress info-level messages// 捕获所有警告类消息并输出if (severity <= Severity::kWARNING)// 打印带颜色的字符,格式如下:// printf("\033[47;33m打印的文本\033[0m");// 其中 \033[ 是起始标记//      47    是背景颜色//      ;     分隔符//      33    文字颜色//      m     开始标记结束//      \033[0m 是终止标记// 其中背景颜色或者文字颜色可不写// 部分颜色代码 https://blog.csdn.net/ericbar/article/details/79652086printf("\033[31m%s: %s\033[0m\n", severity_string(severity), msg);}
} my_logger;

然后你可以使用刚刚实例化的一个my_logger作为参数来实例化一个builder

IBuilder* builder = createInferBuilder(my_logger); 

2.1 创建网络

创建构建器之后,优化模型的第一步是创建网络定义:

uint32_t flag = 1U << static_cast<uint32_t>(NetworkDefinitionCreationFlag::kEXPLICIT_BATCH); INetworkDefinition* network = builder->createNetworkV2(flag);

为了使用ONNX解析器导入模型,需要使用kEXPLICIT_BATCH标志。有关更多信息,请参阅显式批处理与隐式批处理部分。

2.2 使用ONNX解析器导入模型

现在,我们可以通过ONNX模型来填充网络定义,ONNX解析器API位于文件nvonnxparser.h中,解析器位于nvonnxparser c++命名空间中:

#include “NvOnnxParser.h”using namespace nvonnxparser;

我们可以通过创建一个ONNX解析器来填充网络定义:

IParser* parser = createParser(*network, my_logger);

然后,我们可以读取ONNX模型路径,并处理各类问题:

//your onnx model's path
const char* ONNX_MODEL = ";
//virtual bool parseFromFile(const char* onnxModelFile, int verbosity);
bool parser_status = parser->parseFromFile(ONNX_MODEL, static_cast<int32_t>(ILogger::Severity::kWARNING));
for (int32_t i = 0; i < parser.getNbErrors(); ++i)
{
std::cout << parser->getError(i)->desc() << std::endl;
}

需要注意的是,TensorRT网络定义的一个重要方面是它包含指向模型权重的指针,这些指针由构建器复制到优化的引擎中。由于网络是使用解析器创建的,所以解析器拥有权重占用的内存,因此在构建器运行之前,不可以删除解析器对象。


2.3 构建推理引擎

下一步则是创建一个构建配置,来告诉TensorRT该如何优化模型:

IBuilderConfig* config = builder->createBuilderConfig();

这个接口有很多属性,你可以设置这些属性来控制TensorRT如何优化网络。一个重要的属性是最大工作空间大小。层实现通常需要一个临时工作区,这个参数限制了网络中任何层可以使用的最大大小。如果提供的工作空间不足,TensorRT可能无法找到一个层的实现。默认情况下,工作区被设置为给定设备的总全局内存大小;必要时限制它,例如,当要在单个设备上构建多个引擎时:

config->setMemoryPoolLimit(MemoryPoolType::kWORKSPACE, 1U << 20);

一旦指定了配置,就可以构建引擎:

IHostMemory* serializedModel = builder->buildSerializedNetwork(*network, *config);

由于序列化的引擎包含必要的权重副本。解析器,网络定义,构建器配置和构建器不再是必需的,可以安全地删除:

delete parser;
delete network;
delete config;
delete builder;

然后可以将引擎保存到磁盘,并且可以删除序列化引擎的缓冲区:

delete serializedmodel;

注意:序列化引擎不能跨平台或跨TensorRT版本移植。引擎是特定于它们所构建的确切GPU模型的(除了平台和TensorRT版本)。(PS:在TensorRT8.6版本开始之后,可以通过在导出模型时添加一句代码,来实现导出模型对不同GPU平台的适配,前提是基于Ampere架构的GPU,可以参考我之前的博客关于8.6版本开始的硬件兼容性的一些试错)

由于构建引擎的目的是作为一个离线过程,它可能会花费大量时间。有关如何使构建器运行得更快,请参阅优化构建器性能部分。

三、反序列化模型

假设我们之前已经序列化了一个优化的模型,现在希望执行推理,那么我们必须创建runtime接口的实例,与构建器一样,运行时也需要一个日志记录器的实例:

IRuntime* runtime = createInferRuntime(my_logger);

当我们已经把模型读入缓冲区后,我们可以将模型反序列化来得到一个engine

ICudaEngine* engine = runtime->deserializeCudaEngine(modelData, modelSize);

四、执行推理

引擎保存优化的模型,但是为了执行推理,我们必须为中间激活管理额外的状态,这是通过ExecutionContext的接口来实现的:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/654324.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mybatis的动态标签,在实际开发中公共的字段怎么写sql

MyBatis的动态SQL是一种强大的机制&#xff0c;可以根据不同的条件生成不同的SQL语句&#xff0c;其中的动态标签包括<if>, <choose>, <when>, <otherwise>, <trim>, <where>, <set>, <foreach>等&#xff0c;使得在实际开发中…

NPDP证书:让你的职业生涯飞升!

&#x1f31f;没错&#xff01;NPDP证书正在成为产品经理们的“新宠”&#xff01;越来越多的同行们纷纷选择考取NPDP证书&#xff0c;为什么这么火爆&#xff1f;一起来探究下吧&#xff01; &#x1f680;NPDP认证&#xff1a;产品经理的国际通行证 &#x1f4cd;NPDP&#x…

Codeforces Round 921 (Div. 2) C. Did We Get Everything Covered? (思维题)

题目链接 思路: div.2的A题是本题的铺垫, A题的意思是将前k个字母循环出现m次即可, 则将前k个字母看成一个循环节。 本题则是在长为m的字符串中找循环节&#xff0c;注意循环节的意思是前k个字母出现至少一次&#xff0c; 则可知当找到一个循环节的时候&#xff0c;这个循环节…

快速掌握PHP:用这个网站,让学习变得简单有趣!

介绍&#xff1a;PHP是一种广泛使用的开源服务器端脚本语言&#xff0c;特别适合Web开发。 PHP&#xff0c;全称为Hypertext Preprocessor&#xff0c;即超文本预处理器&#xff0c;是一种嵌入在HTML中的服务器端脚本语言。它主要用于管理动态内容和数据库交互&#xff0c;使得…

【GAMES101】Lecture 09 纹理贴图 点查询与范围查询 Mipmap

目录 纹理贴图 纹理放大-双线性插值 点采样纹理所带来的问题 Mipmap 各向异性过滤 纹理贴图 我们在之前的着色里面说过如何给物体上纹理&#xff0c;就是对于已经光栅化的屏幕点&#xff0c;就是每个像素的中心&#xff0c;去寻找对应纹理的映射位置的纹理颜色&#xff0…

Redis系列-数据结构篇

数据结构 string&#xff08;字符串&#xff09; redis的字符串是动态字符串&#xff0c;类似于ArrayList&#xff0c;采用预分配冗余空间的方式减少内存的频繁分配。 struct SDS<T>{ T capacity; T len; byte flags; byte[] content; } 当字符串比较短时&#xff0c…

【Apache POI】百万级数据导出Excel,并含有折线等图表

需求概要 最近接到一个需求&#xff0c;概要来讲就是实现百万级数据导出Excel&#xff0c;并根据其中的数据项自动生成折线图等图表。经技术调研&#xff0c;针对内存、性能等要素&#xff0c;Apache POI此技术可完成此需求。 Apache POI是Apache软件基金会的开放源码函式库&am…

MySQL 覆盖索引

目录 一、什么是索引 二、索引的有哪些种类&#xff1f; 三、InnoDB的不同的索引组织结构是怎样的呢&#xff1f; 四、什么是覆盖索引 五、如何使用是覆盖索引&#xff1f; 六、如何确定数据库成功使用了覆盖索引呢 总结&#xff1a; 一、什么是索引 索引&#xff08;在 …

Redis高级特性

文章目录 1.4.1 Redis的缓存过期淘汰策略1.4.1.1 Redis内存满了怎么办1.4.1.2 过期策略1.4.1.3 缓存淘汰策略1.4.1.3.1 Redis 中LRU设计1.4.1.3.2 Redis 中LFU设计 1.4.2 持久化机制1.4.2.1 持久化流程1.4.2.2 RDB1.4.2.3 AOF1.4.2.3.1 AOF运行原理1.4.2.3.2 AOF文件重写原理 1…

Vue自定义指令校验按钮权限

目标 在类似运营平台的项目中&#xff0c;经常会有一些操作按钮需要校验当前登录的用户是否有权限访问。然而在每一个按钮上都加 v-if 判断非常的繁琐和冗余&#xff0c;为此可以通过自定义指令的方式来处理按钮权限 实现方案 在main.js全局添加自定义指令 // 权限列表&…

PowerBI商业智能分析引入,带你了解什么是商务智能

一、商务智能工具 什么是Power BI &#xff1f;Power Bl是微软开发的一个软件&#xff0c;它是从获取数据、数据清洗、数据图表搭建、数据分析、共享发布为一体的软件&#xff0c;无论你的数据是简单的Excel电子表格&#xff0c;还是复杂庞大的数据库&#xff0c;Power Bl都可…

智慧文旅:提升旅游体验与推动经济发展的新动力

一、智慧文旅的定义与意义 智慧文旅&#xff0c;即智慧文化旅游&#xff0c;是一种以当地特色文化元素为核心驱动&#xff0c;利用现代科技手段实现旅游景区全面智慧升级的旅游模式。其意义在于为游客提供高效便捷的旅游信息化服务&#xff0c;提升旅游体验&#xff0c;同时推…

使用 OpenAI 自定义 API 提高电商平台的推荐精度

使用 OpenAI 自定义 API 提高电商平台的推荐精度 一、引言 随着人工智能技术的不断发展&#xff0c;推荐系统在电商领域的应用越来越广泛。电商平台通过推荐系统向用户提供个性化的商品推荐&#xff0c;从而提高用户满意度和转化率。OpenAI 提供了自定义 API&#xff0c;使得…

用vue写表格实现数量的加减

可以使用Vue的v-model和计算属性来实现表格中数量的加减功能。 首先&#xff0c;在Vue实例中定义一个数组items&#xff0c;数组中包含多个对象&#xff0c;每个对象代表表格中的一行数据&#xff0c;包含一个quantity属性来表示数量。例如&#xff1a; new Vue({el: #app,da…

Go语言基础之单元测试

1.go test工具 Go语言中的测试依赖go test命令。编写测试代码和编写普通的Go代码过程是类似的&#xff0c;并不需要学习新的语法、规则或工具。 go test命令是一个按照一定约定和组织的测试代码的驱动程序。在包目录内&#xff0c;所有以_test.go为后缀名的源代码文件都是go …

【Linux】Linux权限的概念 -- 详解

一、Linux 中的用户 Linux 下有两种用户&#xff1a; 超级用户&#xff08;root&#xff09;&#xff1a;可以在 Linux 系统下做任何事情&#xff0c;不受限制。普通用户&#xff1a;在 Linux 下做有限的事情。 超级用户的命令提示符是 “#”&#xff0c;普通用户的命令提示符…

解读BEVFormer,新一代自动驾驶视觉工作的基石

文章出处 BEVFormer这篇文章很有划时代的意义&#xff0c;改变了许多视觉领域工作的pipeline[2203.17270] BEVFormer: Learning Birds-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers (arxiv.org)https://arxiv.org/abs/2203.17270 BEV …

ESP8266 控制之 : 使用 RingBuffer USART1 和 USART3互传

简介 使用Buffer来避免数据的丢失, 或许你自己在使用串口进行收发时会丢失数据, 现在我们就来简单使用一下RingBuffer创建Rx、Tx的Buffer来避免发送接收丢包或数据丢失问题。 扩展知识 RingBuffer的介绍, 看完大概也就知道了&#xff0c;实在不知道就看看下面的代码 线路连接…

实习记录——第五天

今天我的心情不是很美丽&#xff0c;昨天晚上没怎么睡好&#xff0c;因为我一直在想离不离开实验室&#xff1f;该怎么说的事情&#xff1f;但是又觉得这个项目还没有完全结束&#xff0c;冒昧提这个事情是不是不好&#xff1f;最终也没得出一个结论&#xff0c;晚上睡得也不踏…

Redis++源码学习1

为了更好使用Redis库&#xff0c;分析了源码&#xff0c;了解了命令的发送过程及连接池管理细节等。草草做了笔记留存。 创建ConnectionOptions 创建ConnectionPoolOptions 创建redis(ConnectionOptions, ConnectionPoolOptions) 执行redis.auth() 调用Redis::command 模板函…