Nvidia TensorRT系列01-基本介绍

Nvidia TensorRT系列01-基本介绍

鉴于Nvidia的在深度学习上已经非常完善,即使有其他的芯片或者是框架,基本思路也都是要借鉴Nvidia的开发的,好比虽然特斯拉网上很多骂声,但是大多数国内的车企还是在发布会上狠狠对比,又好比手机发布会狠狠对比Apple,好的东西总是值得大家去借鉴的,对于小公司而言,使用其他公司的生态框架硬件成本看起来很低,但是由于生态和社区一般,实际上运维起来的成本又很高。所以,希望通过更新这个系列来帮助自己对Nvidia的TensorRT进行一些基础的学习。其中大部分文字借鉴了英文原始的开发文档,也是主要方便对于英文阅读文档有困难的小伙伴能有一些小小的帮助。

NVIDIA TensorRT开发者指南展示了如何使用C++和Python API来实现最常见的深度学习层。它向您展示了如何获取使用深度学习框架构建的现有模型,并使用提供的解析器构建TensorRT引擎。开发者指南还为常见用户任务提供了分步说明,例如创建TensorRT网络定义、调用TensorRT构建器、序列化和反序列化,以及如何使用C++或Python API向引擎提供数据并执行推理;

For previously released TensorRT documentation, refer to the TensorRT Archives.

安装指南: NVIDIA TensorRT Installation Guide

快速开始指南: NVIDIA TensorRT Quick Start Guide

案例: NVIDIA TensorRT Sample Support Guide

NVIDIA® TensorRT™是一个软件开发工具包(SDK),有助于实现高性能的机器学习推理。它旨在与TensorFlow、PyTorch和MXNet等训练框架相辅相成。它特别关注如何在NVIDIA硬件上快速且高效地运行已经训练好的网络。

对于英伟达的安培架构或者是更高的架构而言。多实例GPU(MIG)是NVIDIA具有NVIDIA Ampere架构或更新架构的GPU的一项功能,它允许用户将单个GPU定向划分为多个较小的GPU。物理分区提供专用的计算和内存切片,具有服务质量保证,并可在GPU的部分上独立执行并行工作负载。对于GPU利用率较低的TensorRT应用程序,MIG可以在对延迟影响较小或没有影响的情况下产生更高的吞吐量。最佳分区方案是特定于应用程序的。

互补软件

NVIDIA Triton™推理服务器是一个更高级别的库,可在CPU和GPU上提供优化的推理功能。它提供了启动和管理多个模型的功能,以及用于提供推理的REST和gRPC端点。

NVIDIA DALI®为预处理图像、音频和视频数据提供了高性能原语。TensorRT推理可以作为DALI管道中的自定义操作符进行集成。可以在此处找到TensorRT推理作为DALI一部分的工作示例。

TensorFlow-TensorRT (TF-TRT) 是将TensorRT直接集成到TensorFlow中的解决方案。它选择TensorFlow图中的子图以通过TensorRT进行加速,而将图的其余部分留给TensorFlow本地执行。结果仍然是一个TensorFlow图,您可以像往常一样执行它。有关TF-TRT的示例,请参阅TensorFlow中的TensorRT示例。

Torch-TensorRT (Torch-TRT) 是一个PyTorch-TensorRT编译器,可将PyTorch模块转换为TensorRT引擎。在内部,首先根据所选的中间表示(IR)将PyTorch模块转换为TorchScript/FX模块。编译器选择PyTorch图的子图以通过TensorRT进行加速,而图的其余部分则由Torch本地执行。结果仍然是一个可以像往常一样执行的PyTorch模块。有关示例,请参阅Torch-TRT示例。

TensorFlow量化工具包提供了用于以降低的精度训练和部署基于Tensorflow 2的Keras模型的实用工具。此工具包专门用于基于操作符名称、类和模式匹配来量化图中的不同层。然后可以将量化后的图转换为ONNX,然后转换为TensorRT引擎。有关示例,请参阅模型库。

PyTorch量化工具包提供了用于以降低的精度训练PyTorch模型的设施,然后可以将其导出以在TensorRT中进行优化。

此外,PyTorch Automatic Sparsity (ASP) 工具提供了用于训练具有结构化稀疏性的模型的设施,然后可以将其导出,并允许TensorRT在NVIDIA Ampere架构GPU上使用更快的稀疏策略。

TensorRT与NVIDIA的分析工具NVIDIA Nsight™ Systems和NVIDIA深度学习分析器(DLProf)集成在一起。

TensorRT的一个受限子集已获准用于NVIDIA DRIVE®产品。某些API仅标记为在NVIDIA DRIVE中使用,不支持一般使用。

ONNX

模型之间的统一语言–ONNX。

TensorRT从框架中导入训练模型的主要方式是通过ONNX交换格式。TensorRT附带了一个ONNX解析器库,以协助导入模型。在可能的情况下,解析器向后兼容至opset 9;ONNX模型Opset版本转换器可以帮助解决不兼容问题。

GitHub上的版本可能比与TensorRT一起提供的版本支持更新的opset。有关支持的opset和操作符的最新信息,请参阅ONNX-TensorRT操作符支持矩阵。对于TensorRT部署,我们建议导出到最新的可用ONNX opset。

TensorRT的ONNX操作符支持列表可以在here.找到。

PyTorch原生支持ONNX导出 ONNX export. 。对于TensorFlow,推荐的方法是使用tf2onnx。

将模型导出到ONNX后,第一步最好是使用Polygraphy运行常量折叠。这通常可以解决ONNX解析器中的TensorRT转换问题,并简化工作流程。有关详细信息,请参阅此示例 this example.。在某些情况下,可能需要进一步修改ONNX模型,例如,用插件替换子图或用其他操作重新实现不支持的操作。为了简化此过程,您可以使用ONNX-GraphSurgeon ONNX-GraphSurgeon.。

版本控制

TensorRT的版本号(MAJOR.MINOR.PATCH)遵循语义版本控制2.0.0标准,适用于其公共API和库ABI。版本号变化如下:

  • 当进行不兼容的API或ABI更改时,MAJOR(主)版本号会变化。
  • 当以向后兼容的方式添加功能时,MINOR(次)版本号会变化。
  • 当进行向后兼容的错误修复时,PATCH(补丁)版本号会变化。

请注意,语义版本控制并不适用于序列化对象。为了重复使用计划文件和计时缓存,主版本、次版本、补丁版本和构建版本(build versions)的版本号必须匹配(NVIDIA DRIVE OS 6.0开发者指南中详细说明了安全运行时的某些例外)。校准缓存通常可以在主版本内重复使用,但兼容性无法保证。

弃用策略

弃用政策用于通知开发者,某些API和工具已不建议使用。从8.0版本开始,TensorRT采用以下弃用政策:

弃用通知将在NVIDIA TensorRT发行说明中公布。

使用C++ API时:

  • API函数将标记为TRT_DEPRECATED_API宏。
  • 枚举将标记为TRT_DEPRECATED_ENUM宏。
  • 所有其他位置将标记为TRT_DEPRECATED宏。
  • 类、函数和对象将有一条声明,记录它们何时被弃用。

使用Python API时,如果使用了已弃用的方法和类,将在运行时发出弃用警告。

TensorRT在弃用后提供12个月的迁移期。

  • 在迁移期间,API和工具将继续工作。
  • 迁移期结束后,将按照语义版本控制的方式删除API和工具。

对于TensorRT 7.x中专门弃用的任何API和工具,12个月的迁移期从TensorRT 8.0 GA发布日期开始计算。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/27603.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LDR6020显示器应用:革新连接体验,引领未来显示技术

一、引言 随着科技的飞速发展,显示器作为信息展示的重要载体,其性能和应用场景不断得到拓展。特别是在办公、娱乐以及物联网等领域,用户对显示器的需求越来越多样化。在这一背景下,LDR6020显示器的出现,以其卓越的性能…

opencv_GUI

图像入门 import numpy as np import cv2 as cv # 用灰度模式加载图像 img cv.imread(C:/Users/HP/Downloads/basketball.png, 0)# 即使图像路径错误,它也不会抛出任何错误,但是打印 img会给你Nonecv.imshow(image, img) cv.waitKey(5000) # 一个键盘绑…

算法刷题笔记 单链表(C++实现)

文章目录 题目描述基本思路实现代码 题目描述 实现一个单链表,链表初始为空,支持三种操作: 向链表头插入一个数;删除第 k个插入的数后面的一个数;在第 k个插入的数后插入一个数。 现在要对该链表进行M次操作&#x…

AutoCAD 2025 ObjectARX(C++)二次开发环境搭建

(原文:https://blog.iyatt.com/?p16480) 基本环境 AutoCAD 机械版 2025 Visual Studio 2022(需要安装“C 桌面开发”) 开发环境 下载 (1)ObjectARX SDK 下载(提供开发使用的 …

【计算机网络仿真实验-实验2.4、2.5】静态路由、动态路由(RIP)

实验2.4 静态路由 1. 实验拓扑图 注意:有些同学不知道两个路由器之间如何用串行DCE(红线)相接,只需要为路由器分别增加新的HWIC-2T接口卡就好了 不知道如何添加物理接口的,可以查看本人计算机网络专栏中【计算机网络仿真实验——实验准备】…

命令模式:灯开灯关

文章目录 UML类图Command接口Invoker.javaLight.javaOnLightCommand.javaTest.java运行结果位置 UML类图 Command接口 这个你会,只有一个方法,并且接口里面是抽象方法 package mlms; /*- 这个你会,只有一个方法,并且接口里面是抽…

Rust 实战丨绘制曼德博集

曼德博集 曼德博集其实是一个“没什么用”的发现。 曼德博集(Mandelbrot Set)是一种在复平面上形成独特且复杂图案的点的集合。这个集合是以数学家本华曼德博(Benoit Mandelbrot)的名字命名的,他在研究复杂结构和混沌…

SAP HANA版本Fiori激活简介

SAP Fiori 是一个设计系统,使您能够创建具有消费者级别用户体验的业务应用,通过在任何设备上运行,可以在Ipad或者是手机端都可以随时随地的使用SAP,现在越来越多的公司都在使用Fiori系统,公司高层可以更直观的在移动端设备中查看各种数据。 本文主要说明HANA版本怎么激活F…

认识一些分布函数-Gumbel分布

1. Gumbel分布 Gumbel分布(也称为古贝尔型)是一种常用的非对称极值分布( Extreme Value Distribution,EVD),用于建模极大值和极小值,也就是所谓的EVD Type I分布。例如,EVD Type I 被用来预测地震、洪水和其他自然灾害,以及在风险管理中建模操作风险和那些在一定年龄…

【C语言习题】30.使用指针打印数组内容

文章目录 作业标题作业内容2.解题思路3.具体代码 作业标题 使用指针打印数组内容 作业内容 写一个函数打印arr数组的内容,不使用数组下标,使用指针。 arr是一个整形一维数组。 2.解题思路 先定义一个数组,使用指针打印数组内容那就是说我们…

重生奇迹mu魔剑士简介

出生地:勇者大陆 性 别:男 擅 长:近距离作战、武器特技&攻击魔法使用 转 职:剑圣(3转) 介 绍:当玩家账号中有一个220级以上的角色时,便可以创建职业为魔剑士的新角色&#x…

Web前端开发素材:探索、选择与应用的艺术

Web前端开发素材:探索、选择与应用的艺术 在Web前端开发的广袤领域中,素材的选择与应用无疑是一项至关重要的技能。它们如同构建网页的砖石,既承载着设计的美感,又影响着用户体验的深度。本文将从四个方面、五个方面、六个方面和…

基于51单片机心率计设计

1 绪论1.1 国内外心率计脉搏仪系统研究现状 心率(Heart Rate)是用来描述心跳周期的专业术语,是指心脏每分钟跳动的次数, 它不仅是反映心脏功能强弱的重要标志,也是反映人体运动强度的生理指标。自公元三世纪我国最早的脉学专著《脉经》问世以来,脉学理论得到不断的发展和提…

Vulnhub-DC-8

靶机IP:192.168.20.143 kaliIP:192.168.20.128 网络有问题的可以看下搭建Vulnhub靶机网络问题(获取不到IP) 信息收集 用nmap和wappalyzer收集下信息 发现是Drupal 7网站 dirsearch扫下目录 ┌──(root㉿kali)-[/home/kali/Desktop] └─# dirsearch -u http://192.168.20…

代码随想录——组合总和(Leetcode LCR81)

题目链接 回溯 class Solution {List<List<Integer>> res new ArrayList<List<Integer>>();List<Integer> list new ArrayList<Integer>();public List<List<Integer>> combinationSum(int[] candidates, int target) {b…

springboot宠物医院信息管理系统-计算机毕业设计源码04164

摘 要 现如今在中国&#xff0c;随着人民生活质量的逐渐提高&#xff0c;以及人民群众消费能力的日渐增长&#xff0c;各种各样的家养小动物&#xff0c;已经逐渐成为人类越来越亲密的生活伴侣。并且&#xff0c;现如今社会竞争及其激烈&#xff0c;人们的生活节奏越发急促、紧…

NoSQL数据层解决方案 之 redis springboot整合与读写操作 2024详解以及window版redis5.0.14下载百度网盘

redis下载安装以及基本使用 下载地址 链接&#xff1a;百度网盘 请输入提取码 提取码&#xff1a;0410 一个名对应一个数值 内存级 在内存里进行操作 准备启动 我们现在就有一个redis客户端的服务器了 我们再启动一个cmd 操作redis数据库 redis里面的基本数据类型有五种 …

强化RAG:微调Embedding还是LLM?

为什么我们需要微调&#xff1f; 微调有利于提高模型的效率和有效性。它可以减少训练时间和成本&#xff0c;因为它不需要从头开始。此外&#xff0c;微调可以通过利用预训练模型的功能和知识来提高性能和准确性。它还提供对原本无法访问的任务和领域的访问&#xff0c;因为它…

在 Swift 中,UILabel添加点击事件的方法

在 Swift 中,可以使用 UITapGestureRecognizer 给 UILabel 添加点击事件。以下是一个详细的步骤和示例代码: 1. 创建 UILabel 并添加到视图 在 Storyboard 或代码中创建一个 UILabel 并将其添加到视图中。 2. 启用 UILabel 的用户交互 默认情况下,UILabel 的 isUserInte…

Django中drf动态过滤查询

Django中drf动态过滤查询 1、page.py 代码: from rest_framework.pagination import PageNumberPaginationclass UserPagination(PageNumberPagination):"""用户分页器"""page_size = 10 # 默认的页面数据数量page_query_param = page # 定…