tensorrt轻松部署高性能dnn推理_NVIDIA TensorRT高性能深度学习推理

NVIDIA TensorRT高性能深度学习推理

NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK。此 SDK 包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高吞吐量。

dc5a7292ce0db5d9797ce0c309dc3d5e.png

在推理过程中,基于 TensorRT 的应用程序的执行速度可比 CPU 平台的速度快 40 倍。借助 TensorRT,您可以优化在所有主要框架中训练的神经网络模型,精确校正低精度,并最终将模型部署到超大规模数据中心、嵌入式或汽车产品平台中。

TensorRT 以 NVIDIA 的并行编程模型 CUDA 为基础构建而成,可帮助您利用 CUDA-X 中的库、开发工具和技术,针对人工智能、自主机器、高性能计算和图形优化所有深度学习框架中的推理。

TensorRT 针对多种深度学习推理应用的生产部署提供 INT8 和 FP16 优化,例如视频流式传输、语音识别、推荐和自然语言处理。推理精度降低后可显著减少应用延迟,这恰巧满足了许多实时服务、自动和嵌入式应用的要求。

可以从每个深度学习框架中将已训练模型导入到 TensorRT。应用优化后,TensorRT 选择平台特定的内核,在数据中心、Jetson 嵌入式平台以及 NVIDIA DRIVE 自动驾驶平台上更大限度提升 Tesla GPU 的性能。

借助 TensorRT,开发者可专注于创建新颖的 AI 支持应用,无需费力调节性能来部署推理工作。

TensorRT 优化与性能

ba7e1539fe59e4a8f9feef1ed0a750a7.png

fa8e497d70b09a6c30e6d18ba923af1b.png

与所有主要框架集成

NVIDIA 与深度学习框架开发者紧密合作,使用 TensorRT 在 AI 平台上实现优化的推理性能。如果您的训练模型采用 ONNX 格式或其他热门框架(例如 TensorFlow 和 MATLAB),您可以通过一些简单的方法将模型导入到 TensorRT 以进行推理。下面介绍了一些集成,其中包含了新手入门信息。

TensorRT 和 TensorFlow 已紧密集成,因此您可以同时尽享 TensorFlow 的灵活性和 TensorRT 的超强优化性能。

MATLAB 已通过 GPU 编码器实现与 TensorRT 的集成,这能协助工程师和科学家在使用 MATLAB 时为 Jetson、DRIVE 和 Tesla 平台自动生成高性能推理引擎。

TensorRT 提供了一个 ONNX 解析器,因此您可以轻松地从框架(例如 Caffe 2、Chainer、Microsoft Cognitive Toolkit、MxNet 和 PyTorch)中将 ONNX 模型导入到 TensorRT。

TensorRT 还与 ONNX Runtime 集成,助您以 ONNX 格式轻松实现机器学习模型的高性能推理。

如果您在专有或自定义框架中执行深度学习训练,请使用 TensorRT C++ API 来导入和加速模型。

c3bae1c06ab7e9e383c4dcd6693c2b75.png

“通过在 V100 上使用 Tensor 核心、新近优化的 CUDA 库以及 TF-TRT 后端,我们能将原本就很快的深度学习 (DL) 网络速度再提升 4 倍”

公布 TensorRT 7.1:新功能

TensorRT 7.1 针对 NVIDIA A100 GPU 进行了优化并加入了新优化,现可使用 INT8 精度加速 BERT 推理,实现高达 V100 GPU 六倍的性能。NVIDIA 开发者计划成员可于 2020 年夏季下载 TensorRT 7.1。

TensorRT 7.0(当前版本)包含:

  • 新编译器,可对语音和异常检测中的常用时间递归神经网络进行加速
  • 对 20 多种新 ONNX 操作的支持,这些操作可对 BERT、TacoTron 2 和 WaveRNN 等关键的语音模型进行加速
  • 对动态形状的扩展支持,可实现关键的会话式 AI 模型
  • 新版插件、解析器
  • BERT、Mask-RCNN、Faster-RCNN、NCF 和 OpenNMT 的新示例

其他资源

概览

  • NGC 中的 TensorRT 容器、模型和脚本
  • 运行 TensorRT 的“Hello World”(示例代码)
  • 将 ONNX 用作输入,运行 TensorRT 的“Hello World”(示例代码)
  • 使用自定义校准以 INT8 精度执行推理(示例代码)
  • TensorRT 简介(网络研讨会)
  • 使用 TensorRT 执行 8 位推理(网络研讨会)

52165f3cca0e3854e8bfde46b960330f.png

会话式 AI

  • 使用 TensorRT 通过 BERT 实现实时自然语言理解(博客)
  • 使用 TensorRT 进行自动语音识别 (Notebook)
  • 使用 TensorRT 对实时文字转语音进行加速(博客)
  • 使用 BERT 实现 NLU (Notebook) (Notebook)
  • 实时文字转语音(示例)
  • 基于序列到序列 (seq2seq) 模型的神经网络机器翻译 (NMT)(示例代码)
  • 逐层构建 RNN 网络(示例代码)

开始实操训练

NVIDIA 深度学习学院 (DLI) 为 AI 和加速计算领域的开发者、数据科学家和研究人员提供实操训练。立即参加关于使用 TensorRT 优化和部署 TensorFlow 模型以及“使用 TensorRT 部署智能视频分析”的自定进度选修课程,获取 TensorRT 实操经验。

适用范围

NVIDIA 开发者计划会员可访问 TensorRT 产品页面,免费使用 TensorRT 进行用于开发和部署。最新版本的插件、解析器和示例也以开源形式提供,可从 TensorRT GitHub 资源库获取。

开发者还可以通过 NGC 容器注册表中的 TensorRT 容器获得 TensorRT。

TensorRT 已纳入:

  • 用于在计算机视觉和智能视频分析 (IVA) 应用中进行实时流分析的 NVIDIA Deepstream SDK
  • 适用于 NVIDIA DRIVE PX2 自动驾驶平台的 NVIDIA DriveInstall
  • 适用于 Jetson TX1、TX2 嵌入式平台的 NVIDIA Jetpack

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/486222.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何在终端编译C++代码

C语言从编写-->执行整个过程。一般来讲,开发一个C程序需要经过以下几步1. 编写代码,2. 编译器进行编译,compile 生成.o的可执行的二进制目标文件3. 连接器进行连接。 链接代码文件,生成可执行.exe文件4. 执行。 电脑&#…

python画roc曲线需要什么数据,我如何根据这些数据绘制ROC曲线?

使用CNN训练的神经网络(CNN)进行以下精度测试:for root, dirs, files in os.walk(test_directory):for file in files:img cv2.imread(root / file)img cv2.resize(img,(512,512),interpolationcv2.INTER_AREA)img np.expand_dims(img, axis0)img img/255.0if…

Neuron最新研究:神经科学家测量球迷大脑对比赛的反应,试图挖掘人类的深层天性...

来源:brainnews2020年的1月27日早上,科比去世,父亲想办法安慰睡醒后的儿子;而在2020年11月26日早上,马拉多纳去世,儿子想办法安慰睡醒后的父亲。2020年,带走了全球无数球迷的青春。那么&#xf…

关于表情符号与UTF-8的探讨

4-23 现在无论原生还是网页端,表情符号绝大部分都可以正常显示,但是也有一部分是不能正常显示的。但存入到mysql的时候,不能够正常显示的表情符号,就会让mysql(utf-8)拜拜了。这个不仅仅是显示问题,很重要的一点是&…

约瑟夫环问题

编号为1,2,…,n的n个人按顺时针方向围坐在一张圆桌周围,每人持有一个密码(正整数)。一开始任选一个正整数m作为报数上限值,从第一个人开始按顺时针方向自1开 始报数,报到m时停止报数…

删除数据清理oracle表空间,oracle数据库删除无用表空间及数据文件过程

应用场景:html数据库服务器A下的一张数据库表重建过,而且数据已经迁移到新表空间下,现遗留了一些原有的表空间数据文件在服务器上,耗费资源,如图所示:linux 原数据库表对应的数据文件:sql迁移后…

mfc oninitdialog 中的hwnd == null_在SOUI中使用动态多语言切换

动态语言切换是很多国际化产品的需求,SOUI之前的版本支持静态多语言翻译,通过在程序启动时设置好语言翻译模块,在程序中打开的UI都会自动调用该翻译模块进行文字翻译,但是不支持运行进语言切换。最近几个网友都提到这个需求&#…

2020年中国面向人工智能“新基建”的知识图谱行业白皮书

全文共计1379字,预计阅读时间8分钟来源 | 艾瑞咨询(经授权转载)编辑 | 蒲蒲日前,认知智能国家重点实验室&艾瑞咨询联合发布《2020年面向人工智能“新基建”的知识图谱行业白皮书》。白皮书从善政、惠民、兴业、智融四个部分对…

JSP 简介(转载)

什么是Java Server Pages? JSP全称Java Server Pages&#xff0c;是一种动态网页开发技术。它使用JSP标签在HTML网页中插入Java代码。标签通常以<%开头以%>结束。 JSP是一种Java servlet&#xff0c;主要用于实现Java web应用程序的用户界面部分。网页开发者们通过结合H…

一元多项式的建立及加减

#include<stdio.h> #include<stdlib.h> typedef struct { int x; int y; struct *next; }node; void create1(node **phead,int i,int n) 一元多项式的建立 { int a,b; node *p1, *p2, *q; p2 *phead; p1 NULL; …

oracle中的in函数,Oracle中In函数的使用

SQL: "IN" FunctionThe IN function helps reduce the need to use multipleORconditions.译&#xff1a;IN函数有助于减少OR条件的复合使用。The syntax for the IN function is:译&#xff1a;IN函数的语法&#xff1a;SELECT columnsFROM tablesWHERE column1 in …

海尔对话 Unity:作为数字转型的高阶形态,数字孪生发展前景不可逆

来源&#xff1a;数字化企业作为信息化发展到一定程度的必然结果&#xff0c;数字孪生正成为人类解构、描述和认识真实世界和虚拟世界的新型工具。从发展态势来看&#xff0c;数字孪生不仅是全新信息技术发展的新焦点&#xff0c;也是各国实现数字化转型的新抓手&#xff0c;还…

js整体缩小网页_SEO网页优化的原则是什么?

SEO网页优化的原则是什么?SEO优化对于网页的排名是非常重要的&#xff0c;排名高低直接影响到流量和转化&#xff0c;那么怎么优化呢&#xff0c;SEO网页优化的原则是什么?下面小编来告诉你SEO网页优化的原则。1、不要抄袭。因为独特的内容是所有搜索引擎都喜欢的&#xff0c…

Python基本数据类型以及字符串

基本数据类型 数字 int &#xff0c;所有的功能&#xff0c;都放在int里 a1 123 a1 456 - int 将字符串转换为数字 a "123" print(type(a),…

计蒜客 跳跃游戏

给定一个非负整数数组&#xff0c;假定你的初始位置为数组第一个下标。 数组中的每个元素代表你在那个位置能够跳跃的最大长度。 请确认你是否能够跳跃到数组的最后一个下标。 例如&#xff1a;A [2,3,1,1,4]A[2,3,1,1,4] 能够跳跃到最后一个下标&#xff0c;输出true&#xf…

php 面相对象设计,PHP面向对象设计的规范

1.职责过程化的编码&#xff0c;控制代码的职责是判断文件格式&#xff0c;它判断两次不是一次。面向对象的编码&#xff0c;父类的职责是提供规范&#xff0c;判断格式也只有一次&#xff0c;并且不考虑细节。2.内聚内聚是一个模块内部各成分之间相关程度的度量。如果组件职责…

蒲慕明:今人眼中的大脑之美 | 书评

圣地亚哥拉蒙-卡哈尔&#xff08;Santiago Ramn y Cajal, 1852-1934&#xff09;来源&#xff1a; 知识分子撰文&#xff1a;蒲慕明现代神经科学起源于十九世纪末期&#xff1b;圣地亚哥拉蒙-卡哈尔&#xff08;Santiago Ramn y&#xff09;的神经解剖学研究和他提出的神经元理…

python成绩转换、百分制到五分制_设计一个程序,将从键盘上输入的百分制成绩转换成对应的五分制成绩并输出。90分以上为A,80~90分为B,...

展开全部编码思路&#xff1a;申明两个变量: 成绩cj为 浮点数float 且 取值范围为 [0,100] 闭区间内; pf为字62616964757a686964616fe58685e5aeb931333431353262符类型&#xff0c;接收最终分数评级的字母A,B,C,D,E中的一个。引导用户输入100分制的分数&#xff0c;并用cj接收…

数据库临时表空间设置

1、查看临时表空间 &#xff08;dba_temp_files视图&#xff09;&#xff08;v_$tempfile视图&#xff09;select tablespace_name,file_name,bytes/1024/1024 file_size,autoextensible from dba_temp_files;select status,enabled, name, bytes/1024/1024 file_size from v_$…

一元多项式的加减以及求导

采用链式存储结构&#xff0c;将两个线性链表表示的一元多项式相加减&#xff0c;求导并输出。 #include<stdio.h> #include<stdlib.h>typedef struct lnode{int coef; //系数 int index; //指数struct lnode *next; }node;node *Create() //头插法建立一元…