建议仔细读一读NVIDIA官方出的安装教程,里面有windows、linux等安装教程,非常详细,这里再做一下简要总结。
TensorRT主要有三种安装模式、五种安装方式
毫无疑问,在windows系统中,我们只能选择zip安装。
安装tensorRT之前确保电脑安装好了英伟达显卡驱动、cudaToolkit,cuDNN的话不是必须得可以不用安装(官方多次提到目前的TensorRT对cuDNN的依赖很少了)
我的电脑CUDA版本为11.7 cuDNN版本为8.7.0,我这里选择安装TensorRT 8.x ,进入官网下载页面(需要登录)
我这里选择安装TensorRT 8.6 GA for x86_64 Architecture。注意ARM架构的不一样,需要进入 页面仔细确认到底应该下载哪个文件。特别注意,要与自己本地电脑的CUDA版本对应
下载zip文件之后,解压,我这里解压到 C:\Program Files\TensorRT-8.6.1.6 ,解压后的文件目录如下图所示:
下面重点来了,按照官方的说法,我们有两种方式可选
第一种方式:把 C:\Program Files\TensorRT-8.6.1.6\lib文件中所有的DLL文件复制到CUDA的安装目录下bin目录下(比如:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin),不过我并不推荐这种方式,会使文件结构混乱。
第二种方式:直接配置TensorRT的环境变量。具体做法是把 C:\Program Files\TensorRT-8.6.1.6\lib 目录添加到系统环境变量中
之后我们就可以在虚拟环境中安装TensorRT了,比如我的anaconda中有一个torch_work虚拟环境(python==3.10)。
下面为该虚拟环境安装TensorRT,首先命令行切换到 C:\Program Files\TensorRT-8.6.1.6\python 目录下并切换到torch_work虚拟环境中
选择跟虚拟环境匹配的python版本,我这里选择 full installation 的安装模式
然后执行pip安装命令
之后我们还需要安装 uff, graphsurgeon, onnx_graphsurgeon 这三个python包,它们就在解压目录下
我们切换到对应的目录,pip安装
至此,在conda环境下安装tensorRT就全部完成了,接下来验证一下是否安装成功。
进入该虚拟环境中导入 tensorrt 包,如果控制台没有报错,即为安装成功,接下来就可以在conda虚拟环境下使用 tensorrt。