无需点击download的下载界面，直接可选TensorRT Download | NVIDIA Developer
下载的是 tar type （推荐）：- TensorRT 10.5 GA for Linux x86_64 and CUDA 12.0 to 12.6 TAR Package
下载的是deb type： TensorRT 10.5 GA for Ubuntu 20.04 and CUDA 12.0 to 12.6 DEB local repo Package

环境准备测试

查看安装前准备环境：

(env) rooter@rooter-Legion-Y9000P-IRX9:~/CUDA$ python tensorrt_prepare_confog.py
Traceback (most recent call last):File "tensorrt_prepare_confog.py", line 1, in <module>import torchFile "/home/rooter/miniconda3/envs/env/lib/python3.8/site-packages/torch/__init__.py", line 290, in <module>from torch._C import *  # noqa: F403
ImportError: /home/rooter/miniconda3/envs/env/lib/python3.8/site-packages/torch/lib/../../nvidia/cusparse/lib/libcusparse.so.12: undefined symbol: __nvJitLinkComplete_12_4, version libnvJitLink.so.12

出现这个错误通常意味着你的PyTorch环境遇到了与CUDA版本不兼容的问题。错误信息指出，PyTorch试图加载的libcusparse.so.12库中缺少__nvJitLinkComplete_12_4符号。这通常发生在以下情况：

1. CUDA/cuDNN版本不匹配：你的CUDA或cuDNN版本与PyTorch构建时所依赖的版本不匹配。
2. NVIDIA驱动版本不兼容：你的NVIDIA驱动版本与CUDA Toolkit版本不兼容。
3. PyTorch版本与CUDA版本不匹配：你安装的PyTorch版本可能不支持你的CUDA版本。
   我的CUDA版本是12.3，需要安装一个与CUDA 12.3兼容的PyTorch版本
   pytorch gpu运行安装重点（CUDA12.3） 说cuda12.3可以兼容

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

所以运行环境监测

import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.backends.cudnn.version())

结果为如下，没有报错

(pytorch) rooter@rooter-Legion-Y9000P-IRX9:~/CUDA$ python tensorrt_prepare_confog.py
2.4.1+cu121
12.1
90100

开始安装

参考：TensorRT学习笔记–Ubuntu20.04安装TensorRT 8.2.5（ok）

使用tar的形式

参考：TensorRT学习笔记–Ubuntu20.04安装TensorRT 8.2.5

1. 下载的：
   TensorRT-10.5.0.18.Linux.x86_64-gnu.cuda-12.6.tar.gz

2. 安装依赖：
   pip install ‘pycuda’
   pip install onnxruntime-gpu

3. 解压并配置环境变量：
   解压

   tar -zxvf TensorRT-10.5.0.18.Linux.x86_64-gnu.cuda-12.6.tar.gz

   ~/jeston/TensorRT-10.5.0.18 # 放在了jeston文件夹中
   进入需要安装的环境，知道python版本等，不然可能不匹配
   conda activate bisenet
   安装tensorrt
   pip install tensorrt-10.5.0-cp38-none-linux_x86_64.whl
   安装（可选）
   pip install nvidia-pyindex
   pip install graphsurgeon

	# 查看import onnxruntime as ortimport tensorrtprint(ort.get_device())print(ort.get_available_providers())print(tensorrt.__version__)

# 查看GPU['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']10.5.0

安装成功