NVIDIA 驱动安装
前置
笔者近期重整服务器，计划重新安装操作系统并配置新的开发环境。服务器的主要配置如下：
Dell PowerEdge R730
Intel Xeon E5-2630v3 x2
64GB ECC DDR4
NVIDIA GeForce RTX 2080 Ti Rev. A
Ubuntu 22.04.5 LTS x86_64 (No Desktop)
Kernel 5.15.0-130-generic
笔者基于此配置和系统环境做出本篇文档的安装指南。安装完整的 CUDA + cuDNN + TensorRT 需要准备至少 30GB 的磁盘空间。
安装开始前请确保安装了 gcc 和 make。
sudo apt update && sudo apt upgrade && sudo apt install gcc make
之后笔者采用并安装下面所示的显卡驱动。
wget https://cn.download.nvidia.com/XFree86/Linux-x86_64/550.142/NVIDIA-Linux-x86_64-550.142.run
sudo chmod a+x ./NVIDIA-Linux-x86_64-550.142.run
sudo ./NVIDIA-Linux-x86_64-550.142.run
sudo reboot
安装完显卡驱动之后，重启系统。
CUDA Toolkit 12.4
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-4
如果出现 Command ‘nvcc‘ not found,but can be installed with: sudo apt install nvidia-cuda-toolkit 报错，需要手动添加。
先检查 cudnn 是否安装成功，输入下面的指令查看目录，如果存在 nvcc 则证明已经安装，进行下一步。
cd /usr/local/cuda/bin && ls
之后进入配置文件。
vim ~/.bashrc
在文档的最后面添加下面的这两行代码，之后保存。
export LD_LIBRARY_PATH=/usr/local/cuda/lib
export PATH=$PATH:/usr/local/cuda/bin
更新配置。
source ~/.bashrc
再次查看 nvcc 版本，出现如下图的 nvcc 版本。
nvcc -V
cuDNN 9.0.0 for CUDA 12.x
wget https://developer.download.nvidia.com/compute/cudnn/9.0.0/local_installers/cudnn-local-repo-ubuntu2204-9.0.0_1.0-1_amd64.deb
sudo dpkg -i cudnn-local-repo-ubuntu2204-9.0.0_1.0-1_amd64.deb
sudo cp /var/cudnn-local-repo-ubuntu2204-9.0.0/cudnn-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudnn
输入下面的指令查看 cudnn 版本，出现如下图的提示。
cat /usr/include/x86_64-linux-gnu/cudnn_version_v9.h | grep CUDNN_MAJOR -A 2
TensorRT 10.1
首先需要去 NVIDIA 官网注册一个开发者账号，登录之后访问下面的网址。
https://developer.nvidia.com/tensorrt/download/10x
TensorRT 10.1 版本支持以下几个版本的 CUDA 工具包：
- 12.4 update 1
- 12.3 update 2
- 12.2 update 2
- 12.1 update 1
- 12.0 update 1
- 11.8
- 11.7 update 1
- 11.6 update 2
- 11.5 update 2
- 11.4 update 4
- 11.3 update 1
- 11.2 update 2
- 11.1 update 1
- 11.0 update 3
Pytorch 兼容 2.0 及以上版本。
ONNX-TensorRT 支持 opset 20 且官方测试验证 ONNX 1.16.0 版本的稳定性。
更详细的基础文档请访问 NVIDIA TENSORRT DOCUMENTATION 官网
访问之后如上图所示，有多种安装方式：RPM, TAR 以及 DEB 格式。这里选择 DEB 格式安装。系统为 Ubuntu 22.04，CUDA 版本为 12.4 。选择对应版本下载。完整的下载和安装过程接近 20 分钟。
wget https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/10.1.0/local_repo/nv-tensorrt-local-repo-ubuntu2204-10.1.0-cuda-12.4_1.0-1_amd64.deb
sudo dpkg -i nv-tensorrt-local-repo-ubuntu2204-10.1.0-cuda-12.4_1.0-1_amd64.deb
sudo cp /var/nv-tensorrt-local-repo-ubuntu2204-10.1.0-cuda-12.4/nv-tensorrt-local-E3A02F15-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get install tensorrt
验证安装结果，输入下面的指令，看到如下图所示则代表安装成功。
dpkg --list | grep tensorrt
或使用如下的指令验证安装结果，得到如下图的结果则代表正确安装。
dpkg-query -W tensorrt
使用 dpkg 安装时会出现无法使用 trtexec 指令的问题，按照下面的步骤操作即可解决问题。
首先查找安装路径。
find /usr -name trtexec
之后进入配置文件。
vim ~/.bashrc
在文档的最后面添加下面的这行代码，之后保存。
export PATH=$PATH:/usr/src/tensorrt/bin${PATH:+:${PATH}}
更新配置。
source ~/.bashrc
问题就得到解决了。
使用 TensorRT 自带的 Sample 验证一下效果，进入下面的目录，按照如下的指令操作，可以看到下图的运行结果。
cd /usr/src/tensorrt/samples/sampleOnnxMNIST
sudo make
cd /usr/src/tensorrt/bin
./sample_onnx_mnist
