一、分析GPU

nvidia-smi

二、分析CPU使用率

htop

查看cpu96个核的使用率
三、分析磁盘IO

apt-get install iotop
iotop

分析GPU和CPU都没有使用完，瓶颈在磁盘IO。
四、磁盘IO瓶颈解决方法
1、拼成一张图片，
2、多张图内存拼在一起，
3、增大磁盘内存的使用率，把部分数据放在内存条存储上，从内存条上读取数据，可以加快速度。
4、更换更快的硬盘，ssd，nvme硬盘等。