every blog every motto: You can do more than you think.
https://blog.csdn.net/weixin_39190382?type=blog
0. 前言
onnxruntime-gpu无法使用
1. 正文
CUDA版本:12.1
nvcc -V
CUDNN的版本
cat /usr/include/cudnn_version.h |grep CUDNN_MAJOR -A 2
说明: 可能刚安装了8.9.2没有重启,暂时还每显示
根据这个链接https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html
原本安装的是1.17,但是onnxruntime-gpu版本无法使用,
本来想把CUDA12.1升级为12.2(还每来得急做);CUDNN降级为8.9.2(下载了cudnn,复制了文件到对应的文件夹中,可能由于笔者没有重新启动,所以上面的版本查看还是之前的)
无意中看到后面参考文献中的文章,说不能使用pip install 安装onnxruntime和onnxruntime-gpu,故卸载这两个,然后
pip install onnxruntime-gpu --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/
安装完以后gpu可以用了。
参考
- https://blog.csdn.net/weixin_44212848/article/details/136867538#:~:text=%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%EF%BC%9A%20%E6%A0%B9%E6%8D%AE%E6%8A%A5%E9%94%99%E6%8F%90%E4%BE%9B%E7%9A%84%E9%93%BE%E6%8E%A5%20https%3A%2F%2Fonnxruntime.ai%2Fdocs%2Fexecution-providers%2F%20CUDA%20-ExecutionProvider.html%20%E6%9F%A5%E6%89%BE%E5%AF%B9%E5%BA%94%E7%9A%84%20ONNX%20Runtime%EF%BC%8CCUDA,%E7%89%88%E6%9C%AC%EF%BC%8C%E6%88%91%E8%BF%99%E9%87%8C%E6%98%AF%20ONNX%20Runtime%201.17%EF%BC%8CCUDA%2012.2%20%E5%92%8C%20cuDNN%208.9.2