[bug] vllm 0.6.1 RuntimeError: operator torchvision::nms does not exist

环境

python 3.10
torch                             2.4.0+cu118
torchvision                       0.19.0+cu118
vllm                              0.6.1.post2+cu118

问题详情

if torch._C._dispatch_has_kernel_for_dispatch_key(self.qualname, "Meta"):
RuntimeError: operator torchvision::nms does not exist

在搭建vllm 0.6.1 环境后，运行vllm --help 命令弹出该错误。

原因是torchvision导致的错误。

解决方法

首先通过pip list 查询 torchvision 的版本号

然后在torchvision download网址中找到对应安装包，下载安装包进行重新离线安装。

例如我的版本是0.19.0，平台是linux,cuda驱动是11.8

# cpu 对应安装包 
torchvision-0.19.0+cpu-cp310-cp310-linux_x86_64.whl# gpu 对应安装包 
torchvision-0.19.0+cu118-cp310-cp310-linux_x86_64.whl

离线安装 pip install xxx.whl

参考

RuntimeError: operator torchvision::nms does not exist with torch 2.2.1+cpu