GitHub - OpenBMB/MiniCPM-V: MiniCPM-V 2.6: A GPT-4V Level MLLM for Single Image, Multi Image and Video on Your Phone
安装和执行 "Local WebUI Demo" 的步骤如下:
克隆仓库并导航到源文件夹:
git clone https://github.com/OpenBMB/MiniCPM-V.git
cd MiniCPM-V
创建 conda 环境:
conda create -n MiniCPM-V python=3.10 -y
conda activate MiniCPM-V
安装依赖项:
pip install -r requirements.txt
如果你有 NVIDIA GPU,运行以下命令:
python web_demo_2.6.py --device cuda
如果没有 GPU,运行以下命令:
python web_demo_2.6.py
请注意,这些步骤可能需要一些时间来完成,具体取决于你的网络速度和计算资源。安装完成后,你可以访问本地 WebUI 进行交互。
遇到问题,RuntimeError: cutlassF: no kernel found to launch!
模型推理的时候出现这个问题搜了搜本以为是bfloat精度问题,但改了之后依然没用。
nvidia-smi的cuda version是12.2
nvcc -V 的cuda version是12.1
torch版本为2.1.2,最终将torch版本回退为2.1.0后成功解决问题。torchvision版本不兼容目前没发现有啥大问题,有问题的话后续更新