这里视频其实还是蛮多的,环境是win10 Linux当然更好,奈何win10还有很多其他的AIGC的环境
所以还是索性在一个环境上比较好
1 下载
Download Ollama on macOS 修改成windows
有windows 版本所以直接下载 下载完毕后直接cmd 输入相应的下载模型 这里需要说明下 需要科学网络
2 运行
ollama run qwen:7b 即可直接下载
具体有啥Models
可以参考如下:
如果只是在cmd运行 肯定是友好型不够好,所以需要搭建一个web的UI便于更好的友好型展示
这里需要使用到docker,所以如果是在windows 环境下,需要安装wsl环境 可以参考如下
Windows系统安装WSL,并安装docker服务_wsl安装docker-CSDN博客
这里也提到需要安装一个docker desktop 这样可以很好的查看当前windows 环境下docker环境
环境具备后,就需要从docker中拉想要的镜像
docker run --gpu=all -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
这样就可以直接在当前的web页面进行查看OLLAMA Web UI
下面就可以进行模型的问答了