什么是ollama，可以看作管理AI模型的一个命令行工具
ollama -h 可以查看帮助，可以进行删减，下载启动等操作
这里主要使用DOCKER部署ollama，这样即可兼容windows 苹果 Linux 系统
这里我主要介绍在Linux 系统下部署
1. 首先是安装 docker 和 docker-compose
sudo apt install docker.io
sudo apt-get install docker-compose
sudo usermod -aG docker $USER
sudo systemctl daemon-reload
sudo systemctl restart docker2. 配置国内 docker 镜像源
修改/etc/docker/daemon.json，增加或者修改以下配置：
sudo su
vim /etc/docker/daemon.json{"registry-mirrors": ["https://dockerproxy.com","https://hub-mirror.c.163.com","https://mirror.baidubce.com","https://ccr.ccs.tencentyun.com","https://registry.docker-cn.com","https://cr.console.aliyun.com","https://docker.mirrors.ustc.edu.cn"]
}3. 配置好以后重启docker
sudo systemctl daemon-reload
sudo systemctl restart docker4. 这里主要是体验为主，所以主要介绍 CPU模式
4.1 下载 https://ollama.com
4.2 模型仓库： https://ollama.com/library
4.3 仅CPU 模式
拉取镜像并保存，创建容器，$HOME/ollama是保存模型的路径
docker run -d -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
4.4 下面写一个脚本来启动容器 ollamaRUN.sh
#!/bin/bash
MHZX_NAME='ollama'
MHZX_PS_NAME=`docker ps|grep "${MHZX_NAME}"|wc -l`
MHZX_PS_NAME_ON='1'
if [[ ! X${MHZX_PS_NAME_ON} = X${MHZX_PS_NAME} ]];then#启动容器docker start ${MHZX_NAME}sleep 2#进入容器docker exec -it ${MHZX_NAME} /bin/bashexit 0
else#进入容器docker exec -it ${MHZX_NAME} /bin/bashexit 0
fi
exit 05. 进入容器后安装启动 模型 ，这里介绍通义千问 可以在，模型仓库： https://ollama.com/library
ollama run qwen:4b
ollama run openchat:7b-v3.5-1210-q3_K_L
这样就可以启动了
6. open-webui,由于在本地始终无法完成部署，这里就掠过提供一些帮主
6.1 open-webui 是ollama的wen 图形接口应用
GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)
【开启open-webui：一键集成ollama，打造革命性GPT体验！】 https://www.bilibili.com/video/BV1wZ42117xY/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed
【ChatGPT高仿版WebUI：Ollama + Open WebUI本地环境搭建】 https://www.bilibili.com/video/BV1Ex421Q723/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed
【轻松搭建本地大模型 Web 交互界面 - Ollama + Open WebUI】 https://www.bilibili.com/video/BV1ux4y1Q7zN/?share_source=copy_web&vd_source=e7c77da1b72fa585ccc1576f65bb15ed
