ollama run gemma:2b "菊花为什么是红色的？"
如今 LLM 早已不再等同于昂贵的 GPU，而是可以在大部分消费级计算机上运行推理的应用了——俗称本地大模型。
Ollama 安装十分简单，macOS 直接在官网下载安装包打开运行；Window 尚未提供安装包，官方推荐在 WSL 2 中以 Linux 方式用命令安装：
% curl https://ollama.ai/install.sh | sh当你运行 ollama --version 命令成功查询到版本时，表示 Ollama 的安装已经顺利完成，接下来便可以用 pull 命令从在线模型库下载模型来玩了。
以中文微调过的 Llama2-Chinese 7B 模型为例，下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。
% ollama pull llama2-chinese以自定义系统提示词并修改推理温度参数为例，应构建如下格式的 ModelFile：
FROM llama2-chinese:13bSYSTEM "以海盗的口吻作答。"
PARAMETER temperature 0.1然后使用 create 命令进行创建，新的模型会沿用原有模型的权重文件和未作调整的选项参数：
ollama create llama2-chinese-pirate -f ~/path/to/ModelFile启动服务：执行ollama serve，会在本地的11434端口启动一个服务
Ollama本地部署Gemma模型
Ollama 是一个简明易用的本地大模型运行框架
GitHub地址
linux安装
curl https://ollama.ai/install.sh | sh
运行gemma模型
低配置用2b版本
ollama run gemma:2b
高配置用7b版本
ollama run gemma:7b
目前就可以直接用命令行来和gemma对话了
使用chatbot搭建一个webui来访问ollama接口
chatbot Github地址
docker安装
docker run -p 3000:3000 ghcr.io/ivanfioravanti/chatbot-ollama:main
打开浏览器访问 ip:3000
在Linux上设置环境变量
如果Ollama作为systemd服务运行，应该使用systemctl设置环境变量：
- 1.
通过调用
systemctl edit ollama.service编辑systemd服务。这将打开一个编辑器。
- 2.
对于每个环境变量，在
[Service]部分下添加一行Environment：[Service]
Environment="OLLAMA_HOST=0.0.0.0"
- 3.
保存并退出。
- 4.
重载
systemd并重启Ollama：systemctl daemon-reload
systemctl restart ollama
Technology技术分享
# 下载模型ollama run llama2# 查看进程ps -ef |grep ollama# 查看对外暴露的端口lsof -i :11434
docker 启动ollama
Docker本地部署GPT 聊天机器人并实现远程访问 - cpolar 极点云官网
1. 使用 Ollama Docker 镜像：
官方 Ollama 库在 Docker Hub 上提供各种 LLM 模型的 Docker 镜像。
您可以拉取这些镜像并在容器中运行它们，而无需在您的主机系统上安装 Ollama。
这是一种快速测试和运行不同模型的便捷方式，无需担心依赖项。
例如，要运行 Llama 2 模型，您可以使用以下命令：
docker exec -it ollama ollama run llama2
Docker部署，解决无法0.0.0.0启动服务的问题
CPU: docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
通过Docker调试大模型 docker exec -it ollama ollama run llama2
通过API实现调用 逐字回复内容curl -X POST http://ip:11434/api/generate -d '{"model": "llama2","prompt":"hello"}'
通过API实现调用 答复完一起取到结果curl http://192.168.197.200:11434/api/generate -d '{"model": "llama2","prompt": "1+1=?","raw": true,"stream": false
}'
例如，要安装 TinyLlaama（一个参数超过 1 TB 的模型），我们使用以下命令：
ollama run tinyllama
命令删除模型：ollama rm nombre_del modelo
您可以通过以下方式查看有关每个已安装型号的信息：ollama show
Ollama 一条命令在本地跑 Llama2等各种模型，支持手机端部署
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）-CSDN博客
接入 Ollama 部署的本地模型 - Dify
https://www.nodeseek.com/post-73518-1
GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.
利用Ollama在本地快速部署gemma - 知乎
用 Ollama 轻松玩转本地大模型 - 少数派
