一、简介

  Ollama是在Github上的一个开源项目，其项目定位是：一个本地运行大模型的集成框架，目前主要针对主流的LLaMA架构的开源大模型设计，通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中，从而实现大模型的下载、启动和本地运行的自动化部署及推理流程。此外，Ollama内置了一系列针对大模型运行和推理的优化策略，目前作为一个非常热门的大模型托管平台，已被包括LangChain、Taskweaver等在内的多个热门项目高度集成。

通过将模型的所有必要组件（如权重文件、配置设置和相关数据）封装在一个单一的文件或包中，Modelfile 允许用户更容易地下载、安装、配置和启动模型。这种方法类似于其他软件或应用程序的安装包，它们将所有必要的文件打包在一起，以便用户可以通过简单的安装过程将软件添加到他们的系统中。

Ollama官方地址：https://ollama.com/
Ollama Github开源地址：https://github.com/ollama/ollama

  Ollama项目支持跨平台部署，目前已兼容Mac、Linux和Windows操作系统。特别地对于Windows用户提供了非常直观的预览版，包括了内置的GPU加速功能、访问完整模型库的能力，以及对OpenAI的兼容性在内的Ollama API，使其对Windows用户尤为友好。而无论在使用哪个操作系统中，Ollama项目的安装过程都设计得非常简单。

二、安装并使用

2.1 下载

在官网下载：https://ollama.com/

下载后无脑下一步安装即可

2.2 使用

打开终端输入：ollama list

2.3 下载模型

进入官网，model界面选择模型下载

以7B 为例

下载完成
模型默认保存位置：C:\Users\Administrator\.ollama\models

测试

/bye退出

重新查看下ollama list

常见命令

ollama serve       启动ollama
ollama create      从模型文件创建模型
ollama show        显示模型信息
ollama run         运行模型
ollama pull        从注册表中拉取模型
ollama push        将模型推送到注册表
ollama list        列出模型
ollama cp          复制模型
ollama rm          删除模型
ollama help        获取有关任何命令的帮助信息