前言

在《本地大模型工具哪家强？对比Ollama、LocalLLM、LM Studio》一文中对比了三个常用的大模型聚合工具优缺点，本文将详细介绍在window操作系统下ollama的安装和使用。要在 Windows 上安装并使用 Ollama，需要依赖 NVIDIA 显卡，并安装相关的驱动和 CUDA 工具链。以下是详细的分步骤指南：

一、安装ollama对硬件和软件的要求

1. 硬件要求：

• NVIDIA 显卡，建议至少为 RTX 系列，显存 8GB 及以上。
• 足够的磁盘空间（建议 40GB 以上）。
• 推荐安装 SSD，提高性能。

2. 操作系统要求：

• Windows 10 或更新版本（64 位）。

3. 软件依赖：

• NVIDIA 驱动。
• CUDA Toolkit（包含 cuDNN）。
• Ollama 安装文件。

二、安装 NVIDIA 驱动

提示：一般情况下在安装操作系统的时候就会安装英伟达显卡的驱动了，如果已经安装了显卡驱动，可以跳过这一步。

1.检查显卡型号：

1. 快捷键方式：按下“Windows”键+“X”键，从弹出的菜单中选择“设备管理器”。
2. 在设备管理器窗口中，展开“显示适配器”选项。
3. 在展开的列表中，就可以看到显卡的型号。例如，如果是NVIDIA的显卡，可能会显示为“NVIDIA GeForce GTX 1660 Ti”等类似的型号名称。
4. 在“帮助”菜单中，查看“系统信息”中的显卡型号。

2.下载驱动：

• 访问 NVIDIA 官方网站：https://www.nvidia.com/Download/index.aspx。
• 输入你的显卡型号，选择系统版本，点击“搜索”并下载最新版本驱动程序。

3.安装驱动：

• 双击下载的驱动程序文件。
• 选择“自定义安装”，确保选中“清洁安装”以删除旧驱动残留。
• 完成安装后，重新启动计算机。

三、安装 CUDA Toolkit

1. 下载 CUDA：

• 访问 NVIDIA CUDA Toolkit 官方页面：https://developer.nvidia.com/cuda-downloads。
• 选择你的操作系统、架构和版本，下载对应的安装包。

2. 安装 CUDA：

• 双击安装包，按照安装向导进行安装。
• 确保勾选“附加工具”（包括 nvcc 和相关库）。
• 记下安装路径（默认是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X）。

3. 配置环境变量：

• 右键“此电脑”，选择“属性” > “高级系统设置” > “环境变量”。
• 在“系统变量”中找到 Path，点击“编辑”。
• 添加以下路径：

  C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X\binC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X\libnvvp

• 点击“确定”保存。

4. 验证 CUDA 是否安装成功：

• 打开命令提示符，运行：

   nvcc --version

• 如果返回 CUDA 版本号，说明安装成功。

四、安装 cuDNN

提示：cuDNN 的核心作用是加速 Ollama 运行的底层深度学习框架，从而提升推理效率

1. 下载 cuDNN：

• 访问 NVIDIA cuDNN 下载页面：https://developer.nvidia.com/cudnn。
• 登录或注册 NVIDIA 开发者账号。
• 下载与你的 CUDA 版本兼容的 cuDNN 压缩包。

2. 安装 cuDNN：

• 解压下载的压缩包。
• 将 bin、include 和 lib 文件夹的内容复制到对应的 CUDA Toolkit 安装目录下（例如 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X）。

五、安装并运行 Ollama

1. 下载 Ollama：

• 访问 Ollama 官方网站，下载适用于 Windows 的二进制文件。

2. 安装 Ollama：

• 将二进制文件放到系统的某个目录（如 C:\Program Files\Ollama）。
• 配置环境变量，将 Ollama 所在目录添加到 Path。

3. 运行 Ollama：

• 打开命令提示符，运行：

 ollama --help

• 如果显示帮助信息，说明安装成功。

4.查看可以下载的大模型

• 访问 https://ollama.com/library

• 搜索想要下载的大模型，
  

• 打开大模型详情页面，选择大模型版本，可以查看运行大模型的命令。
  

5. 下载模型：

   ollama pull glm4:9b

其中glm4:9b是你下载的大模型名称。

6. 运行模型：

   ollama run glm4:9b

其中glm4:9b是你运行的大模型名称，如果没有下载大模型，会先下载大模型，下载完再运行这个大模型。

7. 查看已下载的模型：

   ollama list

8. 退出模型对话：

通过在对话命令行中输入/bye或使用快捷键Ctrl + d来退出。

六、常见问题

1、如何修改ollama存放大模型的文件夹？

• ollama默认存放model文件的位置：C:\Users{用户名}.ollama

• 修改ollama存放模型的默认位置只需在环境变量添加OLLAMA_MODELS=“E:\ollama”

• 其中"E:\ollama"是你设置存放大模型的新位置。

2、ollama下载大模型太慢，怎么办？

如果使用ollama pull或ollama run下载大模型太慢，您可以手动从Hugging Face等网站下载模型文件（通常是.gguf格式），然后使用Ollama的create命令来创建模型。具体步骤如下：

1. 创建一个文件夹来存放权重文件（例如gguf文件）。
2. 从Hugging Face下载所需的.gguf文件，并将其放在创建的文件夹中。
3. 创建一个构造文件（例如gemma-9b.modelfile），内容如下：

FROM ./gemma-2-9b-it-Q4_K_L.gguf

4. 使用以下命令创建模型：

ollama create gemma-9b -f gemma-9b.modelfile

5. 测试模型：

ollama run gemma-9b "hi who are u?"