一、环境准备

1.硬件要求

• GPU: 至少 NVIDIA A30/A100 (显存 ≥ 24GB)
• 内存: ≥ 64GB RAM
• 存储: ≥ 100GB 可用空间 (模型文件约 60GB)

2.软件依赖

# 验证NVIDIA驱动
nvidia-smi

二、Ollama安装

方法 1：install.sh安装

运行一下安装命令：

curl -fsSL https://ollama.com/install.sh | sh

方法 2：手动安装

注意：
如果要从以前的版本升级，则应使用 first 删除旧库。sudo rm -rf /usr/lib/ollama

安装命令：
下载并解压缩包：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz