Ollama完成本地模型的运行

llama 3 8b很多pc都可以run起来，可以用这个练练手

简介

Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地运行和使用各种大型语言模型。Ollama 提供了一个命令行界面，支持多种流行的模型，如 Llama 3、Qwen 1.5、Mixtral、Gemma 等，并且用户可以根据自己的需求定制和创建模型。Ollama能够实现模型的本地运行，降低了模型开发的复杂度，无聊时AI开发的高手还是新人都可以快速使用Ollama完成模型本地运行。同时可以识别Nvidia、AMD的GPU，AVX、AVX2指令集的CPU。同时Ollama也支持MacOS、Windows，Linux主要的操作系统。

安装

进入Ollama官网，下载对应的Ollama客户端后安装即可。

安装完成后，打开powershell，输入ollama有help的内容输出就是安装成功了。

本地运行模型

这里有一个小技巧：Ollama默认大模型的目录在C盘当前用户目录下.ollama
目录下，非常占地方，所以我们要修改环境变量OLLAMA_MODELS为一个想存大模型的地方。

运行ollama命令完成模型下载和运行

olla