为了演示方便，我这里选用参数较小的Qwen1.5-0.5B-Chat模型。

下载GGUF模型

访问huggingface下载qwen1_5-0_5b-chat-q5_k_m.gguf模型。

https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat-GGUF/tree/main

注意：

• huggingface访问不到，可以选择国内的modelscope
• 选择q5_k_m模型，参考https://blog.csdn.net/weixin_44455388/article/details/136500170?spm=1001.2014.3001.5501

创建Ollama Modelfile

1、创建一个名为 Modelfile 的文件，并使用 FROM 指令，填写的模型的本地文件路径。

FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf

Modelfile文件中还可以添加系统提示词以及各项参数：

FROM ./qwen1_5-0_5b-chat-q5_k_m.gguf# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1# set the system message
SYSTEM """
你是AI助手小智，请根据用户的提问做出合适的回答。
"""

2、在Ollama中创建模型

ollama create qwen:0.5b -f Modelfile

3、运行模型

ollama run qwen:0.5b