一、下载GGUF模型
- glm-4-9b-chat-GGUF
- codegeex4-all-9b-GGUF
使用modelscope下载
先安装 pip install modelscope
- 命令1
modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf - 命令2
modelscope download --model=LLM-Research/codegeex4-all-9b-GGUF --local_dir . codegeex4-all-9b-Q5_K_M.gguf
二、使用
-
启动ollama服务
ollama serve -
创建ModelFile
复制模型路径，创建名为“ModelFile”的meta文件，内容如下：FROM /path/to/glm-4-9b-chat.Q5_K.gguf #FROM /path/to/codegeex4-all-9b-Q5_K_M.gguf# set parameters PARAMETER stop "<|system|>" PARAMETER stop "<|user|>" PARAMETER stop "<|assistant|>"TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|> {{ .System }}{{ end }}{{ if .Prompt }}<|user|> {{ .Prompt }}{{ end }}<|assistant|> {{ .Response }}""" -
创建自定义模型
使用ollama create命令创建自定义模型
ollama create myglm4 --file ModelFile -
运行模型
ollama run myglm4
