【背景】
ollama的pull命令可以直接pull ollama列表中现有的模型,但是ollama可以直接pull的模型大都是英语偏好(llama2有直接可以pull的chinese版本),而hugging face上则有大量多语种训练的模型,如果能直接使用hugging face上的gguf开源模型,那就自由多了,本篇介绍方法。
【命令】
先找到hugging face上的guff模型下载下来,比如这个我已经下载好了:
然后写一个txt文件,内容如下:
进到txt文件同目录,用ollama命令生成ollama可直接使用的模型,同时可以给模型命名:
ollama create yourname-CH-model -f Modelfile.txt