注册账号：

魔搭社区

 

 等一会：

部署好了：

立即使用：

您部署的服务提供OpenAI API接口，可通过OpenAI SDK进行调用。请确保您的服务处于正常运行状态，并预先安装OpenAI SDK:

pip install openai

在本地新建一个py文件：

from openai import OpenAImodel_id = 'Qwen/Qwen2.5-3B-Instruct-GGUF'client = OpenAI(base_url='https://hangzhou.fcapp.run/v1',api_key='ollama'
)response=client.chat.completions.create(model=model_id,messages=[{"role":"user", "content":"你好，能帮我介绍一下杭州吗？"}],stream=True
)for chunk in response:print(chunk.choices[0].delta.content, end='')

运行py文件之后就可以输出message相应的回答啦：

相关文章：

Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！-CSDN博客