大模型本身提供的功能，类似于windows中的一个exe小工具，我们可以本机离线调用然后完成具体的功能，但是别的机器需要访问这个exe是不可行的。常见的做法就是用web容器封装起来，提供一个http接口，然后接口在后端调用这个exe来实现需求。同理我们需要一个web容器把大模型封装起来，然后通过API来提供AI服务。
这里对比本机离线调用和API服务调用，并通过FastAPI来实现AI的API服务化（LangChain也是通过这些框架提供的API服务）。
一、本机离线调用
看代码：
from transformers import AutoTokenizer, AutoModelMODEL_PATH = 'c:\\ai\\llms\\chatglm3-6b'
TOKENIZER_PATH = 'c:\\ai\\llms\\chatglm3-6b'# 第一步，获取大模型
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval()
# add .quantize(bits=4, device="cuda").cuda() before .eval() to use int4 model
# must use cuda to load int4 model# 第二步，定义交互过程函数
def chat_handler(query: str):response = model.chat(tokenizer,query,history=None,top_p=1,max_new_tokens=1024,temperature=0.1)print(response, end="", flush=True)# 第三步，实际交互
chat_handler('who are you')
实际调用过程是比较简单的，从大模型指定路径加载大模型，然后就可以通过调用chat实现交互。
看结果：
二、通过FastAPI来封装API服务
OpenAI提供了一个很好的接口规范，其余大模型以及大模型框架在提供接口时都做了类似的兼容处理，包括接口名、传参方式、参数格式等都仿照OpenAI的接口方式，这样可以大幅降低学习成本和模型切换的成本，当你想尝试不同的大模型时不需要做大量的改动。
接下来主要是通过FastAPI来封装我们的AI后台服务器。
2.1 构建服务端
2.1.1 使用工具
这里使用三个工具：
- FastAPI：FastAPI 是一个快速（高性能）的构建API的Web框架。
- Uvicorn：Uvicorn 是一款高效的ASGI服务器，主要是为了服务端的高效异步处理。
- Pydantic：Pydantic 是一款广泛使用的数据校验工具，主要是为了接口参数的规范和校验。
通过使用三个工具，可以快速部署一个后端服务，并且这个服务可以对输入参数进行方便的校验，同时实现高效异步调控。
在服务端安装三个工具：
> pip install fastapi uvicorn pydantic2.1.2 启动服务端的代码
from fastapi import FastAPI
from pydantic import BaseModel
import uvicorn
from transformers import AutoTokenizer, AutoModel, AutoModelForCausalLM# 第一步，加载大模型
model_dir = 'c:\\ai\\llms\\chatglm3-6b'
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModel.from_pretrained(model_dir, device_map="cuda", trust_remote_code=True).eval()# 第二步，创建FastAPI应用实例
app = FastAPI()# 第三步，定义请求类型，与OpenAI API兼容
class ChatCompletionRequest(BaseModel):model: strmessages: listmax_tokens: int = 1024temperature: float = 0.1# 第四步，定义交互函数
def chat_handle(messages: list, max_tokens: int, temperature: float):query = messages[0]["content"]response, history = model.chat(tokenizer,query=query,history=None,top_p=1,max_new_tokens=max_tokens,temperature=temperature)print(response)return response# 第五步，定义路由和处理函数，与OpenAI的API兼容
@app.post("/v1/chat/completions")
async def create_chat_completion(request: ChatCompletionRequest):# 调用自定义的文本生成函数response = chat_handle(request.messages, request.max_tokens, request.temperature)return {"choices": [{"message": {"content": response}}],"model": request.model}# 第六步，启动FastAPI应用，默认端口为8000
if __name__ == "__main__":uvicorn.run(app, host="0.0.0.0", port=9999)
uvicorn.run(app, host="0.0.0.0", port=9999) 这里的host和port注意一下：
- host="0.0.0.0"，表示可以远程访问此服务，host="127.0.0.1"，表示只能本地访问。
- port=9999，默认端口为8000，也可以自定义一个端口。
运行服务：
> python examples/dev_fastapi.py服务启动输出：
表示服务已经启动。
2.2 客户端调用
2.2.1 通过命令和工具调用
当服务端启动后，可以通过各种客户端工具来调用，比如curl，这里使用postman。
可以看到服务端正确返回了。
查看服务端输出：
2.2.2 通过代码调用
import requests
import json# 定义请求的URL
url = "http://192.168.3.154:9999/v1/chat/completions"# 定义请求头
headers = {'Content-Type': 'application/json'}# 定义请求体
data = {"model": "qwen2-7b","messages": [{"role": "user", "content": "who are you?"}],"max_tokens": 1024,"temperature": 0.5
}
# 将字典转换为JSON格式
data_json = json.dumps(data)# 发送POST请求
response = requests.post(url, headers=headers, data=data_json)# 检查响应状态码
if response.status_code == 200:# 如果响应成功，打印响应内容print(response.json())
else:# 如果响应失败，打印错误信息print(f"Error: {response.status_code}, {response.text}")
运行命令：
> python examples/dev_fastapi_client.py查看客户端调用结果：
查看服务端输出：
