1. 问题描述

使用 FastChat 启动私有大语言模型，通过一些 UI 工具进行访问时，报以下错误。

略
2024-02-29 09:26:14 | ERROR | stderr |     yield f"data: {chunk.json(exclude_unset=True, ensure_ascii=False)}\n\n"
2024-02-29 09:26:14 | ERROR | stderr |                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
2024-02-29 09:26:14 | ERROR | stderr |   File "/root/miniconda3/envs/fastchat/lib/python3.11/site-packages/pydantic/main.py", line 1056, in json
2024-02-29 09:26:14 | ERROR | stderr |     raise TypeError('`dumps_kwargs` keyword arguments are no longer supported.')
2024-02-29 09:26:14 | ERROR | stderr | TypeError: `dumps_kwargs` keyword arguments are no longer supported.

2. 解决方法

通过网上搜索，原因是 pydabtic 包升级带来的问题，需要安装指定的版本。

pip install pydantic==1.10.11

refer: https://github.com/vllm-project/vllm/issues/423

完结！