BrainGPT1，一个帮你b站点歌放视频的多模态多轮对话模型

返回论文目录

项目地址
模型地址

作者：华东师范大学，计算机科学与技术学院，智能教育研究院的小怪兽会微笑。

介绍

BrainGPT1是一个工具调用多轮对话模型，与GPT-4o不同的是，模型通过调用多个工具模型实现了多模态的多轮对话。因此，模型具备有工具灵活更新，定制化使用的特点。模型主要具有以下能力：

通用问答：默认使用讯飞星火大模型提供的免费API（spark lite），也可以自行接入其他API或本地模型，项目中提供了接入本地ChatGLM3的API的demo。
画图能力：默认使用stable-diffusion-xl-base-1.0模型。
图片问答：默认使用InternLM-XComposer模型。
多媒体播放：默认代码查询并返回bilibili的搜索结果。
天气查询：默认使用代码查询并返回API的结果。

BrainGPT1的基座模型采用了ChatGLM3,经过全量微调获得，调用工具的实现方式与ChatGLM3类似。

项目前端使用streamlit框架，主要基于Streamlit Multimodal Chat Input和streamlit-chat 实现前端的多轮多模态对话效果。

尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于缺乏实际用户下的训练数据，且模型受概率随机性因素影响，无法保证输出内容的准确。本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。本项目遵循BSD 3-Clause License。

实际Demo

在这里插入图片描述

使用简介

只需要一个16G显存左右的卡，然后部署下面给出的braingpt-1.0模型即可使用多媒体播放功能等。

在这里插入图片描述

如果需要画图功能和基于图片对话功能需要下载下面教程中的对应模型，如果不部署这两个模型不影响其他功能。

使用方式

1.环境准备

conda env create -n braingpt python=3.8.8conda activate braingpt pip install -r requirements.txt

2.模型准备

cd Models
git clone https://huggingface.co/ALmonster/braingpt-1.0
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://huggingface.co/internlm/internlm-xcomposer2-4khd-7b

3.启动模型

#默认启动在5999端口,启动Datas的文件访问服务器，用于前端显示图片
cd Datas
python simple_server.py#默认启动在6000端口,启动braingpt
cd ../Functions/braingpt
bash brain_api.sh#如果打算使用spark的免费api可以在web.py中配置，然后跳过这个6001步骤
#否则修改/Utils/brain_main.py的78-83行代码，把注释的解注释，把没注释的注释
#默认启动在6001端口
cd ../general_gpt
bash chatglm3_api.sh#默认启动在6002端口,启动生成图片功能
cd ../generate_images
bash pic_api.sh#默认启动在6003端口,启动基于图片对话功能
cd ../chat_images
bash intern_api.sh

4.启动web

#启动前端
streamlit run web.py

注意事项

braingpt占显存13.3G左右，stable-diffusion-xl-base-1.0占显存13.5G左右，InternLM-XComposer占显存48G左右。
如果没有启动stable-diffusion-xl-base-1.0，InternLM-XComposer，但启动了braingpt，除了画图和基于图片问答功能外不受影响
如果没有足够的显存启动internlm-xcomposer2-4khd-7b，可以考虑修改推理参数，或者换其他更小的模型。

Contact

有任何问题或反馈，欢迎联系作者小怪兽会微笑

Readme_EN

Previously, an incident occurred where my application for the llama3 model on Hugging Face was not approved. As a result, this document does not have an English introduction, and future applications for the model file will not be open to regions outside of mainland China.

在这里插入图片描述