一、模型介绍

Peach-9B-8k-Roleplay 是一种聊天大型语言模型，它是通过我们的数据合成方法创建的超过 100K 的对话中微调 01-ai/Yi-1.5-9B 模型而获得的。

也许是 34B 以下参数最好的 LLM。

二、部署过程

1、更新环境

apt update

2、安装Miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

3、创建虚拟环境

conda create -n Peach-9B-8k-Roleplay python=3.10
conda activate Peach-9B-8k-Roleplay

4、克隆模型

模型数据量较大，将模型下载在数据盘，切换路径到/root/sj-tmp，下载模型。

cd /root/sj-tmp
git lfs install
git clone https://www.modelscope.cn/roleplay/Peach-9B-8k-Roleplay.git

5、安装依赖

模型下载完成以后，更换路径到cd /，便于将依赖环境安装在系统盘。该模型没有给定依赖环境相关包的版本，需要手动安装。

cd /
pip install torch==1.13.1
pip install gradio==3.50.2
pip install transformers==4.37.2
pip install sentencepiece
pip install tokenizers
pip install protobuf
pip install accelerate

6、指定端口，运行模型

export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080 
python  /root/sj-tmp/Peach-9B-8k-Roleplay/demo.py

三、界面演示

1、进入WebUI使用

2、输入问题，进行对话

3、或者根据自己需要修改参数以后，再进行对话。

4、自己设定提示符