ChatTTS 最新的一款文本转语音模型,目前支持英文和中文两种语言,面向对话场景的转化则更为精准,在汉语的语音韵律方面超越了以往很多同类模型,此外它还支持细粒度控制,允许在文字中加入笑声、停顿、语气词等,可令整体效果更为逼近真实对话场景。ChatTTS 同时提供了预训练模型,以方便研究者进行进一步的探索。
项目地址:https://github.com/2noise/ChatTTS
上传模型和数据
如果租用的是矩池云亚太区机器可以直接在线下载模型和数据,无需操作以下步骤。
在租用机器前我们先上传需要的模型和数据到矩池云网盘,这样租用机器后就可以直接使用了。
模型放在Huggingface,服务器里直接运行下载可能很慢,所以我们需要提前本地下载好,然后上传到矩池云网盘再租用机器使用。
https://huggingface.co/2Noise/ChatTTS
本地下载好后,把相关文件上传到矩池云网盘即可。
租用机器
本次复现使用的是亚太1区 NVIDIA RTX 4090 配置环境,使用亚太1区可以无感克隆 Github 代码以及下载Huggingface 模型,整体速度也更快。
镜像使用的是 CUDA 12.1 ,选择好机器和镜像后,点击高级选项-自定义端口,设置一个8080端口,用于后面访问 ChatTTS 服务,配置好,点击租用即可。
租用成功后我们可以在租用页面看到机器的 SSH、Jupyterlab 等链接,矩池云官网有详细的教程介绍了如何使用这些链接连接服务器。
配置环境
clone 代码
经常修改的代码和数据集建议放矩池云网盘,Linux 系统实例中网盘对应机器中的 /mnt
目录,永久存储,可以离线上传下载数据。
我们点击 Jupyterlab 链接即可直接访问服务器,新建一个 Terminal,输入以下指令 clone 项目。
# 进入网盘目录,我复现项目代码会归纳在一起 /mnt/example/,你改成自己目录即可
cd /mnt/example/
# clone 代码
git clone https://github.com/2noise/ChatTTS
安装依赖
clone 好代码,在安装依赖之前,我们进入项目目录下,看下 requirements.txt 内容,将 torch 注释掉,如下图所示。
安装 requirements.txt 里的依赖和 torch,按以下指令输入即可:
# 进入项目目录
cd ChatTTS
# 安装依赖
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
# 其他必要依赖
pip install gradio pynini==2.1.5 WeTextProcessing
看到最后这个警告信息不用管,意思是不建议你在 root 权限下操作安装,实际是安装成功了的。
运行项目
输入以下指令运行项目:
python webui.py --server_port 8080
启动成功后,即可访问租用页面 8080 端口链接。
在页面中可以输入中英文,点击Generate
即可开始转换。
官方使用说明:https://www.bilibili.com/video/BV1zn4y1o7iV/
保存环境
配置好环境,我点击租用页面-更多-保存到个人环境,即可保存我们配置好的环境。
取一个环境名称,然后勾选保存成功后自动释放机器
,再点击保存环境
即可,这样下次使用可以直接打开,操作更方便。