最像人声的语音合成模型-ChatTTS

目录

写在前面

一、使用ChatTTS

二、优点

三、局限


写在前面

        最像人声的AI来了!语音开源天花板ChatTTS火速出圈,3天就斩获9k个star。截至发稿前,已经25.9k个star了。这是专门为对话场景设计的语音生成模型,用于LLM助手对话任务、对话语音、视频介绍等,仅支持中英文。硬件要求低,甚至不需要GPU,一台普通PC就能运行。

        主模型使用了 100,000+ 小时的中文和英文音频数据进行训练。开源的版本是4 万小时基础模型。

        项目地址:https://github.com/jianchang512/ChatTTS-ui,这是原项目ChatTTS的地址,不用下,我们要使用的是ChatTTS-ui,是给ChatTTS增加了UI,并打好了包,开包即用。

一、使用ChatTTS

        废话不多少,先玩起来。

        1.下载ChatTTS-ui:https://github.com/jianchang512/chatTTS-ui/releases

        2.解压缩并运行app.exe

        3.等一会会自动打开默认浏览器,就可以开始生成音频啦!!

                       

        使用也很简单,输入文字点击立即合成,等待一会下方就会出现结果,下面介绍一下参数:

        (1)文本:如果哪里断句不好,可以加一个[break_1];如果想调整口语程度可以加[oral_0],数字越大,越口语化;如果想加笑声可以加[laugh_1],但经我测试,加了laugh废话变多了。

        (2)选择音色:一共10000个音色,每个音色有一个csv的特征文件,这里下载全部10000个音色。

        (3)音色值:如果懒得下载10000个音色文件,也可以在这里输入1-10000的数字,值得注意的是,一旦这里输入,前面的csv就没用了。音色试听在这里。

        (4)text seed:扩散模型嘛,肯定要有一个控制噪声的随机种子。

        (5)Prompt:现在支持三个值,是全局的,oral控制口语程度数字越大,越口语化,例如[oral_0]就接近朗读的口气;langh会使说话过程中插入笑声,经我测试数越大,与文本无关的废话越多;break控制断句,数越大,断句越干脆。

        (6)跳过refine text:如果正文中加入了[uv_break]二效果不好,可以勾上试试。

        (7)infer token:推理最大token数,默认就行。

        (8)refine token:预处理的时候,会对文本进行优化,使之更适合口语,这个是调整的token数量,也不用动。

        (9)语速:数越大,语速越快,但是变化并不是太明显。

          (10)temperature:数越大语气、音色、声调等随机性越大。

        (11)top_p:控制生成多样性的参数,数越小,多样性越强。比如0.3,那下一个预测token的概率只要大于0.3就有可能被选中,当然也要配合下面的top_k使用。

        (12)top_k:同样控制生成多样性的参数,数越大,多样性越强。比如9,那下一个预测token的会选前9个概率最大的,当然也要配合上面的top_p使用。

二、优点

        1.ChatTTS针对基于对话的任务进行了优化,实现了自然而富有表现力的语音合成,很接近人声。

        2.模型可以加入韵律特征,包括笑声、停顿和叹词。

        3.硬件要求低,虽然是扩散模型,但是在CPU上也能流畅使用

三、局限

        1.音色文件的提取方式作者没有开源,所以现在不能定制自己的声音。

        2.使用扩散模型,仍然需要抽卡,尤其对于长文本,不好控制,商用会有问题。

        ChatTTS的使用就简单介绍到这里,关注不迷路(*^▽^*)

关注订阅号了解更多精品文章

交流探讨、商务合作请加微信

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/36308.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SUSE linux的启动过程介绍

引导Linux系统涉及不同的组件和任务。在固件和硬件初始化过程(取决于机器的架构)之后,内核通过引导加载程序GRUB2启动。此后,引导过程完全由操作系统控制并由systemd处理。systemd提供了一组“target”,用于为日常使用…

微信开放平台(第三方平台)

特征: 统一管理: 可以统一管理和操作多个公众号和小程序,提供批量化、集中化的服务。 代开发和运营: 为公众号和小程序提供代开发和运营服务,例如提供自动回复、模板消息、用户管理等功能。 接口调用: 通过…

基于深度学习的模糊图像还原

基于深度学习的模糊图像还原 模糊图像还原(Image Deblurring)是计算机视觉中的一个重要任务,旨在从模糊的图像中恢复出清晰的图像。模糊可以由于多种原因产生,例如相机抖动、运动模糊、焦点失准等。传统的图像去模糊方法通常依赖…

搭建抖音微短剧系统:源码部署与巨量广告回传全解析

在数字化浪潮中,抖音微短剧已成为内容创作的新宠。想要搭建一个高效的抖音微短剧系统,并实现与巨量广告的有效回传吗?本文将为您详细解析源码部署与广告回传的关键步骤。 一、源码部署:构建短剧系统的基石 源码是软件开发的起点…

vscode远程连接Ubantu

一、首先用VM虚拟机打开一个Linux系统 二、打开VScode 在扩展里安装 安装后,打开Linux查看IP地址 在VScode 中新建连接主机 输入linux_nameip地址 -A 然后输入Linux的登录密码 就可以远程操控 Linux了 可以在终端中远程控制Linux 点击左上角的打开文件夹可以很…

什么是 Azure OpenAI?

目录 一、说明 二、什么是 Azure OpenAI 2.1 网络结构 2.2 、为什么使用 Azure OpenAI 2.3 如何使用 Azure OpenAI 三、从哪里开始 Azure OpenAI 之旅 3.1 关于 Azure OpenAI,我还需要了解什么 3.2 RBAC 权限和角色 3.3 演示 1:在公共数据上应用…

【面试题】网络 http、https协议(第一篇)

1.简述HTTP协议 HTTP,全名超文本传输协议,是一个用于客户端与服务器之间进行数据传输的应用层协议,可以传输文本、图片、音视频等超文本内容。 1.HTTP使用TCP作为传输层协议,因此具有可靠性, 2.除此之外&#xff0c…

聚合项目学习

首先建立一个总的工程目录,里边后期会有我们的父工程、基础工程(继承父工程)、业务工程(依赖基础工程)等模块 1、在总工程目录中(open一个空的文件夹),首先建立一个父工程模块(通过spring init…

4面体空间内直链4点结构分布与占比

在30个点的4面体空间内取4个点,有30*29*28*27/2427405种取法,要求得到的4个点必须在直链上。只有144个结构符合要求,在平移操作下不重合的结构有36个。 这36个结构可以按照旋转对称性进一步分成3组0,1,4,每…

Anisble Playbook

文章目录 一、Playbook简介三种常见的数据格式Playbook特点YAML语言介绍 二、Playbook核心组件host组件remote_user组件task列表和action组件gather_factsHandlers notifyignore_errors 三、playbook命令playbook命令tags 标签 四、Playbook中的变量setup模块中的变量Playbook命…

vue3 【提效】自动路由(含自定义路由) unplugin-vue-router 实用教程

不再需要为每一个路由编写冗长的 routes 配置啦,新建文件便可自动生成路由! 使用方法 1. 安装 unplugin-vue-router npm i -D unplugin-vue-router2. 修改 vite 配置 vite.config.ts import VueRouter from unplugin-vue-router/viteplugins 中加入 V…

消费疲软,预期一下债券的平均收益

在预测消费疲软对债券平均收益的影响时,我们需要考虑多个因素,包括宏观经济环境、货币政策、通胀预期以及债券市场的具体表现等。以下是对债券平均收益的预期分析: 宏观经济环境与货币政策: 当前中国经济增速已转向高质量发展阶段…

【Redis一】Redis配置与优化

目录 一.关系型数据库与非关系型数据库 1.关系型数据库 2.非关系型数据库 3.二者区别 4.非关系型数据库产生背景 5.NoSQL与SQL数据记录对比 关系型数据库 非关系型数据库 二.Redis相关概述 1.简介 2.五大数据类型 3.优缺点 3.1.优点 3.2.缺点 4.使用场景 5.采用…

苹果应用Testflight上架完整步聚

1.全部选中下图内容,包含iPhone与iPad屏幕所有旋转方向 2. 准备App图标,一定要有152和167这个尺寸,不然后提交不过 3.1024这个尺寸的的图像不能有透明层,不然提交不通过 4.选中编译设备为Any iOS Device[arm64] 5.选择Product下的Archive进行生成 6.在弹出的窗口中选择Test…

Python之三大基本库——Numpy(2)

接着上次的内容接着讲,连续号都续上哈 七、numpu中random的随机生成函数 以下总结的是比较常用到的函数: 下面分别介绍一下不用的用法: 首先导入创建函数 import numpy as np np.random.seed(666)1、 rand(d0,d1,d2,...,dn):返…

JavaWeb系列三: JavaScript学习 下

文章目录 js数组定义方式数组遍历 js函数函数入门函数使用方式使用方式一使用方式二 函数注意事项函数练习题 定义对象使用object定义使用{}定义 事件onload事件onclick事件失去焦点事件内容发生改变事件表单提交事件静态注册动态注册表单作业 dom对象文档对象模型document对象…

JDK-调度线程池

归档 GitHub: JDK-调度线程池 使用示例 https://github.com/zengxf/small-frame-demo/blob/master/jdk-demo/simple-demo/src/main/java/test/jdkapi/juc/thread_pool/TestSchedule.java JDK 版本 openjdk version "17" 2021-09-14 OpenJDK Runtime Environment…

边缘计算VNC智能盒子如何助力HMI设备实现二次开发?

HMI(Human-Machine Interface)又称人机界面,是用户与机器之间交互和通信的媒介。今天带你了解智能盒子如何助力HMI设备实现二次开发? HMI设备被广泛应用在工业自动化中,具有显示设备信息,实时监测&#xf…

python爬虫--scrapy框架

Scrapy 一 介绍 Scrapy简介 1.Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛2.框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非…

GPT-5对普通人有何影响

这篇文章对ChatGPT的使用方法和提问技巧进行了讨论,重点强调了背景信息和具体提问的重要性。文章清晰地传达了如何提高ChatGPT回答的质量,以及个人在使用ChatGPT时的体会和建议。然而,文章在逻辑组织和表达方面还有一些可以改进的地方&#x…