一、概述
语音合成又叫文字转语音(TTS-text to speech ),本专题我们记录从零搭建一个完整的语音合成系统,包括文本前端、声学模型和声码器,从模型训练到系统的工程化实现,模型可以部署在手机等嵌入式设备上,也可以部署在本地或云端服务器上。 更多资料和代码可以进入 https://t.zsxq.com/qgmoN ,同时欢迎大家提出宝贵的建议,以共同探讨学习。
二、效果演示
2.1 示例1
(1)文本:那是什么,怎么有如此恐怖的魂力?
(2)语音:
语音合成实例1
2.2 示例2
(1)文本:紫色龙影一闪即逝,众人根本没看清是什 么东西。
(2)语音:
语音合成实例2
三、技术路线
前期我们对比了基于merlin等传统的基于pipline的方式和基于tacotron及tacotron2等端到端的方式,基于merlin的方式对文本前端的依赖更强,且声学模型训练更为复杂,需要对音素做对齐,对时长模型和声学模型单独训练。端到端模型可以通过一个模型解决这些问题,降低文本前端的复杂性,并且合成效果更好。所以我们采用文本前端+tacotron2+lpcnet声码器的技术路线。
四、总结
本节我们总体概括了语音合成的技术路线,并对最终结果进行了展示。后面章节将完整实现一个端到端的语音合成系统。