微软TTS最新模型,发布9种更真实的AI语音

很高兴与大家分享 Azure AI 语音翻译产品套件的两个重大更新:

视频翻译和增强的实时语音翻译 API。

视频翻译(批量)

今天,我们宣布推出视频翻译预览版,这是一项突破性的服务,旨在改变企业本地化视频内容的方式。随着全球市场对可访问且引人入胜的视频内容的需求不断增长,视频翻译提供了一种无缝解决方案来克服语言障碍。此次发布包括 Azure Speech,客户可以使用自己的视频资产进行试用,并具有以下交钥匙功能:

  • 对话提取和翻译字幕生成
  • GPT 重新表述,提高了翻译质量并实现了自动时间对齐
  • 预建神经语音,可进行内容编辑,以便手动进行精确对齐和翻译偏好设置
  • 使用个人语音功能(有有限的访问限制)

相应的视频翻译API也即将推出,可以先联系马上获得API早期访问权。视频翻译的客户场景

视频翻译通过授权的视频内容为广泛的商业场景释放商业价值,例如:

  • 电视节目、电影和纪录片:电影制片厂和制作公司可以翻译电影和电视节目以进行国际发行,从而覆盖更广泛的观众并最大限度地提高收入潜力。
  • 教育培训材料视频:教育机构和/或培训项目可以翻译和配音学习视频材料,为全球观众提供准确及时的信息。
  • 广告和营销视频:企业可以本地化他们的广告和营销视频,以引起不同市场目标受众的共鸣,提高品牌知名度和客户参与度。

视频翻译的语言覆盖范围

视频翻译支持下表中的语言对:

源语言目标语言
印地语英语
西班牙语英语
中国人英语
韩国人英语
英语印地语
英语西班牙语
英语中国人
英语意大利语
英语德语
英语俄语

我们还计划在未来的版本中迅速扩大我们的语言覆盖范围。

多语言语音翻译(实时)

除了视频翻译之外,我们还很高兴地宣布推出自动多语言语音翻译,这是我们实时语音翻译 API的一项重大增强。此次发布包含一系列新功能,可实现以前无法实现的更高级别的翻译功能:

  • 最大的变化是用户不再需要设置输入语言。API 现在允许用户接收多种语言的音频,而无需事先指定所使用的语言。这将使他们能够在可能不知道接收语言的情况下翻译音频,例如为多样化的全球客户群提供服务的联系中心。我们非常高兴推出此功能,因为它将为多语言用例开辟一个全新的可能性世界。
  • 除了接收翻译后的音频外,用户还可以通过语言识别 (LID) 支持了解输入音频中使用的语言。虽然模型仍以端到端方式运行,能够处理多种语言,但用户仍然可以收到会话期间使用的每种语言的列表。这对于文档目的或有多个发言者的场景(如多语言会议)非常有用。
  • 语音翻译服务现在还能够在同一会话中处理语言切换。我们允许用户接收多种语言的输入音频,并将它们全部翻译并输出为目标语言。无需设置输入语言,也无需在语言更改时进行新的 API 调用,同一会话可以自动处理语言更改并输出所需语言的翻译。这对于经常在多种母语之间切换的用户,或在商业或教育环境中的多语言会议中,将非常有用,这是一个非常令人兴奋的功能,将创造新的翻译能力水平。

实时语音翻译的客户场景

以下是多语言语音翻译实现的一些以前不可能实现的新客户场景:

  • 日常生活中的翻译:想象一下,您正在纽约这样一个多元化的城市中行走,一个外国人向您走来。他们开始用自己的语言向您询问一些事情,但您不仅不知道他们在说什么,甚至不知道他们在说什么语言。通过将我们的 API 集成到翻译移动应用程序等解决方案中,您不仅会知道用户在说什么语言,还会收到完整的文本翻译(如果您选择,还可以收到音频),让您可以自由地与这个人交流,就像完全没有语言障碍一样。
  • 视频实时翻译字幕:假设您正在尝试法国菜,并想跟着厨师制作红酒炖牛肉的视频一起看 — 全部用法语(您不会说法语)。使用由 Azure 语音翻译 API 提供支持的翻译移动应用,您现在可以播放视频并获得流式翻译字幕,就像厨师在实时教您一样!
  • 多语言会议:真正展示新多语言模型强大功能的独特用例是多语言母语人士参加的会议。假设有这样一种情况,例如外交会议,来自许多国家的代表正在相互交谈。如果他们都启用了我们的 API,他们就可以自由地互相交谈,进行自然的对话,而不必担心语言障碍。该 API 可以自动处理语言切换,并仍翻译成目标语言。即使多种语言的使用者都在同一个房间里,也可以实现无缝对话。

从上述场景可以看出,多语言语音翻译开辟了新的可能性,而这些可能性以前是繁琐、低效或完全不可能的。

多语言语音翻译的语言支持

在公开预览版中,多语言语音翻译将提供输入语言。这意味着这些是 API 将自动检测并从输入之间切换的语言。输出(目标)语言仍然可以是Azure 语音翻译服务支持的任何语言。40 种输入语言如下(以及语言代码):

  • 阿拉伯语 (ar)、巴斯克语 (eu)、波斯尼亚语 (bs)、保加利亚语 (bg)、简体中文 (zh)、繁体中文 (zhh)、捷克语 (cs)、丹麦语 (da)、荷兰语 (nl)、英语 (en)、爱沙尼亚语 (et)、芬兰语 (fi)、法语 (fr)、加利西亚语 (gl)、德语 (de)、希腊语 (el)、印地语 (hi)、匈牙利语 (hu)、印尼语 (id)、意大利语 (it)、日语 (ja)、韩语 (ko)、拉脱维亚语 (lv)、立陶宛语 (lt)、马其顿语 (mk)、挪威语 (nb)、波兰语 (pl)、葡萄牙语 (pt)、罗马尼亚语 (ro)、俄语 (ru)、塞尔维亚语 (sr)、斯洛伐克语 (sk)、斯洛文尼亚语 (sl)、西班牙语 (es)、瑞典语 (sv)、泰语 (th)、土耳其语 (tr)、乌克兰语 (uk)、越南语 (vi) 和威尔士语 (cy)。

在即将推出的版本中,我们计划支持语音翻译支持的所有输入语言。语言和区域设置支持将不断更新和扩展,以使我们的模型更易于所有人使用。

 目前企业需要通过微软官方合作伙伴获取服务,可以合规、稳定地提供企业用户使用Azure AI语音服务的可能,满足国内发票需求。

通过微软官方合作伙伴获取服务,可以合规、稳定地提供企业用户使用ChatGPT的可能,满足国内发票需求,同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

参考链接:
微软 Azure AI服务免费申请试用

使用教程

第一步:注册账号进入官网:

https://azure.microsoft.com/zh-cn/products/ai-services/text-to-speech

点击“免费试用文本转语音”,新用户可获得使用额度,但很少,基本只够测试用

点击“免费开始使用”,这里需要使用微软账号进行登录。

然后进入添加个人信息资料的界面。

手机号验证勾选“其他电话号码”,地区选择中国,然后输入自己的手机号接收验证码即可:

填写完资料后,点击下一步进入信用卡验证,信用卡不会扣费,但要保证里面有1美金才能验证成功。

验证成功后会跳转到Azure主页,点击“转到Azure门户”进入Azure控制台:

第二步:部署语音服务展开左上角菜单栏,打开所有服务:

在所有服务下找到“AI+机器学习”类别,选择语音服务并创建:

创建界面的名称可以随便填,定价层选择“Free F0”,然后点击“审阅并创建”:

继续点击“创建”:

稍等十秒左右语音服务就部署完成了。

第三步:创建语音点击“转到资源”:

继续点击“转到Speech Studio”:

Speech Studio里有很多语音服务,比如“语音转文本”、“语音转字幕”等等,都可以直接使用。

下滑找到文本转语音服务的语音库,点击进入:

在这里我们就可以看到不同国家的各种声音模型,之后Microsoft Azure上新语音模型也会更新到这里。

每个声音模型也都配置了不同的对话场景和情绪,甚至还有各种方言,可以说是目前市面上最全的AI语音库了。

随便点击一个试听一下效果:



,时长00:22

 

效果虽然没法和开头展示的语音效果相媲美,但是已经非常接近真人声音了。

选择好想用的声音模型,点击转到有声内容创作。

把文本内容粘贴到文本框,点击播放按钮就可以进行语音合成。

右侧操作栏可以设置语言、声音模型和说话风格以及气口停顿等等功能,非常齐全。

语音制作完毕之后,点击保存并导出为本地文件,一份文本转语音文件就制作好了。

之后再制作有声读物、小说推文或者是其他有声内容时就可以直接使用Microsoft Azure。无论是声音模型的丰富度还是功能的易用性,Microsoft Azure基本上就相当于语音合成领域的OpenAI。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/32575.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

更改ip后还被封是ip质量的原因吗?

不同的代理IP的质量相同,一般来说可以根据以下几个因素来进行判断: 1.可用率 可用率就是提取的这些代理IP中可以正常使用的比率。假如我们无法使用某个代理IP请求目标网站或者请求超时,那么就代表这个代理不可用,一般来说免费代…

mysql学习——SQL中的DQL和DCL

SQL中的DQL和DCL DQL基本查询条件查询聚合函数分组查询排序查询分页查询 DCL管理用户权限控制 学习黑马MySQL课程,记录笔记,用于复习。 DQL DQL英文全称是Data Query Language(数据查询语言),数据查询语言,用来查询数据库中表的记…

Flowable更改默认数据库H2到Mysql数据库

Flowable更改默认数据库H2到Mysql数据库 1、下载flowable安装包,从官方下载,下载后解压缩 2、将flowable-ui.war包拷贝到tomcat里面的webapps目录,tomcat的安装在此就不熬术了。 3、此时启动tomcat,flowable-ui会使用默认的H2…

碳+绿证如何能源匹配?考虑碳交易和绿证交易制度的电力批发市场能源优化程序代码!

前言 近年来,面对日益受到全社会关注的气候变化问题,国外尤其是欧美等发达国家和地区针对电力行业制定了一系列碳减排组合机制。其中,碳排放权交易(以下简称“碳交易”)和绿色电力证书交易(以下简称“绿证…

【Docker】Docker简介_运行原理

1、简介 1.1基本概念 容器:容器是Docker的基本部署单元。它是一个轻量级的、独立的运行时环境,包含应用程序及其相关依赖。容器利用Linux内核的命名空间和控制组技术,实现了隔离性和资源管理,使得应用程序在不同的容器中运行不会…

C++并发之协程实例(三)(co_await)

目录 1 协程2 实例3 运行 1 协程 协程(Coroutines)是一个可以挂起执行以便稍后恢复的函数。协程是无堆栈的:它们通过返回到调用方来暂停执行,并且恢复执行所需的数据与堆栈分开存储。这允许异步执行的顺序代码(例如,在没有显式回调…

【Oracle】实验一 安装和使用Oracle数据库

【实验目的】 掌握Oracle软件安装过程,选择安装组件掌握建立Oracle数据库,配置网络连接使用SQL*Plus,登录到实例和数据库掌握命令方式的关闭和启动实例及数据库 【实验内容】 安装Oracle19c,记录安装过程。切记:创建…

自然语言处理学习路线(1)——NLP的基本流程

NLP基本流程 【NLP基本流程】 0. 获取语料 ——> 1. 语料预处理 ——> 2. 特征工程&选择 ——> 3. 模型训练 ——> 4. 模型输出&上线 【NLP基本流程图】 Reference 1. 自然语言处理(NLP)的一般处理流程!-腾讯云开发者社区-腾讯云 2. …

数组初了解

一.引入 现在,有一个场景需求,我们需要将10个数字存入,也就是10个变量。但如果场景需求改变,是用户输入了10个数,让我们求里面的最大值。那10个变量就显得过于臃肿。 我们需要一个新的数据结构,来装一系列…

贪心推公式——AcWing 125. 耍杂技的牛

贪心推公式 定义 贪心算法是一种在每一步选择中都采取在当前状态下最优的选择,希望通过局部的最优选择来得到全局最优解的算法策略。 运用情况 问题具有最优子结构,即一个问题的最优解包含其子问题的最优解。可以通过局部最优决策逐步推导到全局最优…

stm32学习笔记---GPIO输入(理论部分)

目录 GPIO输入模式下的硬件和电路 按键原理 传感器原理 什么是上下拉电阻? 运算放大器当做比较器 按键的硬件电路 传感器的硬件电路 STM32用到的C语言知识 STM32中的C语言数据类型 C语言中的宏定义 typedef和define的区别是什么? C语言的枚举…

Python itertools模块

itertools 是 Python 标准库中的一个模块,它提供了许多用于操作迭代对象的工具函数。这些函数可以高效地生成迭代器,用于处理序列和集合,特别适用于循环和组合数学。以下是 itertools 模块中一些常用函数的概述: 一、无限迭代器 i…

如何理解广角镜头和长焦镜头的区别。

为什么广角镜头的视野会比长焦镜头的视野大呢? 我之前用等光程解释了景深,也解释了为什么焦距越远,成像越大,但是从来没有提到过视野范围这个概念。实际上在我之前建立的数学模型中,物曲面S是无限大的,像曲…

管综 之 逻辑

1.复言命题 1.1假言推理 1.命题模型识别:当题干中出现如果那么,只有才,当且仅当等典型关联词时此题考的是简单假言推理问题 2.三步解题法:1️⃣:画箭头 2️⃣:递否 3️⃣:找答案 口诀: [口诀1]充分条件前推后 [口诀2]逆否命题等价于原命题 […

一加全机型TWRP合集/橙狐recovery下载-20240603更新-支持一加12/Ace3V手机

TWRP是目前安卓平台的刷机神器,可快速刷写第三方ROM或官方系统,刷入TWRP之前需要解锁BL,目前已适配一加多个机型。ROM乐园小编20240603整理,涵盖一加1到一加Ace3V多机型专用TWRP文件,个人机型橙狐recovery适配相对完整…

自制HTML5游戏《贪吃蛇》

一、游戏简介 贪吃蛇是一款经典的电子游戏,最早在1976年由Gremlin公司推出,名为"Blockade"。游戏的玩法简单却富有挑战性,玩家控制一条蛇在封闭的场地内移动,通过吃食物增长身体,同时避免撞到自己的身体或场…

第3章 小功能大用处-Bitmaps、HyperLogLog、GEO

1.Bitmaps 1.1数据结构模型 现代计算机用二进制(位)作为信息的基础单位,1个字节等于8位,例 如“big”字符串是由3个字节组成,但实际在计算机存储时将其用二进制表 示,“big”分别对应的ASCII码分别是98、10…

22.智能指针(下)

标题 五、引用计数智能指针5.1 共享引用计数智能指针共享数据5.2 使用Box定义三个共享链表5.3 使用Rc代替Box5.4 引用计数增加实验 六、RefCell和内部可变性模式6.1 通过RefCell在运行时检查借用规则6.2 内部可变性:不可变值的可变借用1)内部可变性的用例…

论文《Universal Graph Convolutional Networks》笔记

【UGCN】论文提出一个基本问题,即是否不同的网络结构属性应该采用不同的传播机制。通过实验发现,对于完全同配性、完全异配性和随机性的网络,1-hop、2-hop和k-nearest neighbor(kNN)邻居分别更适合作为信息传播的邻域。…

maven的安装以及配置

前言: Maven是一个强大的构建自动化工具,主要用于Java项目。它解决了软件开发中的两个方面: 构建和依赖管理:Maven通过在项目对象模型(POM)文件中指定依赖关系,简化了项目构建和依赖管理的过程…