大模型交互-超拟人合成

1、超拟人合成:将文字转化为自然流畅的人声,在实时语音合成的基础上,精准模拟人类的副语言现象,如呼吸、叹气、语速变化等,使得语音不仅流畅自然,更富有情感和生命力
2、唤醒的持久运行--->合成能力加持(唤醒成功后语音答复:主人 我在)--->调用在线或离线听写能力(建议用讯飞在线效果好)--->识别用户说的语音成文字后发给大模型--->建议调用讯飞星火认知大模型--->获取大模型答案后调用语音合成(合成在线离线均可)进行答案输出。这样就顺利实现了用纯语音与大模型进行交互!
3、在获取大模型答案后调用语音合成(合成在线离线均可)进行答案输出环节,讯飞推出超拟人合成,交互更像真人。
4、通过对大模型返回及时性与合成及时性的结合,逻辑编排使得模拟真人交互成为可能。
5、超拟人合成Java调用示例给大家!

package com.iflytek;import com.google.gson.Gson;
import okhttp3.HttpUrl;
import org.java_websocket.WebSocket;
import org.java_websocket.client.WebSocketClient;
import org.java_websocket.handshake.ServerHandshake;import javax.crypto.Mac;
import javax.crypto.spec.SecretKeySpec;
import java.io.*;
import java.net.URI;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.text.SimpleDateFormat;
import java.util.*;/*** 语音合成流式 WebAPI 接口调用示例 接口文档(必看):https://www.xfyun.cn/doc/tts/online_tts/API.html* 发音人使用方式:登陆开放平台https://www.xfyun.cn/后,到控制台-我的应用-语音合成-添加试用或购买发音人,添加后即显示该发音人参数值* 错误码链接:https://www.xfyun.cn/document/error-code (code返回错误码时必看)* 小语种需要传输小语种文本、使用小语种发音人vcn、tte=unicode以及修改文本编码方式**/
public class WebTtsWs {// 地址与鉴权信息// public static final String hostUrl = "https://tts-api.xfyun.cn/v2/tts"; // 普通合成public static final String hostUrl = "https://cbm01.cn-huabei-1.xf-yun.com/v1/private/medd90fec"; // 超拟人合成// 均到控制台-语音合成页面获取public static final String appid = "";public static final String apiSecret = "";public static final String apiKey = "";// 合成文本public static final String TEXT = "商鞅(约公元前390年—前338年),卫国人,公孙氏,姬姓,名鞅。他是一位重要的战国时期政治家、改革家、思想家和军事家。作为法家派别的代表人物,商鞅积极实行变法。在秦孝公的请求下,他提出并实施了一系列深远影响的改革措施,这被称为“商鞅变法”。这些措施包括废除井田制、重视农业、奖励军功、统一度量衡和建立县制等。虽然在他的领导下,秦国强大并繁荣,但他也因其严苛的法律而饱受争议。总的来说,商鞅是一位影响力深远的历史人物。";// 合成文本编码格式public static final String TTE = "UTF8"; // 小语种必须使用UNICODE编码作为值// 发音人参数。到控制台-我的应用-语音合成-添加试用或购买发音人,添加后即显示该发音人参数值,若试用未添加的发音人会报错11200public static final String VCN = "xiaoyan";// 合成文件名称public static final String OUTPUT_FILE_PATH = "src/main/resources/tts/" + System.currentTimeMillis() + ".pcm";// jsonpublic static final Gson gson = new Gson();public static boolean wsCloseFlag = false;public static long startTime = System.currentTimeMillis();public static long endTime = System.currentTimeMillis();public static boolean ttsWorkingFlag = false;public static void main(String[] args) throws Exception {String wsUrl = getAuthUrl(hostUrl, apiKey, apiSecret).replace("https://", "wss://");OutputStream outputStream = new FileOutputStream(OUTPUT_FILE_PATH);websocketWork(wsUrl, outputStream);}// Websocket方法public static void websocketWork(String wsUrl, OutputStream outputStream) {try {URI uri = new URI(wsUrl);WebSocketClient webSocketClient = new WebSocketClient(uri) {@Overridepublic void onOpen(ServerHandshake serverHandshake) {try {    //实时播放Constants.TTS_SOURCE_DATA_LINE.open(Constants.TTS_AUDIO_FORMAT);Constants.TTS_SOURCE_DATA_LINE.start();} catch (Exception e) {e.printStackTrace();}ttsWorkingFlag = true;startTime = System.currentTimeMillis();System.out.println("ws建立连接成功...");}@Overridepublic void onMessage(String text) {System.out.println("返回结果打印:" + text);JsonParse myJsonParse = gson.fromJson(text, JsonParse.class);if (myJsonParse.header.code != 0) {System.out.println("发生错误,错误码为:" + myJsonParse.header.code);System.out.println("本次请求的sid为:" + myJsonParse.header.sid);}/*     if (myJsonParse.header.status == 2) {try {outputStream.close();} catch (IOException e) {e.printStackTrace();}endTime = System.currentTimeMillis();System.out.println("本次合成耗时:" + (endTime - startTime) + "ms");System.out.println("本次请求的sid==>" + myJsonParse.header.sid);System.out.println("合成成功,文件保存路径为==>" + OUTPUT_FILE_PATH);// 可以关闭连接,释放资源ttsWorkingFlag = false;wsCloseFlag = true;Constants.TTS_SOURCE_DATA_LINE.stop();Constants.TTS_SOURCE_DATA_LINE.close();}*/if (myJsonParse.payload.audio.audio != null) {try {byte[] textBase64Decode = Base64.getDecoder().decode(myJsonParse.payload.audio.audio);outputStream.write(textBase64Decode);outputStream.flush();} catch (Exception e) {e.printStackTrace();}// 实时播报try {byte[] textBase64Decode = Base64.getDecoder().decode(myJsonParse.payload.audio.audio);/* outputStream.write(textBase64Decode);outputStream.flush();*/if (ttsWorkingFlag) {Constants.TTS_SOURCE_DATA_LINE.write(textBase64Decode, 0, textBase64Decode.length); //实时写音频流// System.err.println("写入");} else {Constants.TTS_SOURCE_DATA_LINE.stop();Constants.TTS_SOURCE_DATA_LINE.close();}} catch (Exception e) {e.printStackTrace();}}}@Overridepublic void onClose(int i, String s, boolean b) {System.out.println("ws链接已关闭,本次请求完成...");}@Overridepublic void onError(Exception e) {if (e.getMessage() != null) {System.out.println("发生错误 " + e.getMessage());}}};// 建立连接webSocketClient.connect();while (!webSocketClient.getReadyState().equals(WebSocket.READYSTATE.OPEN)) {//System.out.println("正在连接...");Thread.sleep(100);}MyThread webSocketThread = new MyThread(webSocketClient);webSocketThread.start();} catch (Exception e) {System.out.println(e.getMessage());}}// 线程来发送音频与参数static class MyThread extends Thread {WebSocketClient webSocketClient;public MyThread(WebSocketClient webSocketClient) {this.webSocketClient = webSocketClient;}public void run() {String requestJson;//请求参数json串try {requestJson = "{\n" + "  \"common\": {\n" + "    \"app_id\": \"" + appid + "\"\n" + "  },\n" + "  \"business\": {\n" + "    \"aue\": \"raw\",\n" + "    \"tte\": \"" + TTE + "\",\n" + "    \"ent\": \"intp65\",\n" + "    \"vcn\": \"" + VCN + "\",\n" + "    \"pitch\": 50,\n" + "    \"speed\": 50\n" + "  },\n" + "  \"data\": {\n" + "    \"status\": 2,\n" + "    \"text\": \"" + Base64.getEncoder().encodeToString(TEXT.getBytes(StandardCharsets.UTF_8)) + "\"\n" +//"    \"text\": \"" + Base64.getEncoder().encodeToString(TEXT.getBytes("UTF-16LE")) + "\"\n" +"  }\n" + "}";requestJson = "{\n" + "  \"header\": {\n" + "    \"app_id\": \"" + appid + "\",\n" + "    \"status\": 0\n" + "  },\n" + "  \"parameter\": {\n" + "    \"oral\": {\n" + "      \"spark_assist\": 1,\n" + "      \"oral_level\": \"mid\"\n" + "    },\n" + "    \"tts\": {\n" + "      \"vcn\": \"x4_lingxiaoxuan_oral\",\n" + "      \"speed\": 50,\n" + "      \"volume\": 50,\n" + "      \"pitch\": 50,\n" + "      \"bgs\": 0,\n" + "      \"reg\": 0,\n" + "      \"rdn\": 0,\n" + "      \"rhy\": 0,\n" + "      \"scn\": 0,\n" + "      \"version\": 0,\n" + "      \"L5SilLen\": 1000,\n" + "      \"ParagraphSilLen\": 0,\n" + "      \"audio\": {\n" + "        \"encoding\": \"raw\",\n" + "        \"sample_rate\": 16000,\n" + "        \"channels\": 1,\n" + "        \"bit_depth\": 16,\n" + "        \"frame_size\": 0\n" + "      },\n" + "      \"pybuf\": {\n" + "        \"encoding\": \"utf8\",\n" + "        \"compress\": \"raw\",\n" + "        \"format\": \"plain\"\n" + "      }\n" + "    }\n" + "  },\n" + "  \"payload\": {\n" + "    \"text\": {\n" + "      \"encoding\": \"utf8\",\n" + "      \"compress\": \"raw\",\n" + "      \"format\": \"json\",\n" + "      \"status\": 0,\n" + "      \"seq\": 0,\n" + "      \"text\": \"" + Base64.getEncoder().encodeToString(TEXT.getBytes(StandardCharsets.UTF_8)) + "\"\n" + "    },\n" + "    \"user_text\": {\n" + "      \"encoding\": \"utf8\",\n" + "      \"compress\": \"raw\",\n" + "      \"format\": \"json\",\n" + "      \"status\": 0,\n" + "      \"seq\": 0,\n" + "      \"text\": \"" + Base64.getEncoder().encodeToString(TEXT.getBytes(StandardCharsets.UTF_8)) + "\"\n" + "    }\n" + "  }\n" + "}";System.err.println(requestJson);webSocketClient.send(requestJson);// 等待服务端返回完毕后关闭while (!wsCloseFlag) {Thread.sleep(200);}webSocketClient.close();} catch (Exception e) {e.printStackTrace();}}}// 鉴权方法public static String getAuthUrl(String hostUrl, String apiKey, String apiSecret) throws Exception {URL url = new URL(hostUrl);// 时间SimpleDateFormat format = new SimpleDateFormat("EEE, dd MMM yyyy HH:mm:ss z", Locale.US);format.setTimeZone(TimeZone.getTimeZone("GMT"));String date = format.format(new Date());// 拼接String preStr = "host: " + url.getHost() + "\n" + "date: " + date + "\n" + "GET " + url.getPath() + " HTTP/1.1";//System.out.println(preStr);// SHA256加密Mac mac = Mac.getInstance("hmacsha256");SecretKeySpec spec = new SecretKeySpec(apiSecret.getBytes(StandardCharsets.UTF_8), "hmacsha256");mac.init(spec);byte[] hexDigits = mac.doFinal(preStr.getBytes(StandardCharsets.UTF_8));// Base64加密String sha = Base64.getEncoder().encodeToString(hexDigits);// 拼接String authorization = String.format("api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"", apiKey, "hmac-sha256", "host date request-line", sha);// 拼接地址HttpUrl httpUrl = Objects.requireNonNull(HttpUrl.parse("https://" + url.getHost() + url.getPath())).newBuilder().//addQueryParameter("authorization", Base64.getEncoder().encodeToString(authorization.getBytes(StandardCharsets.UTF_8))).//addQueryParameter("date", date).//addQueryParameter("host", url.getHost()).//build();return httpUrl.toString();}//返回的json结果拆解class JsonParse {Header header;Payload payload;}class Header {int code;String sid;int status;}class Payload {Audio audio;}class Audio {String audio;int seq;}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/724805.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

kerberos学习系列一:原理

1、简介 Kerberos 一词来源于古希腊神话中的 Cerberus —— 守护地狱之门的三头犬。 Kerberos 是一种基于加密 Ticket 的身份认证协议。Kerberos 主要由三个部分组成:Key Distribution Center (即KDC)、Client 和 Service。 优势: 密码无需进行网络传…

Docker数据卷篇

1. 数据卷(容器数据管理) 引言:在之前的nginx案例中,修改nginx的html页面时,需要进入nginx内部。并且因为没有编辑器,修改文件也很麻烦。 这就是因为容器与数据(容器内文件)耦合带…

Scrapy与分布式开发(3):Scrapy核心组件与运行机制

Scrapy核心组件与运行机制 引言 这一章开始讲解Scrapy核心组件的功能与作用,通过流程图了解整体的运行机制,然后了解它的安装与项目创建,为后续实战做好准备。 Scrapy定义 Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架…

Claude3荣登榜首,亚马逊云科技为您提供先行体验!

Claude3荣登榜首,亚马逊云科技为您提供先行体验! 个人简介前言抢先体验关于Amazon BedrockAmazon Bedrock 的功能 Claude3体验教程登录Amazon Bedrock试用体验管理权限详细操作步骤1.提交应用场景详细信息2.请求模型的访问权限3.请求成功,开始…

【LeetCode】674. 最长连续递增序列(简单)——代码随想录算法训练营Day52

题目链接&#xff1a; 题目描述 给定一个未经排序的整数数组&#xff0c;找到最长且 连续递增的子序列&#xff0c;并返回该序列的长度。 连续递增的子序列 可以由两个下标 l 和 r&#xff08;l < r&#xff09;确定&#xff0c;如果对于每个 l < i < r&#xff0c…

Mybatis实现分页查询数据(代码实操讲解)

在MyBatis中实现分页查询的常见方式有两种&#xff1a;使用MyBatis内置的分页插件如PageHelper&#xff0c;或者手动编写分页的SQL语句。下面我将为你提供两种方式的示例代码。 使用PageHelper分页插件 首先&#xff0c;确保你的项目中已经添加了PageHelper的依赖。在Maven项…

overleaf latex 笔记

overleaf: www.overleaf.com 导入.tex文件 1.代码空一行&#xff0c;代表文字另起一段 2. 1 2 3 排序 \begin{enumerate} \item \item \item \end{enumerate} 3.插入图片 上传图片并命名 \usepackage{float}导包\begin{figure}[H]&#xff1a;表示将图…

面试题--02

粘包问题 粘包问题是在TCP协议下&#xff0c;发送方发送的多个数据包在接收方接收时&#xff0c;数据之间没有明确的分界线&#xff0c;导致接收方无法正确区分每个数据包&#xff0c;从而无法正确读取数据。 解决办法&#xff1a; 1、服务器和客户端提前协商好每个消息的长度…

数据分析Pandas专栏---第十四章<Pandas训练题(中)>

前言: 继续上一篇: 数据分析Pandas专栏---第十三章&#xff1c;Pandas训练题(初)&#xff1e;-CSDN博客 正文: 题1: 如何将DataFrame的列按照指定的顺序进行排序&#xff1f; 题目&#xff1a; 给定一个DataFrame&#xff0c;包含订单编号、商品名称、商品数量等列&…

【网络安全】漏洞挖掘入门教程(非常详细),小白是如何挖漏洞(技巧篇)0基础入门到精通!

温馨提示&#xff1a; 初学者最好不要上手就去搞漏洞挖掘&#xff0c;因为漏洞挖掘需要很多的系统基础知识和一些理论知识做铺垫&#xff0c;而且难度较大…… 较合理的途径应该从漏洞利用入手&#xff0c;不妨分析一些公开的CVE漏洞。很多漏洞都有比较好的资料&#xff0c;分…

【四】【SQL Server】如何运用SQL Server中查询设计器通关数据库期末查询大题

数据库学生选择1122 数据库展示 course表展示 SC表展示 student表展示 数据库学生选课1122_3 第十一题 第十二题 第十三题 第十四题 第十五题 数据库学生选课1122_4 第十六题 第十七题 第十八题 第十九题 第二十题 数据库学生选课1122_5 第二十一题 第二十二题 结尾 最后&…

保留数据的重装系统教程!(win10系统)

上车警告&#xff01;&#xff01;&#xff01; 本教程无需思考&#xff0c;跟着操作一步一步来就能完成系统的重装。原理是将C盘系统重装&#xff0c;其他盘符数据保存。适用于系统盘重装数据或更改系统版本。 重要提示&#xff01;&#xff01;&#xff01; C盘有重要学习资…

Long-term Correlation Tracking LCT目标跟踪算法原理详解(个人学习笔记)

目录 1. 算法总览2. 算法详解2.1. 基础相关滤波跟踪2.2. 各模块详解2.2.1. 相关跟踪2.2.2. 在线检测器 3. 算法实现3.1. 算法步骤3.2. 实现细节 4. 相关讨论&总结 1. 算法总览 LCT的总体流程如上图所示&#xff0c;其思想为&#xff1a;将长时跟踪&#xff08;long-term tr…

第五节 JDBC驱动程序类型

JDBC驱动程序是什么&#xff1f; JDBC驱动程序在JDBC API中实现定义的接口&#xff0c;用于与数据库服务器进行交互。 例如&#xff0c;使用JDBC驱动程序&#xff0c;可以通过发送SQL或数据库命令&#xff0c;然后使用Java接收结果来打开数据库连接并与数据库进行交互。 JDK…

18.四数之和

题目&#xff1a;给你一个由 n 个整数组成的数组 nums &#xff0c;和一个目标值 target 。请你找出并返回满足下述全部条件且不重复的四元组 [nums[a], nums[b], nums[c], nums[d]] &#xff08;若两个四元组元素一一对应&#xff0c;则认为两个四元组重复&#xff09;&#x…

(力扣题库)字符串相乘(C++)

题意如下&#xff1a; 给定两个以字符串形式表示的非负整数 num1 和 num2&#xff0c;返回 num1 和 num2 的乘积&#xff0c;它们的乘积也表示为字符串形式。 注意&#xff1a;不能使用任何内置的 BigInteger 库或直接将输入转换为整数。 示例 1: 输入: num1 "2"…

每日一题 — 有效三角形的个数

611. 有效三角形的个数 - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 双指针思想&#xff0c;先将数据排序 然后先固定最大的数Max&#xff0c;也就是数组最后的数再定义一左一右两个下标 left 、 right&#xff0c;当这个值相加大于最大的数&#xff0c;那么他两…

Pytorch学习 day05(RandomCrop、Transforms工具使用总结)

RandomCrop 将PIL或Tensor格式的输入图片&#xff0c;随机裁剪指定尺寸的部分输入尺寸可以为序列或单个整形数字代码如下&#xff1a; from PIL import Image from torchvision import transforms from torch.utils.tensorboard import SummaryWriterimg Image.open("i…

token的无感刷新

Token的无感刷新通常通过以下步骤实现&#xff1a; 用户登录时&#xff0c;服务器生成一个访问令牌&#xff08;Access Token&#xff09;和一个刷新令牌&#xff08;Refresh Token&#xff09;&#xff0c;并将其返回给客户端。 客户端在每个请求中携带访问令牌&#xff0c;以…

百度换肤js

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>05 图片切换</title><style type"text/css">*{padding: 0;margin: 0;}#box{border: 1px solid #ccc;width: 430px;height: 70px…