小程序中使用微信同声传译插件实现语音识别、语音合成、文本翻译功能----语音识别(一)

官方文档链接:https://mp.weixin.qq.com/wxopen/plugindevdoc?appid=wx069ba97219f66d99&token=370941954&lang=zh_CN#-
要使用插件需要先在小程序管理后台的设置->第三方设置->插件管理中添加插件,目前该插件仅认证后的小程序。
添加插件

语音识别功能

提供语音的实时流式识别能力,通过获取全局唯一的语音识别管理器recordRecoManager实现。

recordRecoManager对象的方法

1、start 开始语音识别

参数说明:
duration:指定录音的时长,单位ms,Number类型,默认值为60000,最大为60000。如果传入了合法的 duration ,在到达指定的 duration 后会自动停止录音。
lang:识别的语言,String类型,默认值zh_CN,目前支持zh_CN en_US zh_HK sichuanhua

2、stop 结束语音识别

3、onStart 正常开始录音识别时会调用

回调结果说明:
res:String类型,默认Ok

4、onRecognize 有新的识别内容返回会调用

回调结果说明:
result:识别结果,String类型

5、onStop 识别结束监听

回调结果说明:
tempFilePath:录音临时文件地址,String类型;
duration:录音总时长,单位: ms,Number类型;
fileSize:文件大小,单位: B,Number类型;
Result:最终识别结果,String类型。

6、onError 识别错误监听

回调结果说明:
retcode:错误码,Int类型;
msg:错误信息, String类型

使用:

1、注册插件

在app.json中注册插件
“plugins”: {
“WechatSI”: {
“version”: “0.3.5”,
“provider”: “wx069ba97219f66d99”
}
},

2、在页面中引入插件并获取语音识别管理器

//引入微信同声传译插件
const plugin = requirePlugin(‘WechatSI’);
//获取全局唯一的语音识别管理器recordRecoManager
const manager = plugin.getRecordRecognitionManager();

这里要注意:需要获取录音的权限,并且在用户隐私协议中加入,否则无法使用。
// 权限询问
getRecordAuth: function() {
wx.getSetting({
success: (res) => {
if (!res.authSetting[‘scope.record’]) {
wx.authorize({
scope: ‘scope.record’,
success() {
// 用户已经同意小程序使用录音功能,后续调用 wx.startRecord 接口不会弹窗询问
console.log(“succ auth”)
}, fail: () => {
console.log(“fail auth”)
this.userAuthFail(‘scope.record’, ‘请授权录音服务,用于获取语音识别’).then(authRecordRes => {
console.log(authRecordRes);
}).catch(authRecordErr => {
console.log(authRecordErr);
wx.showToast({
title: authRecordErr,
icon: ‘none’,
duration: 2000,
})
})
}
})
} else {
console.log(“record has been authed”)
}
}, fail(res) {
console.log(“fail”)
console.log(res)
}
})
},

用户拒绝授权
@param {string} scope 需授权的权限
@param {string} tip 权限对应的提示

userAuthFail(scope, tip) {
return new Promise((resolve, reject) => {
wx.showModal({
title: ‘提示’,
content: tip,
confirmText: ‘去授权’,
cancelText: ‘不授权’,
success(res) {
if (res.confirm) {
wx.openSetting({
success: (res) => {
resolve(res.authSetting[scope])
}
})
}
if (res.cancel) {
reject(‘您拒绝了授权’)
}
},
})
})
},

3、上述1、2步骤完成后开始语音识别初始化

//识别语音 – 初始化
initRecord: function () {
const that = this;
// 有新的识别内容返回,则会调用此事件
manager.onRecognize = function (res) {
console.log(res)
if (res.result === ‘’) return
const text = that.data.content + res.result
that.setData({
content: text
})
}
// 正常开始录音识别时会调用此事件
manager.onStart = function (res) {
console.log(“成功开始识别”, res)
}
// 识别错误事件
manager.onError = function (res) {
console.error(“error msg”, res)
}
//识别结束事件
manager.onStop = function (res) {
console.log(‘------结束-------’)
console.log(res);
console.log(‘录音临时文件地址 -->’ + res.tempFilePath);
console.log(‘录音总时长 -->’ + res.duration + ‘ms’);
console.log('文件大小 --> ’ + res.fileSize + ‘B’);
console.log('语音内容 --> ’ + res.result);
if (res.result == ‘’) {
console.log(‘没有听清楚,请再说一遍’);
return;
}
// 识别内容拼接
var text = that.data.content + res.result;
console.log(text); // 最后识别内容
}
},

//语音 --按住说话
touchStart(e) {
console.log(‘start’);
// 语音开始识别
manager.start({
lang: ‘zh_CN’,// 识别的语言,目前支持zh_CN en_US zh_HK sichuanhua
})
},
//语音 --松开结束
touchEnd(e) {
// 语音结束识别
manager.stop();
},

语音识别错误时的错误码说明:
-30001 录音接口出错
-30002 录音暂停接口被调用,录音终止,识别终止
-30003 录音帧数据未产生或者发送失败导致的数据传输失败
-30004 因网络或者其他非正常状态导致的未查询识别结果
-30005 语音识别服务内部错误
-30006 语音识别服务未在限定时间内识别完成
-30007 start启动参数错误
-30008 查询请求时网络失败
-30009 创建鉴权内部失败
-30010 发送鉴权时网络失败
-30011 试图在识别正在进行中是再次调用start,返回错误,正在进行的识别任务正常进行
-30012 当前无识别任务进行时调用stop错误
-30013 其他未知错误
-40001 达到接口调用频率限制

案例实现代码:

<view class="container-voice"><!-- maxlength最大输入长度,设置为-1时不限制最大长度 --><textarea class="content" maxlength="-1" placeholder='等待说话' value="{{content}}" bindinput="conInput"/><!-- <view class="content">识别的内容:{{content}}</view> --><button class="btn" type="primary" bind:touchstart="touchStart" bind:touchend="touchEnd"><text wx:if="{{recordState == false}}">按住说话</text><text wx:else>松开结束</text></button>
</view>
//引入插件:微信同声传译
const plugin = requirePlugin('WechatSI');
//获取全局唯一的语音识别管理器recordRecoManager
const manager = plugin.getRecordRecognitionManager();Page({/*** 页面的初始数据*/data: {//语音recordState: false, //录音状态content:'',//识别的内容},/*** 生命周期函数--监听页面加载*/onLoad: function (options) {console.log('load');//识别语音this.initRecord();},onShow(){// 获取录音授权this.getRecordAuth()},// 权限询问getRecordAuth: function() {wx.getSetting({success: (res) => {if (!res.authSetting['scope.record']) {wx.authorize({scope: 'scope.record',success() {// 用户已经同意小程序使用录音功能,后续调用 wx.startRecord 接口不会弹窗询问console.log("succ auth")}, fail: () => {console.log("fail auth")this.userAuthFail('scope.record', '请授权录音服务,用于获取语音识别').then(authRecordRes => {console.log(authRecordRes);}).catch(authRecordErr => {console.log(authRecordErr);wx.showToast({title: authRecordErr,icon: 'none',duration: 2000,})})}})} else {console.log("record has been authed")}}, fail(res) {console.log("fail")console.log(res)}})},/*** 用户拒绝授权* @param {string} scope 需授权的权限* @param {string} tip 权限对应的提示*/userAuthFail(scope, tip) {return new Promise((resolve, reject) => {wx.showModal({title: '提示',content: tip,confirmText: '去授权',cancelText: '不授权',success(res) {if (res.confirm) {wx.openSetting({success: (res) => {resolve(res.authSetting[scope])}})}if (res.cancel) {reject('您拒绝了授权')}},})})},// 手动输入内容conInput: function (e) {this.setData({content:e.detail.value,})},//识别语音 -- 初始化initRecord: function () {const that = this;// 有新的识别内容返回,则会调用此事件manager.onRecognize = function (res) {console.log(res)if (res.result === '') returnconst text = that.data.content + res.resultthat.setData({content: text})}// 正常开始录音识别时会调用此事件manager.onStart = function (res) {console.log("成功开始识别", res)}// 识别错误事件manager.onError = function (res) {console.error("error msg", res)}//识别结束事件manager.onStop = function (res) {console.log('------结束-------')console.log(res);console.log('录音临时文件地址 -->' + res.tempFilePath); console.log('录音总时长 -->' + res.duration + 'ms'); console.log('文件大小 --> ' + res.fileSize + 'B');console.log('语音内容 --> ' + res.result);if (res.result == '') {that.playTextToVoice('我没有听清楚,请重新说一遍!')return;}var text = that.data.content + res.result;that.setData({content: text})}},//语音  --按住说话touchStart: function (e) {console.log('start');this.setData({recordState: true  //录音状态})// 语音开始识别manager.start({lang: 'zh_CN',// 识别的语言,目前支持zh_CN en_US zh_HK sichuanhua})},//语音  --松开结束touchEnd: function (e) {console.log('end');this.setData({recordState: false})// 语音结束识别manager.stop();},
})
page{box-sizing: border-box;/* 兼容ios<11.2 */padding-bottom: constant(safe-area-inset-bottom);  /* 底部安全区域*//* 兼容ios>11.2 */padding-bottom: env(safe-area-inset-bottom);/* env() 跟 constant() 需要同时存在,而且顺序[先c后e]不能换 */
}
.content{width: 100%;border: 1rpx solid green;padding: 20rpx;line-height: 34rpx;min-height: 34rpx;
}
.btn{position: fixed;left: 50%;bottom: 0;/* ios 适配 */bottom: constant(safe-area-inset-bottom);bottom: env(safe-area-inset-bottom);transform: translateX(-50%);margin-top: 20rpx;
}

效果图

具体案例代码亦可参考:https://gitee.com/mei-ruohan/mini-program-collection/tree/master/pages/voice2text

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/625671.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

了解Dubbo配置:优先级、重试和容错机制的秘密【五】

欢迎来到我的博客&#xff0c;代码的世界里&#xff0c;每一行都是一个故事 了解Dubbo配置&#xff1a;优先级、重试和容错机制的秘密【五】 前言Dubbo高级配置概述不同配置覆盖关系重试与容错处理机制负载均衡机制 前言 Dubbo作为一款强大的分布式服务框架&#xff0c;其高级…

(2024,分数蒸馏抽样,Delta 降噪分数,LoRA)PALP:文本到图像模型的提示对齐个性化

PALP: Prompt Aligned Personalization of Text-to-Image Models 公和众和号&#xff1a;EDPJ&#xff08;进 Q 交流群&#xff1a;922230617 或加 VX&#xff1a;CV_EDPJ 进 V 交流群&#xff09; 目录 0. 摘要 4. 提示对齐方法 4.1 概述 4.2 个性化 4.3 提示对齐分数抽…

报表生成器FastReport .Net用户指南:数据源与“Data“窗口

FastReport .Net是一款全功能的Windows Forms、ASP.NET和MVC报表分析解决方案&#xff0c;使用FastReport .NET可以创建独立于应用程序的.NET报表&#xff0c;同时FastReport .Net支持中文、英语等14种语言&#xff0c;可以让你的产品保证真正的国际性。 FastReport.NET官方版…

央视推荐的护眼灯是哪款?教育部认可护眼灯品牌

许多家长一般都会给孩子买上许多学习用品&#xff0c;比如现在一些学习桌椅、读写笔灯等等&#xff0c;配有蛮多的学习用具&#xff0c;但对孩子学习时用的护眼台灯很忽略&#xff0c;没有给孩子选好真正合格好用的护眼台灯&#xff0c;就容易让孩子的视觉形成偏差&#xff0c;…

Pixel手机进入工程模式、是否是Version版本?

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…

APP加固原理与作用

文章目录 引言正文1. 什么是APP加固&#xff0c;加固原理是什么&#xff1f;2. 加固的作用是什么&#xff1f;加固后是否完全不会被破解&#xff1f;3. 如何提前规避加固新版本可能带来的风险&#xff1f;4. 付费加固与免费加固的区别是什么&#xff1f; 白嫖的混淆加密工具总结…

代码随想录刷题笔记(DAY11)

今日总结&#xff1a;继续准备期末&#xff0c;今天的算法题目比较简单&#xff0c;晚上看看能不能再整理一篇前端的笔记。 Day 11 01. 有效的括号&#xff08;No. 20&#xff09; 题目链接 代码随想录题解 1.1 题目 给定一个只包括 (&#xff0c;)&#xff0c;{&#xff…

Android-常用数据结构和控件

HashMap 的原理 HashMap 的内部可以看做数组链表的复合结构。数组被分为一个个的桶(bucket)。哈希值决定了键值对在数组中的寻址。具有相同哈希值的键值对会组成链表。需要注意的是当链表长度超过阈值(默认是8)的时候会触发树化&#xff0c;链表会变成树形结构。 把握HashMap的…

5 - 声明式事务

传统事务流程&#xff1a; Connection connection JdbcUtils.getConnection(); try {//1. 先设置事务不要自动提交connection.setAutoCommit(false);//2. 进行各种 crud//多个表的修改&#xff0c;添加 &#xff0c;删除select from 商品表 > 获取价格//修改用户余额updat…

“确定要在不复制其属性的情况下复制此文件?”解决方案(将U盘格式由FAT格式转换为NTFS格式)

文章目录 1.问题描述2.问题分析3.问题解决3.1 方法一3.2 方法二3.3 方法三 1.问题描述 从电脑上复制文件到U盘里会出现“确定要在不复制其属性的情况下复制此文件&#xff1f;”提示。 2.问题分析 如果这个文件在NTFS分区上&#xff0c;且存在特殊的安全属性。那么把它从NT…

请查收“链上天眼”2023年成绩单

1月10日是中国人民警察节&#xff0c;是一份责任&#xff0c;更一份安心&#xff0c;随着科技的发展&#xff0c;链上安全领域的技术与工具不断更新迭代&#xff0c;更加安全的Web3世界正在构建。 根据欧科云链安全团队统计&#xff0c;2023 年全球范围内利用虚拟货币进行诈骗…

Radzen Blazor Studio 脚手架框架解读

背景 组织管理管理准备使用Blazor这个工具实现&#xff0c;因为其有对应的 scaffold 脚手架&#xff0c;先构建数据库&#xff0c;然后通过向导&#xff0c;生成CRUD以及对应的接口&#xff0c;那么有必要看一下&#xff0c;其内部的代码结构是什么样的。 结构 接口层 有两类…

Python——for循环的嵌套

用Python坚持表白一百天&#xff0c;每天都送10朵花&#xff0c;一百天表白成功&#xff01; i1 for i in range(1,101):print(f"今天是表白的第{i}天&#xff0c;坚持ing")for j in range(1,11):print(f"送给你第{j}朵玫瑰花")print("小美我喜欢你&…

Hive 的 安装与使用

目录 1 安装 MySql2 安装 Hive3 Hive 元数据配置到 MySql4 启动 Hive5 Hive 常用交互命令6 Hive 常见属性配置 Hive 官网 1 安装 MySql 为什么需要安装 MySql? 原因在于Hive 默认使用的元数据库为 derby&#xff0c;开启 Hive 之后就会占用元数据库&#xff0c;且不与其他客户…

Mindspore 公开课 - prompt

prompt 介绍 Fine-Tuning to Prompt Learning Pre-train, Fine-tune BERT bidirectional transformer&#xff0c;词语和句子级别的特征抽取&#xff0c;注重文本理解Pre-train: Maked Language Model Next Sentence PredictionFine-tune: 根据任务选取对应的representatio…

算法通关村第十六关—滑动窗口经典问题(白银)

滑动窗口经典问题 一、最长子串专题 1.1 无重复字符的最长子串 LeetCode3给定一个字符串s&#xff0c;请你找出其中不含有重复字符的最长子串的长度。例如&#xff1a; 输入&#xff1a;s"abcabcbb" 输出&#xff1a;3 解释&#xff1a;因为无重复字符的最长子串是…

牛客周赛 Round 28 F

以后需要使用map&#xff0c;set进行二分&#xff0c;并且需要知道二分位置的信息时&#xff0c;不妨考虑使用树状数组进行维护 因为简单版本保证了每个数都为正整数&#xff0c;所以前缀和保证了一定的递增的&#xff0c;即有序的&#xff0c;那么考虑固定左端点&#xff0c;去…

多线程并发与并行

&#x1f4d1;前言 本文主要是【并发与并行】——并发与并行的文章&#xff0c;如果有什么需要改进的地方还请大佬指出⛺️ &#x1f3ac;作者简介&#xff1a;大家好&#xff0c;我是听风与他&#x1f947; ☁️博客首页&#xff1a;CSDN主页听风与他 &#x1f304;每日一句&…

python爬虫之线程与多进程知识点记录

一、线程 1、概念 线程 在一个进程的内部&#xff0c;要同时干多件事&#xff0c;就需要同时运行多个“子任务”&#xff0c;我们把进程内的这些“子任务”叫做线程 是操作系统能够进行运算调度的最小单位。它被包含在进程之中&#xff0c;是进程中的实际运作单位。一条线程指…

DAY01_Spring—Spring框架介绍IOCSpring工厂模式

目录 1 什么是框架2 Spring框架2.1 Spring介绍2.2 MVC模型说明2.3 IOC思想2.3.1 问题说明2.3.2 IOC说明 3 Spring IOC具体实现3.1 环境准备3.1.1 关于JDK说明3.1.2 检查JDK环境配置 3.2 创建项目3.3 关于Maven 命令3.3.1 install 命令3.3.2 clean 命令 3.4 添加jar包文件3.4.1 …