基于百度接口的实时流式语音识别系统

目录

基于百度接口的实时流式语音识别系统

1. 简介

2. 需求分析

3. 系统架构

4. 模块设计

4.1 音频输入模块

4.2 WebSocket通信模块

4.3 音频处理模块

4.4 结果处理模块

5. 接口设计

5.1 WebSocket接口

5.2 音频输入接口

6. 流程图

程序说明文档

1. 安装依赖

2. 运行程序

3. 配置文件 (const.py)

4. 程序结构

5. 代码说明

5.1 主程序

代码说明

结论

基于百度接口的实时流式语音识别系统

1. 简介

本项目实现了一个实时流式语音识别系统，利用百度语音识别服务和WebSocket协议，实现从麦克风捕获音频数据并实时进行语音识别。该系统适用于需要将实时语音转换为文本的应用场景。

2. 需求分析
  • 实时捕获麦克风音频数据
  • 使用WebSocket与百度语音识别服务进行通信
  • 实时发送音频数据并接收识别结果
  • 提供可选的音频输入设备选择
3. 系统架构
  • 音频输入模块：使用PyAudio库捕获麦克风的音频数据。
  • WebSocket通信模块：使用websocket-client库与百度语音识别服务进行通信。
  • 音频处理模块：处理捕获的音频数据并通过WebSocket发送。
  • 结果处理模块：接收并处理百度语音识别服务返回的识别结果。
4. 模块设计
4.1 音频输入模块
  • 功能：从麦克风捕获音频数据并传递给WebSocket模块。
  • 实现：利用PyAudio库的回调函数实现音频数据的实时捕获。
4.2 WebSocket通信模块
  • 功能：与百度语音识别服务建立WebSocket连接，发送音频数据并接收识别结果。
  • 实现：使用websocket-client库实现WebSocket的连接、数据发送和接收。
4.3 音频处理模块
  • 功能：将捕获的音频数据按需处理并转换为适合发送的格式。
  • 实现：将音频数据转换为PCM格式并按帧发送。
4.4 结果处理模块
  • 功能：处理并显示百度语音识别服务返回的识别结果。
  • 实现：解析WebSocket返回的JSON数据并输出识别结果。
5. 接口设计
5.1 WebSocket接口
  • 连接URI：由const.URI定义
  • 连接参数：在连接建立时发送的起始参数帧，包含appid, appkey, dev_pid, cuid, sample, format等。
5.2 音频输入接口
  • 设备选择：列出可用的音频输入设备，用户选择设备索引。
6. 流程图
  1. 启动程序，列出可用音频输入设备，用户选择设备。
  2. 建立WebSocket连接。
  3. 发送起始参数帧。
  4. 开始捕获音频数据，通过WebSocket发送。
  5. 接收并处理识别结果。
  6. 发送结束帧，关闭连接。

程序说明文档

1. 安装依赖

首先，确保安装必要的库：

bash

Copy code

pip install websocket-client pyaudio

2. 运行程序

运行程序时，可以选择输入音频文件路径或者直接使用麦克风捕获音频：

python realtime_asr.py

3. 配置文件 (const.py)

在const.py文件中，需要配置以下参数：

python

Copy code

URI = "your_baidu_asr_service_uri"

APPID = "your_appid"

APPKEY = "your_appkey"

DEV_PID = 1537  # 选择合适的识别模型

4. 程序结构
  • realtime_asr.py：主程序文件，包含实时语音识别的实现。
  • const.py：配置文件，包含WebSocket URI和百度语音识别服务的appid和appkey。
5. 代码说明
5.1 主程序

python code

import websocketimport pyaudioimport threadingimport timeimport uuidimport jsonimport logging

import const

logger = logging.getLogger()

# 配置音频输入

CHUNK = 1024

FORMAT = pyaudio.paInt16

CHANNELS = 1

RATE = 16000

p = pyaudio.PyAudio()

# 列出所有音频设备

info = p.get_host_api_info_by_index(0)

numdevices = info.get('deviceCount')for i in range(0, numdevices):

    if (p.get_device_info_by_host_api_device_index(0, i).get('maxInputChannels')) > 0:

        print("Input Device id ", i, " - ", p.get_device_info_by_host_api_device_index(0, i).get('name'))

# 选择设备

device_index = int(input("Select device index: "))

def send_start_params(ws):

    req = {

        "type": "START",

        "data": {

            "appid": const.APPID,

            "appkey": const.APPKEY,

            "dev_pid": const.DEV_PID,

            "cuid": "yourself_defined_user_id",

            "sample": 16000,

            "format": "pcm"

        }

    }

    body = json.dumps(req)

    ws.send(body, websocket.ABNF.OPCODE_TEXT)

    logger.info("send START frame with params:" + body)

def send_audio(ws):

    def callback(in_data, frame_count, time_info, status):

        ws.send(in_data, websocket.ABNF.OPCODE_BINARY)

        return (in_data, pyaudio.paContinue)

    stream = p.open(format=FORMAT,

                    channels=CHANNELS,

                    rate=RATE,

                    input=True,

                    input_device_index=device_index,

                    frames_per_buffer=CHUNK,

                    stream_callback=callback)

    stream.start_stream()    

    while stream.is_active():

        time.sleep(0.1)

    stream.stop_stream()

    stream.close()

def send_finish(ws):

    req = {

        "type": "FINISH"

    }

    body = json.dumps(req)

    ws.send(body, websocket.ABNF.OPCODE_TEXT)

    logger.info("send FINISH frame")

def send_cancel(ws):

    req = {

        "type": "CANCEL"

    }

    body = json.dumps(req)

    ws.send(body, websocket.ABNF.OPCODE_TEXT)

    logger.info("send Cancel frame")

def on_open(ws):

    def run(*args):

        send_start_params(ws)

        send_audio(ws)

        send_finish(ws)

        logger.debug("thread terminating")

    threading.Thread(target=run).start()

def on_message(ws, message):

    logger.info("Response: " + message)

def on_error(ws, error):

    logger.error("error: " + str(error))

def on_close(ws):

    logger.info("ws close ...")

if __name__ == "__main__":

    logging.basicConfig(format='[%(asctime)-15s] [%(funcName)s()][%(levelname)s] %(message)s')

    logger.setLevel(logging.DEBUG)

    logger.info("begin")

    uri = const.URI + "?sn=" + str(uuid.uuid1())

    logger.info("uri is "+ uri)

    ws_app = websocket.WebSocketApp(uri,

                                    on_open=on_open,

                                    on_message=on_message,

                                    on_error=on_error,

                                    on_close=on_close)

    ws_app.run_forever()

代码说明

  • send_start_params(ws)：发送识别开始的参数帧。
  • send_audio(ws)：实时捕获麦克风音频并通过WebSocket发送。
  • send_finish(ws)：发送识别结束的参数帧。
  • send_cancel(ws)：发送取消识别的参数帧。
  • on_open(ws)：WebSocket连接建立后的回调，启动一个线程发送音频数据。
  • on_message(ws, message)：接收服务端返回的识别结果。
  • on_error(ws, error)：处理连接错误。
  • on_close(ws)：WebSocket连接关闭时的处理。

结论

本系统实现了从麦克风实时捕获音频并通过WebSocket与百度语音识别服务进行通信，实现实时语音识别的功能。该系统可应用于各种需要实时语音转文字的场景，如实时字幕、语音助手等。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/24891.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Playwright 这个强大的自动化测试工具

Playwright 这个强大的自动化测试工具

什么是Playwright库？ Playwright是一个强大的自动化工具，用于编写和执行浏览器自动化脚本，它支持多种浏览器，包括 Chrome、Firefox 和 Safari，并提供了简单而灵活的 API，使得自动化测试和与网页的交互变得…
阅读更多...
RHEL8/Centos8 install for PXE

RHEL8/Centos8 install for PXE

PXE介绍 PXE（Preboot Execution Environment）是预引导执行环境的缩写。它是由Intel设计的，允许客户端计算机通过网络从服务器上加载操作系统镜像。PXE通常用于大规模部署操作系统，例如在企业或学校环境中。 PXE工作流程如下&…
阅读更多...
【复现】含能量路由器的交直流混合配电网潮流计算

【复现】含能量路由器的交直流混合配电网潮流计算

目录 1 主要内容 2 理论及模型 3 程序结果 4 下载链接 1 主要内容 程序复现《含能量路由器的交直流混合配电网潮流计算》，主要是对算例4.1进行建模分析，理论和方法按照文献所述。能量路由器（ER）作为新兴的电力元器件&#xff…
阅读更多...
Spring Boot通过自定义注解和Redis+Lua脚本实现接口限流

Spring Boot通过自定义注解和Redis+Lua脚本实现接口限流

😄 19年之后由于某些原因断更了三年，23年重新扬帆起航，推出更多优质博文，希望大家多多支持～ 🌷 古之立大事者，不惟有超世之才，亦必有坚忍不拔之志 🎐 个人CSND主页——Mi…
阅读更多...
FuTalk设计周刊-Vol.040

FuTalk设计周刊-Vol.040

🔥AI漫谈 热点捕手 1、零代码定制游戏NPC，百川智能发布角色大模型 百川智能此次推出了“角色创建平台搜索增强知识库”的定制化解决方案。通过这一方案，游戏厂商无需编写任何代码，只需通过简单的文字描述，便可以快速…
阅读更多...
IT人的拖延——都是“分心”惹的祸？

IT人的拖延——都是“分心”惹的祸？

典型表现 我们说到拖延的原因有很多，还有一个原因是因为“分心太多“造成的，分心太多的拖延大致上有以下表现： 无法集中注意力： 分心太多会导致我们无法集中注意力在当前的工作任务上，我们可能会经常性地走神或者在工…
阅读更多...
php操作数据库

php操作数据库

<?php session_start(); #面向过程 function create_connection(){ $conn mysqli_connect(127.0.0.1,root,123456,learn_2) or die("数据库连接失败"); mysqli_query($conn,"set names utf8"); return $conn; } #面向对象 function create_connection…
阅读更多...
Vue12-计算属性

Vue12-计算属性

一、姓名案例 1-1、插值语法实现 1、v-bind v-bind的问题&#xff1a; 所以&#xff1a;v-bind是单向绑定。 2、v-model 解决v-bind的问题。 3、输出全名 方式一&#xff1a; 方式二&#xff1a; 需求优化&#xff1a;全名中的姓氏&#xff0c;只取输入框中的前三位&#xf…
阅读更多...
Python数据框的合并（一） -- merge函数

Python数据框的合并（一） -- merge函数

目录 1 merge 函数详解 1.1 左连接&#xff08;Left Join&#xff09;: 1.2 右连接&#xff08;Right Join&#xff09;: 1.3 全连接&#xff08;Full Join 或 Outer Join&#xff09;: 2 代码示例 2.1 加载模块并创建示例数据框 2.2 左连接 2.3 右连接 2.4 全连接 1 m…
阅读更多...
VSCode数据库插件

VSCode数据库插件

Visual Studio Code (VS Code) 是一个非常流行的源代码编辑器&#xff0c;它通过丰富的插件生态系统提供了大量的功能扩展。对于数据库操作&#xff0c;VS Code 提供了几种插件&#xff0c;其中“Database Client”系列插件是比较受欢迎的选择之一&#xff0c;它包括了对多种数…
阅读更多...
使用C++结合OpenCV进行图像处理与分类

使用C++结合OpenCV进行图像处理与分类

⭐️我叫忆_恒心&#xff0c;一名喜欢书写博客的在读研究生&#x1f468;‍&#x1f393;。 如果觉得本文能帮到您&#xff0c;麻烦点个赞&#x1f44d;呗&#xff01; 近期会不断在专栏里进行更新讲解博客~~~ 有什么问题的小伙伴 欢迎留言提问欧&#xff0c;喜欢的小伙伴给个三…
阅读更多...
基于STC12C5A60S2系列1T 8051单片机实现串口调试助手软件与单片机相互发送数据的RS485通信功能

基于STC12C5A60S2系列1T 8051单片机实现串口调试助手软件与单片机相互发送数据的RS485通信功能

基于STC12C5A60S2系列1T 8051单片机实现串口调试助手软件与单片机相互发送数据的RS485通信功能 STC12C5A60S2系列1T 8051单片机管脚图STC12C5A60S2系列1T 8051单片机串口通信介绍STC12C5A60S2系列1T 8051单片机串口通信的结构基于STC12C5A60S2系列1T 8051单片机串口通信的特殊功…
阅读更多...
力扣 74.搜索二维矩阵

力扣 74.搜索二维矩阵

题目描述&#xff1a; 给你一个满足下述两条属性的 m x n 整数矩阵&#xff1a; 每行中的整数从左到右按非严格递增顺序排列。每行的第一个整数大于前一行的最后一个整数。 给你一个整数 target &#xff0c;如果 target 在矩阵中&#xff0c;返回 true &#xff1b;否则&am…
阅读更多...
MySQL和MariaDB的对比和选型

MySQL和MariaDB的对比和选型

目录 1 基本介绍 2 功能对比 3 性能对比 4 兼容性 5 社区支持和发展 6 安全性 7 选择建议 8 结论 除去功能本身的对比&#xff0c;相应各位看官不一定能看出太大所以然&#xff0c;而且对于大部分同学来说&#xff0c;使用起来感觉应该差不多。 所以综合来说&#xff0…
阅读更多...
决策树Decision Tree

决策树Decision Tree

目录 一、介绍发展优点缺点基本原理 二、熵1、熵2、条件熵3、信息增益4、信息增益率 三、基尼系数四、ID3算法1、建树过程2、优点3、缺点 五、C4.51、二分法处理连续变量1、流程&#xff1a;2、示例 2、缺点 六、CART1、连续数据处理2、离散数据处理3、CART回归原理1、均方误差…
阅读更多...
定时器更新界面，线程报错

定时器更新界面，线程报错

项目场景&#xff1a; 在javafx框架下使用线程更新UI的时候&#xff0c;出现无法正常更新UI。 问题代码如下&#xff1a; package clock;import java.util.Calendar; import java.util.GregorianCalendar; import java.util.Timer; import java.util.TimerTask;import javaf…
阅读更多...
【机器学习】机器学习引领AI：重塑人类社会的新纪元

【机器学习】机器学习引领AI：重塑人类社会的新纪元

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀机器学习引领AI &#x1f4d2;1. 引言&#x1f4d5;2. 人工智能&#xff08;AI&#xff09;&#x1f308;人工智能的发展&#x1f31e;应用领…
阅读更多...
每日两题6

每日两题6

文章目录 删除并获得点数粉刷房子 删除并获得点数 分析 class Solution { public:int deleteAndEarn(vector<int>& nums) {const int N 10001;// 预处理int arr[N] {0};for (int& e : nums)arr[e] e;// 在 arr 上进行 打家劫舍 问题vector<int> f(N),…
阅读更多...
【Python机器学习】NMF——模拟数据

【Python机器学习】NMF——模拟数据

与使用PCA不同&#xff0c;我们需要保证数据是正的&#xff0c;NMF能够对数据进行操作。这说明数据相对于原点(0,0)的位置实际上对NMF很重要。因此&#xff0c;可以将提取出来的非负向量看作是从(0,0)到数据的方向。 举例&#xff1a;NMF在二维玩具数据上的结果&#xff1a; …
阅读更多...
基于fegin远程调用的重试功能

基于fegin远程调用的重试功能

前言 在微服务场景中,可能因为系统中网络抖动,导致调用超时或者失败, 按照我们分布式事务角度来看的话, 如果我们在业务中只调用了一次远程的服务查询(只去查询用户服务的某个信息),如果查询失败, 从而导致整个业务回滚, 这种代价是我们不想看到,所以我们就可以基于fegin的远程…
阅读更多...
最新文章

Copyright @ 2022~2023