Fastwhisper + Pyannote 实现 ASR + 说话者识别

文章目录

  • 前言
  • 一、faster-whisper简单介绍
  • 二、pyannote.audio介绍
  • 三、faster-whisper + pyannote.audio 实现语者识别
  • 四、多说几句


前言

最近在研究ASR相关的业务,也是调研了不少模型,踩了不少坑,ASR这块,目前中文普通话效果最好的应该是阿里的modelscope上的中文模型了,英文的话,还是非whisper莫属了,而且whisper很变态,粤语效果也还不错,因此,如果实际业务中需要涉及到不同的语言,还是更推荐whisper多一点

一、faster-whisper简单介绍

faster-whisper是使用CTranslate2OpenAIWhisper模型的重新实现,CTranslate2是一个用于Transformer模型的快速推理引擎。

在使用更少内存的情况下,该实现比openai/whisper在相同精度下快4倍。同时在CPUGPU上进行8位量化,可以进一步提高算法效率。

官方仓库:https://github.com/SYSTRAN/faster-whisper

二、pyannote.audio介绍

pyannote.audio是一个用Python编写的用于扬声器diarization的开源工具包。基于PyTorch机器学习框架,它具有最先进的预训练模型和管道,可以进一步对自己的数据进行微调,以获得更好的性能。

官方仓库:https://github.com/pyannote/pyannote-audio

三、faster-whisper + pyannote.audio 实现语者识别

实际上只要将二者的识别结果进行结合即可

from pyannote.core import Segmentdef get_text_with_timestamp(transcribe_res):timestamp_texts = []for item in transcribe_res:start = item.startend = item.endtext = item.text.strip()timestamp_texts.append((Segment(start, end), text))return timestamp_textsdef add_speaker_info_to_text(timestamp_texts, ann):spk_text = []for seg, text in timestamp_texts:spk = ann.crop(seg).argmax()spk_text.append((seg, spk, text))return spk_textdef merge_cache(text_cache):sentence = ''.join([item[-1] for item in text_cache])spk = text_cache[0][1]start = round(text_cache[0][0].start, 1)end = round(text_cache[-1][0].end, 1)return Segment(start, end), spk, sentencePUNC_SENT_END = [',', '.', '?', '!', ",", "。", "?", "!"]def merge_sentence(spk_text):merged_spk_text = []pre_spk = Nonetext_cache = []for seg, spk, text in spk_text:if spk != pre_spk and pre_spk is not None and len(text_cache) > 0:merged_spk_text.append(merge_cache(text_cache))text_cache = [(seg, spk, text)]pre_spk = spkelif text and len(text) > 0 and text[-1] in PUNC_SENT_END:text_cache.append((seg, spk, text))merged_spk_text.append(merge_cache(text_cache))text_cache = []pre_spk = spkelse:text_cache.append((seg, spk, text))pre_spk = spkif len(text_cache) > 0:merged_spk_text.append(merge_cache(text_cache))return merged_spk_textdef diarize_text(transcribe_res, diarization_result):timestamp_texts = get_text_with_timestamp(transcribe_res)spk_text = add_speaker_info_to_text(timestamp_texts, diarization_result)res_processed = merge_sentence(spk_text)return res_processeddef write_to_txt(spk_sent, file):with open(file, 'w') as fp:for seg, spk, sentence in spk_sent:line = f'{seg.start:.2f} {seg.end:.2f} {spk} {sentence}\n'fp.write(line)import torch
import whisper
import numpy as np
from pydub import AudioSegment
from loguru import logger
from faster_whisper import WhisperModel
from pyannote.audio import Pipeline
from pyannote.audio import Audiofrom common.error import ErrorCodemodel_path = config["asr"]["faster-whisper-large-v3"]# 测试音频: https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_speaker_demo.wav
audio = "./test/asr/data/asr_speaker_demo.wav"
asr_model = WhisperModel(model_path, device="cuda", compute_type="float16")
spk_rec_pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization-3.1", use_auth_token="your huggingface token")
spk_rec_pipeline.to(torch.device("cuda"))asr_result, info = asr_model.transcribe(audio, language="zh", beam_size=5)
diarization_result = spk_rec_pipeline(audio)final_result = diarize_text(asr_result, diarization_result)
for segment, spk, sent in final_result:print("[%.2fs -> %.2fs] %s %s" % (segment.start, segment.end, sent, spk))

结果

[0.00s -> 9.80s] 非常高兴能够和几位的话一起来讨论互联网企业如何决胜全球化新高地这个话题 SPEAKER_01
[9.80s -> 20.20s] 然后第二块其实是游戏平台所谓游戏平台它主要是简单来说就是一个商店家社区的这样一个模式而这么多年 SPEAKER_03
[20.20s -> 35.70s] 我们随着整个业务的拓张会发现跟阿里云有非常紧密的联系因为刚开始伟光在介绍的时候也讲阿里云也是阿里巴巴的云所以这个过程中一会儿也可以稍微展开跟大家讲一下我们跟云是怎么一路走来的 SPEAKER_04
[35.70s -> 62.40s] 其实的确的话就对我们互联网公司来说如果不能够问当地的人口的话我想我们可能整个的就失去了后边所有的动力不知道你们各位怎么看就是我们最大的这个问题是不是效率优先Yes or No然后如果是讲一个最关键的你们是怎么来克服这一些挑战的 SPEAKER_01
[62.40s -> 90.50s] 因为其实我们最近一直在做海外业务所以说我们碰到了一些问题可以一起分享出来给大家其实一起探讨一下其实海外我们还是这个观点说是无论你准备工作做得有多充分无论你有学习能力有多强你一个中国企业的负责人其实在出海的时候它整体还是一个强势的是做的过程 SPEAKER_03
[90.50s -> 101.60s] 后来推到德国或者推到新加坡 印尼 越南等等这些地方每一个地方走过去都面临的一个问题是建站的效率怎么样能够快速地把这个站点建起来 SPEAKER_04
[101.60s -> 122.90s] 一方面我们当初刚好从2014年刚好开始要出去的时候国内就是三个北上广深但在海外要同时开服北美 美东 美西 欧洲 日本我还记得那个时候我们在海外如何去建立这种IDC的康碳建设基础设施建设云服务的部署那都是一个全新的挑战 SPEAKER_02

四、多说几句

pyannote的模型都是从huggingface上下载下来的,所以没有magic直接运行上面代码可能会报443,自己想办法搞定网络问题。
地址:https://huggingface.co/pyannote/speaker-diarization-3.1

以上代码即使你运行的时候把模型下载到缓存里了,偶尔还是会443,笔者猜测这玩意就算你下载下来了还是还是要联网推理,所以,要部署到生产环境的同学最好还是使用离线加载。

pyannote离线加载模型的方式和之前NLP的模型不一样,首先你需要配置的是config.yaml的路径,请看:

spk_rec_pipeline = Pipeline.from_pretrained("./data/models/speaker-diarization-3.1/config.yaml")

只下载这一个模型是不行的哦,这个只是个config文件,你还要下载另外两个模型:

https://huggingface.co/pyannote/wespeaker-voxceleb-resnet34-LM

https://huggingface.co/pyannote/segmentation-3.0

最后再修改下config.yaml里的模型路径,参考我的:

在这里插入图片描述

当这些都搞好后,你是不是以为完了?

正常来说应该不会有什么问题,但是我在服务器上碰到了如下问题:

在这里插入图片描述

而且官方也有相关的issue:https://github.com/pyannote/pyannote-audio/issues/1599

我试了,在我服务器上是没用的

有些人说是onnx模型有问题,比如说模型下载出了问题,我重新下载了好几遍,都无法解决,所以如果真的是模型的问题,那应该就是pyannote官方push的模型有问题。还有说是Protobuf的问题的,我认为应该不是,最后我也没找出问题在哪,所以最后我不用pyannote

但神奇的是,用Pipeline.from_pretrained("pyannote/speaker-diarization-3.1", use_auth_token="your huggingface token")直接从缓存里加载模型就没问题,只是偶尔报443。

最后,祝大家好运。pyannote不行,完全可以用其他模型替代的,笔者推荐去modelscope上看看。

2024/03/04更新

离线加载的Protobuf问题已找到原因:确实是官方提供的模型有问题,官方仓库提供的是pytorch模型,非onnx模型,从报错也可以看的出来,我找了半天也没找到onnx模型在哪里,应该可以自己从pytorch模型转到onnx模型,还有个办法是大家可以从https://modelscope.cn/models/manyeyes/speaker_recognition_task_models_onnx_collection/files下载,下载wespeaker开头的onnx模型就可以了,然后放到wespeaker-voxceleb-resnet34-LM目录下,如图:

在这里插入图片描述

然后再修改speaker-diarization-3.1下的config.yaml文件:

在这里插入图片描述

至此,大功告成啦!这都不点赞收藏实在没良心!!!

另外,实际上我发现用whisperx来实现,更方便,但推理速度慢一点。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/719519.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Scrapy与分布式开发(1.1):课程导学

Scrapy与分布式开发:从入门到精通,打造高效爬虫系统 课程大纲 在这个专栏中,我们将一起探索Scrapy框架的魅力,以及如何通过Scrapy-Redis实现分布式爬虫的开发。在本课程导学中,我们将为您简要介绍课程的学习目标、内容…

Verilog Coding Styles For Improved Simulation Efficiency论文学习记录

原文基于Verilog-XL仿真器,测试了以下几种方式对仿真效率的影响。 1. 使用 Case 语句而不是 if / else if 语句 八选一多路选择器 case 实现效率比 if / else if 提升 6% 。 2. 如果可以尽量不使用 begin end 语句 使用 begin end 的 ff 触发器比不使用 begin end …

初学者学习51还是STM32

初学者学习51还是STM32 在嵌入式系统领域,51和STM32是两种常见的单片机架构。对于初学者来说,选择学习哪种架构可能会成为一个难题。本文将对初学者学习51和STM32进行比较,以帮助读者做出明智的选择。 1. 51架构 51架构是指Intel 8051系列…

深度相机xyz点云文件三维坐标和jpg图像文件二维坐标的相互变换函数

深度相机同时拍摄xyz点云文件和jpg图像文件。xyz文件里面包含三维坐标[x,y,z]和jpg图像文件包含二维坐标[x,y],但是不能直接进行变换,需要一定的步骤来推演。 下面函数是通过box二维框[xmin, ymin, xmax, ymax, _, _ ]去截取xyz文件中对应box里面的点云…

MyCAT学习——在openEuler22.03中安装MyCAT2(网盘下载版)

准备工作 因为MyCAT 2基于JDK 1.8开发。也需要在虚拟机中安装JDK(JDK官网就能下载,我这提供一个捷径) jdk-8u401-linux-x64.rpmhttps://pan.baidu.com/s/1ywcDsxYOmfZONpmH9oDjfw?pwdrhel下载对应的tar安装包,以及对应的jar包 安装程序包…

九州金榜|孩子厌学要怎么办?

孩子从小学到初中再到高中,孩子出现厌学情绪很正常,但是孩子出现厌学情绪后,就必然会影响到孩子学习成绩,孩子产生厌学情绪的原因有哪些呢?只有找准孩子厌学原因才能去帮助孩子怎样去克服孩子厌学情绪,下面…

ajax请求servlet成功但接收不到返回数据问题

ajax请求servlet成功但接收不到返回数据问题 javaweb初学者,最近老师布置的课设,所有功能都完成了,唯独ajax与servlet交互出现问题,无论怎么调试都收不到数据 查询两天无果,刚才无意间看到 Crabime前辈的文章才恍然大…

深入解析YOLO:实时目标检测技术的革命者

深入解析YOLO:实时目标检测技术的革命者 目标检测作为计算机视觉领域的一个核心任务,一直以来都是研究的热点。而YOLO(You Only Look Once)技术作为其中的杰出代表,以其独特的处理方式和卓越的性能,成为了…

day34贪心算法 part03

1005. K 次取反后最大化的数组和 简单 给你一个整数数组 nums 和一个整数 k ,按以下方法修改该数组: 选择某个下标 i 并将 nums[i] 替换为 -nums[i] 。 重复这个过程恰好 k 次。可以多次选择同一个下标 i 。 以这种方式修改数组后,返回数…

力扣栈队列篇

以下思路来自代码随想录以及官方题解。 文章目录 232.用栈实现队列225.用队列实现栈20.有效的括号1047.删除字符串中所有相邻重复项150.逆波兰表达式求值347.前K个高频元素 232.用栈实现队列 请你仅使用两个栈实现先入先出队列。队列应当支持一般队列支持的所有操作&#xff…

OSError: [WinError 1455] 页面文件太小,无法完成操作。

[问题描述]:OSError: [WinError 1455] 页面文件太小,无法完成操作。 原因1:线程数太大 方法:改小线程(workers)数。 原因2:虚拟内存太小或为0,调大虚拟内存。 方法:右键…

mysql索引过长Specialed key was too long的解决方法

在创建要给表的时候遇到一个有意思的问题,提示Specified key was too long; max key length is 767 bytes,从描述上来看,是Key太长,超过了指定的 767字节限制。通常出现在尝试创建一个过长的唯一键(UNIQUE KEY&#xf…

Vue.js 实用技巧:深入理解 Vue.mixin

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…

uniapp真机运行的时候显示同步资源失败,未得到同步资源的授权,请停止运行后重新运行,并注意手机上的授权提示

1、问题 在添加清单文件之前,项目运行都是好好的,添加了清单项目以后,基座一打就报这个错,并且手机在安装基座的时候会提示解析包时失败, 2、解决方案 打开我的清单文件,我发现我和官网写的清单文件不一…

华为OD机试“HJ2计算某字符出现次数”不区分大小写Java编程解答

描述 写出一个程序,接受一个由字母、数字和空格组成的字符串,和一个字符,然后输出输入字符串中该字符的出现次数。(不区分大小写字母) 数据范围: 1≤n≤1000 输入描述: 第一行输入一个由字…

【Linux进程间通信】共享内存

【Linux进程间通信】共享内存 目录 【Linux进程间通信】共享内存system V共享内存共享内存示意图共享内存的数据结构共享内存函数将共享内存挂接到对应的进程将共享内存取消挂接释放共享内存 共享内存的特性共享内存扩展共享内存配合管道进行使用 作者:爱写代码的刚…

用docker部署后端项目

一、搭建局域网 1.1、介绍前后端项目搭建 需要4台服务器,在同一个局域网中 1.2、操作 # 搭建net-ry局域网,用于部署若依项目 net-ry:名字 docker network create net-ry --subnet172.68.0.0/16 --gateway172.68.0.1#查看 docker network ls…

Git 安全远程访问:SSH 密钥对生成、添加和连接步骤解析

使用 SSH 密钥对的 Git 安全远程访问:生成、添加和连接 SSH(Secure Shell)是一种用于安全远程访问的协议,它提供了加密通信和身份验证机制。在使用 SSH 连接到远程 Git 存储库时,您可以使用 SSH 密钥对来确保安全性。…

3d模型合并后一片漆黑是什么原因,怎么解决---模大狮模型网

当合并多个3D模型后,发现整个合并后的模型显示为一片漆黑通常是由以下几个可能的原因导致的: 材质设置问题:合并后的模型可能存在材质设置错误,导致模型无法正确显示。检查每个模型的材质属性,确保其正确设置&#xff…

老隋蓝海项目有哪些?能赚钱吗?

在创业的海洋中,每个人都渴望找到那片属于自己的“蓝海”,而“老隋蓝海项目”便是许多人心中的那片未知海域。那么,老隋蓝海项目究竟是指什么?它们又能否成为创业者的新财富之源? 蓝海项目的定义 我们要明白,蓝海项目通常指的是…