Whisper 音视频转写

Whisper 音视频转写 API 接口文档

api.py

import os
import shutil
import socket
import torch
import whisper
from moviepy.editor import VideoFileClip
import opencc
from fastapi import FastAPI, File, UploadFile, Form, HTTPException, Request
from fastapi.responses import JSONResponse
from typing import Optional
from fastapi.staticfiles import StaticFilesapp = FastAPI(title="Whisper 音视频转写 API",description="基于 OpenAI Whisper 模型的音视频转写服务，支持上传文件或使用服务器上的文件生成字幕。",version="1.0.0"
)# 挂载静态目录，用于提供文件下载
app.mount("/static", StaticFiles(directory="/media/ubuntu/SOFT/whisper_test"), name="static")# 支持的文件扩展名
ALLOWED_EXTENSIONS = {'mp3', 'wav', 'mp4', 'avi', 'mov'}
UPLOAD_DIR = "/media/ubuntu/SOFT/whisper_test/uploads"# 检查文件扩展名是否允许
def allowed_file(filename: str):return '.' in filename and filename.rsplit('.', 1)[1].lower() in ALLOWED_EXTENSIONS# 格式化时间戳为 SRT 格式
def format_timestamp(seconds: float) -> str:milliseconds = int(seconds * 1000)hours = milliseconds // (1000 * 60 * 60)minutes = (milliseconds // (1000 * 60)) % 60seconds = (milliseconds // 1000) % 60milliseconds = milliseconds % 1000return f"{hours:02}:{minutes:02}:{seconds:02},{milliseconds:03}"# 生成 SRT 文件内容
def generate_srt(transcription_segments) -> str:srt_content = ""converter = opencc.OpenCC('t2s')  # 繁体转简体for i, segment in enumerate(transcription_segments):start_time = format_timestamp(segment['start'])  # 获取开始时间戳end_time = format_timestamp(segment['end'])  # 获取结束时间戳text = converter.convert(segment['text'].strip())  # 繁体转简体srt_content += f"{i+1}\n{start_time} --> {end_time}\n{text}\n\n"return srt_content# 处理音频文件并生成 SRT 文件，返回转录文本
def transcribe_audio_to_srt(audio_path: str, srt_path: str, model_name="tiny"):device = "cuda" if torch.cuda.is_available() else "cpu"  # 判断是否使用 GPUmodel = whisper.load_model(model_name).to(device)  # 加载模型result = model.transcribe(audio_path, language="zh")  # 转录音频print("当前模型:",model_name,"转录内容:",result["text"],"\n")srt_content = generate_srt(result['segments'])  # 生成 SRT 文件内容with open(srt_path, "w", encoding="utf-8") as srt_file:srt_file.write(srt_content)  # 将内容写入 SRT 文件return result["text"]  # 返回转录的文本内容# 从视频中提取音频
def extract_audio_from_video(video_path: str, audio_path: str):video_clip = VideoFileClip(video_path)  # 读取视频文件audio_clip = video_clip.audio  # 获取音频audio_clip.write_audiofile(audio_path, codec='libmp3lame', bitrate="192k")  # 保存为 MP3audio_clip.close()  # 关闭音频文件video_clip.close()  # 关闭视频文件# 处理单个音频或视频文件，生成 SRT 文件，并保留相对目录结构
def process_file_with_structure(file_path: str, input_dir: str, output_dir: str, model_name="tiny"):# 生成相对路径，保持输入和输出目录结构一致rel_path = os.path.relpath(file_path, input_dir)output_srt_dir = os.path.join(output_dir, os.path.dirname(rel_path))os.makedirs(output_srt_dir, exist_ok=True)  # 创建对应的输出目录srt_output_path = os.path.join(output_srt_dir, os.path.splitext(os.path.basename(file_path))[0] + ".srt")  # 生成 SRT 文件路径if file_path.lower().endswith((".mp3", ".wav")):  # 如果是音频文件text_content = transcribe_audio_to_srt(file_path, srt_output_path, model_name)  # 直接处理音频并返回转录文本elif file_path.lower().endswith((".mp4", ".avi", ".mov")):  # 如果是视频文件audio_path = os.path.join(output_srt_dir, os.path.splitext(os.path.basename(file_path))[0] + "_audio.mp3")extract_audio_from_video(file_path, audio_path)  # 提取音频text_content = transcribe_audio_to_srt(audio_path, srt_output_path, model_name)  # 处理提取的音频并返回转录文本os.remove(audio_path)  # 删除临时音频文件return srt_output_path, text_content  # 返回 SRT 文件路径和转录文本# 遍历目录并处理所有音视频文件，保持目录结构
def process_directory_with_structure(input_dir: str, output_dir: str, model_name="tiny"):srt_files = []for root, _, files in os.walk(input_dir):for file in files:if allowed_file(file):file_path = os.path.join(root, file)srt_output_path, text_content = process_file_with_structure(file_path, input_dir, output_dir, model_name)srt_files.append((srt_output_path, text_content))return srt_files# 获取局域网 IP 地址
def get_local_ip():s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)s.connect(("8.8.8.8", 80))  # Google Public DNSip = s.getsockname()[0]s.close()return ip# 处理服务器上的文件和目录
@app.post("/transcribe_server/", summary="处理服务器上的目录或文件生成字幕文件", description="通过指定服务器的目录或文件路径，生成字幕文件。")
async def transcribe_server(request: Request,model: Optional[str] = Form("tiny"),input: str = Form(..., description="输入的服务器目录或文件路径"),output: Optional[str] = Form(None, description="输出目录路径。如果未指定，则默认在输入路径下创建'srt'文件夹。")
):"""处理服务器上的目录或文件，生成字幕文件。"""input_path = inputoutput_path = outputif not os.path.exists(input_path):raise HTTPException(status_code=400, detail="输入路径不存在")# 如果是目录if os.path.isdir(input_path):if not output_path:output_path = os.path.join(input_path, "srt")  # 默认在输入路径下创建 srt 文件夹srt_files = process_directory_with_structure(input_path, output_path, model)# 创建下载链接local_ip = get_local_ip()  # 获取局域网 IP 地址download_links = [f"http://{local_ip}:5001/static/{os.path.relpath(srt[0], '/media/ubuntu/SOFT/whisper_test')}" for srt in srt_files]return JSONResponse(content={"input": input_path,"output": output_path,"srt_files": [srt[0] for srt in srt_files],"transcripts": [srt[1] for srt in srt_files],"download_links": download_links})# 如果是文件elif os.path.isfile(input_path):if not output_path:output_path = os.path.join(os.path.dirname(input_path), "srt")  # 默认在输入文件所在目录下创建 srt 文件夹srt_file, text_content = process_file_with_structure(input_path, os.path.dirname(input_path), output_path, model)# 创建下载链接local_ip = get_local_ip()  # 获取局域网 IP 地址srt_download_link = f"http://{local_ip}:5001/static/{os.path.relpath(srt_file, '/media/ubuntu/SOFT/whisper_test')}"return JSONResponse(content={"input": input_path,"output": output_path,"srt_file": srt_file,"content": text_content,"download_link": srt_download_link})else:raise HTTPException(status_code=400, detail="输入路径无效：不是有效的文件或目录")# 处理客户端上传的文件，生成 SRT 文件并返回下载链接和文本内容
@app.post("/transcribe_client/", summary="处理客户端上传的文件生成字幕文件", description="上传客户端的文件，生成 SRT 文件，并返回下载链接和转录内容。")
async def transcribe_client(request: Request,model: Optional[str] = Form("tiny"),input_file: UploadFile = File(..., description="客户端上传的文件")
):"""处理客户端上传的文件，生成字幕文件，并返回生成的 SRT 文件路径和转录文本。"""if not os.path.exists(UPLOAD_DIR):os.makedirs(UPLOAD_DIR)  # 确保临时目录存在# 将上传的文件保存到服务器的临时目录file_location = os.path.join(UPLOAD_DIR, input_file.filename)with open(file_location, "wb") as f:shutil.copyfileobj(input_file.file, f)input_path = file_location  # 使用上传的文件路径作为输入路径if os.path.isfile(input_path):output_path = os.path.join(UPLOAD_DIR, "srt")srt_file, text_content = process_file_with_structure(input_path, UPLOAD_DIR, output_path, model)print("srt_file:",srt_file)# 返回下载链接和转录文本local_ip = get_local_ip()  # 获取局域网 IP 地址srt_download_link = f"http://{local_ip}:5001/static/{os.path.relpath(srt_file, '/media/ubuntu/SOFT/whisper_test')}"print("srt_download_link",srt_download_link)print("",os.path.relpath(srt_file, '/media/ubuntu/SOFT/whisper_test/srt'))return JSONResponse(content={"input": input_path,"output": output_path,"srt_file": srt_file,"content": text_content,  # 返回转录的文本内容"download_link": srt_download_link  # 返回生成 SRT 文件的下载链接})raise HTTPException(status_code=400, detail="上传的文件无效，必须是音频或视频文件。")if __name__ == "__main__":import uvicornuvicorn.run(app, host="0.0.0.0", port=5001)

项目简介

基于 OpenAI Whisper 模型的音视频转写服务，支持上传文件或使用服务器上的文件生成字幕。该 API 提供了处理音频和视频文件的能力，并将其转录为 SRT 字幕文件。

运行环境

  • Python 3.x
  • FastAPI
  • torch
  • whisper
  • moviepy
  • opencc

安装依赖

在运行该项目之前，请确保安装以下依赖：

pip install fastapi[all] torch moviepy opencc-python-reimplemented

启动服务器

在项目根目录下运行以下命令启动 FastAPI 服务器：

uvicorn main:app --host 0.0.0.0 --port 5001 --reload

接口列表

1. /transcribe_server/

描述：处理服务器上的目录或文件，生成字幕文件。

请求方法：POST

请求参数：

参数类型必填描述
modelstring否使用的 Whisper 模型，默认为 tiny
inputstring是输入的服务器目录或文件路径
outputstring否输出目录路径，默认为输入路径下创建 srt 文件夹

返回示例：

{"input": "/path/to/server/directory","output": "/path/to/server/directory/srt","srt_files": ["/path/to/server/directory/srt/file1.srt"],"transcripts": ["转录内容"],"download_links": ["http://192.168.1.1:5001/static/file1.srt"]
}

2. /transcribe_client/

描述：处理客户端上传的文件，生成字幕文件。

请求方法：POST

请求参数：

参数类型必填描述
modelstring否使用的 Whisper 模型，默认为 tiny
input_fileUploadFile是客户端上传的音频或视频文件

返回示例：

{"input": "/media/ubuntu/SOFT/whisper_test/uploads/example.wav","output": "/media/ubuntu/SOFT/whisper_test/uploads/srt","srt_file": "/media/ubuntu/SOFT/whisper_test/uploads/srt/example.srt","content": "转录后的文本内容","download_link": "http://192.168.1.1:5001/static/example.srt"
}

接口调用示例

使用 Python 调用接口

import requests# 调用 /transcribe_server 接口
response = requests.post("http://192.168.1.1:5001/transcribe_server/", data={"model": "tiny","input": "/path/to/server/directory"
})print(response.json())# 调用 /transcribe_client 接口
files = {'input_file': open('C:/path/to/your/example.wav', 'rb')}
response = requests.post("http://192.168.1.1:5001/transcribe_client/", files=files, data={"model": "tiny"})print(response.json())

使用 cURL 测试接口

调用 /transcribe_server/
curl -X POST "http://192.168.1.1:5001/transcribe_server/" \-H "Content-Type: application/x-www-form-urlencoded" \-d "model=tiny&input=/path/to/server/directory"
调用 /transcribe_client/
curl -X POST "http://192.168.1.1:5001/transcribe_client/" \-F "model=tiny" \-F "input_file=@C:/path/to/your/example.wav"

使用 Postman 测试接口

  1. 打开 Postman，创建一个新的请求。
  2. 设置请求方法为 POST。
  3. 输入请求 URL，例如 http://192.168.1.1:5001/transcribe_server/ 或 http://192.168.1.1:5001/transcribe_client/。
  4. 在 Body 选项中，选择 form-data：
    • 对于 /transcribe_server/：
      • 添加字段 model（可选），值为 tiny。
      • 添加字段 input（必填），值为服务器上的目录路径。
    • 对于 /transcribe_client/：
      • 添加字段 model（可选），值为 tiny。
      • 添加字段 input_file（必填），值为上传的音频或视频文件。
  5. 点击 Send 发送请求，查看返回结果。

注意事项

  • 确保输入的目录或文件路径正确。
  • 上传的文件类型必须为支持的音频或视频格式（mp3, wav, mp4, avi, mov）。
  • 下载链接将在响应中返回，确保使用正确的局域网 IP 地址进行访问。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/882196.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Android中的内存泄漏及其检测方式

Android中的内存泄漏及其检测方式

Android中的内存泄漏及其检测方式 一、Android内存泄漏概述 在Android开发中，内存泄漏是一个常见且严重的问题。内存泄漏指的是在应用程序中，由于某些原因，已经不再使用的对象仍然被引用，导致垃圾回收器（Garbage Col…
阅读更多...
图书管理新纪元：Spring Boot进销存系统

图书管理新纪元：Spring Boot进销存系统

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及，互联网成为人们查找信息的重要场所，二十一世纪是信息的时代，所以信息的管理显得特别重要。因此，使用计算机来管理图书进销存管理系统的相关信息成为必然。开…
阅读更多...
使用 Elasticsearch Dump 工具进行生产环境到测试环境的数据迁移与备份

使用 Elasticsearch Dump 工具进行生产环境到测试环境的数据迁移与备份

es-dump 是 Elasticsearch 的一个实用工具，专门用于从 Elasticsearch 集群中导出或导入数据，支持数据、映射、别名、模板等多种类型的数据操作。它在数据迁移、备份、恢复等场景中非常实用。本文将展示如何使用 es-dump 工具执行生产到测试环境的索引复制…
阅读更多...
【学习】word保存图片

【学习】word保存图片

word中有想保存的照片 直接右键另存为的话，文件总是不清晰，截屏的话，好像也欠妥。 怎么办? 可以另存为 网页 .html 可以得到： 原图就放到了文件夹里面
阅读更多...
Selenium 中定位元素操作集合

Selenium 中定位元素操作集合

Selenium中元素的定位与操作 在 Selenium 中定位单个元素一般通过 find_element 方法来实现，一组数据则是 find_elements （定位时应该元素加载完整再 再定位，否则可能会出现找不到对应元素的情况出现。这里可以使用 time.sleep() 来实现等待…
阅读更多...
C++简易日志系统：打造高效、线程安全的日志记录工具

C++简易日志系统：打造高效、线程安全的日志记录工具

目录 引言： 1.日志的基本概念 1.1.什么是日志？ 1.2.我们为什么需要日志？ 2.自己实现一个简易日志 2.1.日志的等级 2.2日志的格式 2.3.获取时间的方法 2.4.日志的主体实现 参数： 代码解析： 问题&#xff1a…
阅读更多...
【ssh 密钥生成】添加后提示无权限

【ssh 密钥生成】添加后提示无权限

记录下又一个感觉自己是菜菜的事件； 我根据教程在新电脑生成了 ssh 密匙，也在页面添加了ssh密匙； 但是下载代码的时候就提示权限不对，下载不下来； 百度了一堆办法，还是不行，然后大佬来&#…
阅读更多...
solid wrok笔记记录

solid wrok笔记记录

1.平移 crtl鼠标滚轮 2.放大缩小 鼠标滚轮滚动 3.旋转 按住鼠标滚轮 4.正视 右键 选择 5。多选 ctel 框选。。。 6. 选项卡 右上角空白处右键 7.草图，剪多余的线段(T),鼠标含住滑动去除 8.草图的线段掰直 选中线段后，左侧窗口的几…
阅读更多...
【Scala入门学习】匹配模式match

【Scala入门学习】匹配模式match

1. match匹配 match 语句用在当需要从多个分支中进行选择的场景，类似于java 中的switch 语句。 语法： 变量 match{case "值" > 语句块1 // 语句块后不用加breakcase "值2" > 语句块2case _ > 语句块N // 类似于jav…
阅读更多...
5、JavaScript(五)

5、JavaScript(五)

28.jquery：js库 简化版本的js，封装了现成功能的js代码。 jquery就是一些封装好了的现成的方法，供我们直接使用。 jquery能实现的js都能实现。 在使用 记得先引入jquery：在菜鸟教程上直接用jquery的绝对路径引入，jq…
阅读更多...
Gin框架操作指南03：HTML渲染

Gin框架操作指南03：HTML渲染

官方文档地址（中文）：https://gin-gonic.com/zh-cn/docs/ 注：本教程采用工作区机制，所以一个项目下载了Gin框架，其余项目就无需重复下载，想了解的读者可阅读第一节：Gin操作指南&#…
阅读更多...
java游戏网站源码

java游戏网站源码

题目：java游戏网站源码 编号B22A390 主要内容：毕业设计(Javaweb项目|小程序|Mysql|大数据|SSM|SpringBoot|Vue|Jsp|MYSQL等)、学习资料、JAVA源码、技术咨询 文末联系获取 感兴趣可以先收藏起来，以防走丢，有任何选题、文档编…
阅读更多...
什么是 BloomFilter

什么是 BloomFilter

什么是 BloomFilter 布隆过滤器（英语：Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。主要用于判断一个元素是否在一个集合中。 通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景&a…
阅读更多...
Cocos Creator导出obj文件用于后端寻路

Cocos Creator导出obj文件用于后端寻路

Cocos Creator 3.8.0 用这个扩展插件 【杨宗宝】两年前写的网格工具，今天将它开源了。 - Creator 3.x - Cocos中文社区carlosyzy_extensions_mesh: Cocos Creator 3.x mesh插件，负责网格数据的导出。合并，拆封等一系列操作 (gitee.com) 下…
阅读更多...
C++ 标准库：功能与应用解析

C++ 标准库：功能与应用解析

C++ 标准库：功能与应用解析 引言 C++ 是一种广泛使用的编程语言，以其高性能和灵活性而著称。C++ 标准库（C++ Standard Library）是 C++ 语言的核心组成部分，提供了一系列预定义的类和函数，用于简化编程任务。本文将深入探讨 C++ 标准库的主要功能和应用，帮助读者更好地…
阅读更多...
Shell脚本备份文件

Shell脚本备份文件

需求：原文件备份，新文件覆盖掉源文件 vue项目打包自动化部署使用 假设已经将打包后得文件复制到了需要覆盖得目录得同级下 #!/bin/bashdst_folder"/home/compose/nginx/html"# 创建备份文件夹 backup_folder"$dst_folder/backup"# …
阅读更多...
分类任务中评估模型性能的核心指标

分类任务中评估模型性能的核心指标

在机器学习尤其是分类任务中，Accuracy（准确率）、Precision（精确率）、Recall（召回率）和F1 Score（F1分数）是评估模型性能的四个核心指标。每个指标都有其独特的含义和用途&…
阅读更多...
【艾思科蓝】Imagen：重塑图像生成领域的革命性突破

【艾思科蓝】Imagen：重塑图像生成领域的革命性突破

【连续七届已快稳ei检索】第八届电子信息技术与计算机工程国际学术会议（EITCE 2024）_艾思科蓝_学术一站式服务平台 更多学术会议请看 学术会议-学术交流征稿-学术会议在线-艾思科蓝 目录 引言 一、Imagen模型的技术原理 1. 模型概述 2. 工作流程 …
阅读更多...
PHP-FPM和FastCGI

PHP-FPM和FastCGI

文章目录 前言一. FastCGI1.定义2.工作方式3.协议4.架构5.工作原理（请求生命周期） 二. PHP-FPM1.定义：2.特性3.进程管理模式4.工作流程 三.关系与应用四.配置示例五.性能优化六.配置选项七.常见问题及解决方案 前言 PHP-FPM 是基于 FastCGI …
阅读更多...
排序基础方法

排序基础方法

逆序（inversion） 一个序列中存在元素对，顺序与理想顺序相反 注意事项 算法的空间复杂度，即便graph本身要花费VE，但是DFS是V，只考虑自身要用的。 Selection Sort（选择排序) 方法 不断选择最…
阅读更多...
最新文章

Copyright @ 2022~2023