播放器开发之ffmpeg 硬件解码方案

硬件编解码的概念

硬件编解码是⾮CPU通过烧写运⾏视频加速功能对⾼清视频流进⾏编解码,其中⾮CPU可包括GPU、FPGA或者 ASIC等独⽴硬件模块,把CPU⾼使⽤率的视频解码⼯作从CPU⾥分离出来,降低CPU的使⽤负荷,使得平台能 ⾼效且流畅的执⾏视频的编解码动作。

软件编解码的概念

软件编解码指的是在信息传输的过程中,视频等信号直接通过CPU进⾏编解码。如此⽽来,会增加CPU的⼯作 负荷,提升功耗,如果CPU能⼒不⾜,则软件也会受到⼀定程度的影响。 由于CPU拥有更强⼤的计算能⼒以及更精确的数据位宽,因此CPU能更好地兼容各种编解码的⼯作。

总结一下硬件编解码和软件编解码的优缺点:

硬件编解码的优点:

  1. 可以分离出音视频编解码的工作,少量占用CPU资源

  2. 编解码性能更高,同等条件下速度更快

  3. 同等条件下,硬件编解码的功耗更低

硬件编解码的缺点:

  1. 软件支持度不如软件编解码,起步较晚

  2. 由于硬件功能性限制,兼容性较低

  3. 在画面输出补偿、画质增强等技术方面有一定缺陷

  4. 需要独立进行硬件设置,对小白用户不太友好

软件编解码的优点:

  1. 编解码器更易于开发,协议兼容度更高

  2. 拥有更多画面输出补偿和画质增强技术,画质更优

软件编解码的缺点:

  1. 对CPU性能要求较高,在高帧率游戏或高清视频播放时CPU负担较重

GPU编解码的常⽤技术⽅案

对应gpu编解码编程,硬件⼚家都有相应SDK⽅案,应⽤开发者可以直接调⽤⼚家的SDK 来完成编解码器⼯作。

FFmpeg⽅案

Windows的d 3 d 11 va 屏蔽不同的gpu。

ffmpeg对⼚家/或平台SDK进⾏封装和集成,实现部分的硬件编解码。主要关注nvida和Intel的⽅案

许多硬件解码器的⼀个共同特点是能够在适合其他组件使⽤的硬件表⾯中⽣成输出(对于独⽴显卡,这意味着表 ⾯在卡上的内存中⽽不是在系统内存中)—— 这通常对播放很有⽤,因为在呈现输出之前不需要进⼀步复制,并 且在某些情况下,它还可以与⽀持硬件表⾯输⼊的编码器⼀起使⽤,以避免在转码情况下进⾏任何复制 (Darren注:从gpu拷⻉数据到内存,和内存拷⻉数据gpu都⽐较耗时)。

硬件编码器⽣成的输出质量通常⽐好的软件编码器(如 x 264 )低,但通常速度更快并且不使⽤太多 CPU 资源。

使用ffmpeg查看⽀持的可⽤硬件加速

ffmpeg -hwaccels​

代码使用

注册阶段

1通过 av_hwdevice_find_type_by_name() 根据名称自动寻找硬件解码 API 如 "qsv"、"cuvid"、"d3d11va"、"dxva2"等

2使用 avcodec_get_hw_config 找到对应的硬件解码格式回调 cuda -> cuvid 解码器 ->h264_nvenc

3将解码器格式赋值为硬件解码格式

4创建硬件设备上下文 av_hwdevice_ctx_create

使用阶段

5进行硬件解码 avcodec_send_packet avcodec_receive_frame 6转换硬件解码的数据 av_hwframe_transfer_data() 从 GPU 内存转移到 CPU 内存中

下图所示(选取参考文献):

硬解init

if(m_isHw_device && stream_index == AVMEDIA_TYPE_VIDEO)
{// 初始化硬件解码器(在avcodec_open2前调用)if(initHWDecoder(avctx,codec) < 0){msg_queue_->notify_msg(FFP_MSG_VIDEO_HW_DECODE_NONE);}
}
if ((ret = avcodec_open2(avctx, codec, NULL)) < 0) {goto fail;
}int FFPlayer::initHWDecoder(AVCodecContext*avctx, const AVCodec *codec)
{if(!avctx && !codec) return -2;enum AVHWDeviceType type = av_hwdevice_find_type_by_name(hw_device_type.data()); // 根据名称自动寻找硬解码if (type == AV_HWDEVICE_TYPE_NONE){return -1;}//2.获取编码器支持的硬件配置:for(int i = 0; ; i++){const AVCodecHWConfig* config = avcodec_get_hw_config(codec, i);    // 检索编解码器支持的硬件配置。if(!config){LOG(ERROR)<< "打开硬件解码器失败!";m_isHw_device = false;hw_device_type.clear();return -1;          // 没有找到支持的硬件配置}if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX&&  config->device_type == type)       // 判断是否是设备类型{hw_pix_fmt = config->pix_fmt;LOG(INFO) << "打开硬件解码器:" << av_hwdevice_get_type_name(config->device_type);// 打开指定类型的设备,并为其创建AVHWDeviceContext。int ret = av_hwdevice_ctx_create(&hw_device_ctx, config->device_type, nullptr, nullptr, 0);if(ret < 0){fprintf(stderr, "Failed to create specified HW device.\n");return ret;}avctx->hw_device_ctx = av_buffer_ref(hw_device_ctx);  // 创建一个对AVBuffer的新引用。avctx->get_format = get_hw_format;                    // 由一些解码器调用,以选择将用于输出帧的像素格式return 1;}}return -1;
}

硬解后数据获取

从gpu拿解码数据

//硬解2 从硬件buffer拷贝的内存来
//这里可以考虑直接使用frame给显存显示, 这里如果开启耗时增加%75左右
if(is->m_isHw_device){hw_frame = av_frame_alloc();if(hw_decoder_gpu_tocpu_copy(hw_frame,frame) < 0)tmp_frame = frame;elsetmp_frame = hw_frame;
}
else{tmp_frame = frame;
}int Decoder::hw_decoder_gpu_tocpu_copy(AVFrame *dst, AVFrame *src)
{if (src->format == is->hw_pix_fmt){av_hwframe_map在ffmpeg3.3以后才有,经过测试av_hwframe_transfer_data的耗时大概是av_hwframe_map的【1.5倍】int ret = av_hwframe_transfer_data(dst, src, 0);                   // 映射硬件数据帧//  av_hwframe_map()if(ret < 0){LOG(ERROR)<<"av_hwframe_map failt " << is->hw_pix_fmt;return -1;}} else{dst = src;}return 1;
}

总结

把解码当成解压缩文件,压缩算法越高级,得到的文件内存占用量就少。但是cpu使用率就高,硬件解码也是同一道理。

硬件编解码器与软件编解码器的对比:

  1. 输出质量:

    • 硬件编解码器的输出质量通常低于优质的软件编解码器(如x264)。

    • 为了达到相同的感知质量,硬件编解码器需要更高的码率。

    • 在相同码率下,软件编解码器的输出质量通常更好。

  2. 性能和效率:

    • 硬件编解码器的编解码速度更快,同时也更节省CPU资源。

    • 这使其更适合实时视频编解码的应用场景。

  3. 功能支持:

    • 硬件编解码器往往只支持编解码器的部分功能配置,而不是全部比如本机有qsv硬件,但是没有qsv对应的专属解码器程序,导致解码失败。

    • 例如在H.264编码中,可能只支持8位4:2:0格式,而不支持更复杂的配置。

  4. 硬件表面输出:

    • 硬件编解码器可以直接在显卡显存中生成输出表面。

    • 这避免了从GPU到系统内存的数据拷贝,提高了效率。

    • 还可以与支持硬件表面的编码器配合使用,消除转码过程中的数据拷贝。

  5. API支持:

    • 不同的硬件编解码器可能支持不同的API标准,如VAAPI、NVIDIA NVDEC/NVENC等。

    • FFmpeg等工具可以提供对这些API的访问能力。

综上所述,硬件编解码器在性能和效率方面有优势,但在输出质量和功能支持上可能略逊于优秀的软件编解码器。选择时需要权衡具体的应用需求。

测试

测试4k影片,正常播放30s,本次测试保留了从gpu到cpu拷贝到缓存队列,如果直接将gpu转给显存,性能将大幅提升。

不使用硬解后 cpu使用率波动15-25左右

使用硬解后 cpu使用率 波动 7-18左右

参考文献

Qt-FFmpeg开发-视频播放【硬解码】(2) - mahuifa - 博客园

学习资料分享

0voice · GitHub

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/61187.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Go 编译代码-分平台编译

要针对 Mac, Linux, 和 Windows 编译单个 main.go 文件&#xff0c;可以使用 Go 的交叉编译功能&#xff0c;通过设置环境变量 GOOS 和 GOARCH 来指定目标操作系统和架构。 编译命令 在项目目录下执行以下命令&#xff1a; 1. MacOS 编译 GOOSdarwin GOARCHamd64 go build …

使用Python和OpenCV连接并处理IP摄像头视频流

使用Python和OpenCV连接并处理IP摄像头视频流 随着智能设备的发展&#xff0c;越来越多的家庭和企业开始使用IP摄像头进行安全监控或远程查看。这些摄像头通常可以通过网络访问&#xff0c;提供了丰富的功能&#xff0c;如实时视频流、云台控制等。本文将详细介绍如何利用Pyth…

计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…

【C#】面向对象:矩形类计算周长和面积

文章目录 一、矩形类的设计与实现1.1 矩形类的属性1.2 矩形类的构造函数1.3 矩形类的方法1.4 代码实现1.4.1 运行 一、矩形类的设计与实现 题目&#xff1a;编写一个矩形类&#xff0c;私有数据成员为举行的长(Len)和宽(Wid)&#xff0c;无参构造函数将len和wid设置为0&#x…

上海市计算机学会竞赛平台2024年11月月赛丙组考勤系统

题目描述 在 Carol 的办公楼的入口处有一套刷卡系统&#xff0c;每个员工都有一张唯一的身份卡&#xff0c;他们每次进出大楼都要刷卡&#xff0c;而系统会依次记录每次刷卡的员工编号&#xff0c;员工和他的编号一一对应&#xff0c;且在一天内一共有 nn 次刷卡记录。 一个员…

【PyTorch][chapter 28] 揭秘 Transformer:缩放定律指南

概括 我们介绍了 LLM 的各种缩放定律&#xff0c;研究了模型损失如何随着训练数据和参数数量的增加而变化。讨论包括对用于解释 LLM 缩放定律的 IsoLoss 轮廓和 IsoFLOPs 切片的解释&#xff0c;从而为优化计算资源提供了见解。 最后&#xff0c;我们讨论了 FLOP 和 FLOPS 的概…

Android上运行Opencv(TODO)

在高通安卓平台上&#xff0c;确实可以通过 NDK 使用 OpenCV 并访问摄像头。NDK 提供了更高性能的计算能力&#xff0c;特别是在图像处理和计算密集型任务中&#xff0c;与 OpenCV 结合可以充分利用高通平台的硬件资源&#xff08;如 NEON SIMD 指令集和 GPU 加速&#xff09;。…

【GNU】gcc -g编译选项 -g0 -g1 -g2 -g3 -gdwarf

1、gcc -g的作用 GCC 的 -g 选项用于在编译时生成调试信息&#xff0c;这些信息会嵌入到生成的目标文件或可执行文件中&#xff0c;主要目的是为了支持调试器&#xff08;如 gdb&#xff09;对程序的调试工作。 1.1 生成调试信息 当你在编译代码时使用 -g 选项&#xff0c;GCC…

【课堂笔记】隐私计算实训营第四期:隐私求交PSI

隐私计算实训营第四期&#xff1a;隐私求交PSI 安全求交集&#xff08;PSI&#xff09;定义PSI功能和分类最基础的PSI&#xff1a;Two-Party Semi-Honest PSI如何设计Two-Party Semi-Honest PSI方法1&#xff1a;一个基于Hash的PSI方法2&#xff1a;基于Diffie-Hellman密钥交换…

当企业服务器受到网络攻击该怎样处理?

在如今的互联网社会当中&#xff0c;网络攻击无处不在&#xff0c;其中最为常见的攻击方式就是分布式拒绝服务攻击和CC大流量攻击&#xff0c;对目标服务器或者是网络进行资源占用&#xff0c;导致服务器出现拒接服务&#xff0c;下面我们则主要了解一下网络攻击的方式。 一、攻…

数据结构(基本概念及顺序表——c语言实现)

基本概念&#xff1a; 1、引入 程序数据结构算法 数据&#xff1a; 数值数据&#xff1a;能够直接参加运算的数据&#xff08;数值&#xff0c;字符&#xff09; 非数值数据&#xff1a;不能够直接参加运算的数据&#xff08;字符串、图片等&#xff09; 数据即是信息的载…

工具类-基于 axios 的 http 请求工具 Request

基于 axios 的 http 请求工具 基于 axios 实现一个 http 请求工具&#xff0c;支持设置请求缓存和取消 http 请求等功能 完整的工具代码已经上传到 github 仓库&#xff0c;可以直接上去 github 下载&#xff0c; 或直接下载绑定资源 首先实现一个 简单的 http 请求工具 im…

Springboot+Vue的项目搭建(一)

一、JDK配置环境变量 1、在官网下载jdkJava Downloads | Oracle 中国 2、下载之后双击安装。 3、配置环境变量&#xff0c;做法&#xff1a;此电脑->右键->属性->高级系统设置 然后点击确定即可 点击winr java -version 检查一下是否配置成功 二、maven包管理器…

使用 JavaScript 制作 To-Do List

使用 JavaScript 制作 To-Do List 本文记录了使用 HTML、CSS 和 JavaScript 制作一个简单的 To-Do List 网页的全过程&#xff0c;包含功能描述、代码实现以及优化方向。 **&#x1f389;&#x1f389;&#x1f389;欢迎来到我的博客,我是一名自学了2年半前端的大一学生,熟悉的…

羲和小医生0.1

创建一个名为“羲和小医生”的医学类问答机器人&#xff0c;我们使用Python和一些常用的库来实现。这个项目将包括以下几个部分&#xff1a; 数据处理&#xff1a;准备和处理训练数据。 模型训练&#xff1a;使用bert-base-chinese模型进行微调。 GUI开发&#xff1a;使用tkint…

esp32c3开发板通过micropython的mqtt库连MQTT物联网消息服务器

MQTT介绍 MQTT&#xff08;Message Queuing Telemetry Transport&#xff09;是一种轻量级的消息协议&#xff0c;旨在设备之间进行通信&#xff0c;尤其是在网络条件较差的情况下。MQTT v3.1.1 和 MQTT v5 是该协议的两个主要版本。 MQTT v3.1.1&#xff1a; 优点&#xff…

Nginx配置端口重定向及协议重定向

需求来源 我在搭建博客初期是将博客部署在了家里的软路由上&#xff0c;由于家庭宽带的80以及443端口被宽带服务商屏蔽了&#xff0c;所以最开始是通过8443端口对外提供服务&#xff0c;地址为&#xff1a;https://blog.chengpei.top:8443&#xff0c;后来上了阿里云并且经过备…

stm32启动过程解析startup启动文件

1.STM32的启动过程模式 1.1 根据boot引脚决定三种启动模式 复位后&#xff0c;在 SYSCLK 的第四个上升沿锁存 BOOT 引脚的值。BOOT0 为专用引脚&#xff0c;而 BOOT1 则与 GPIO 引脚共用。一旦完成对 BOOT1 的采样&#xff0c;相应 GPIO 引脚即进入空闲状态&#xff0c;可用于…

SQL字段来源表的解析

测试例子&#xff1a; SELECT e.NAME, d.DEPT_NAME,d.DEPT_ID,EMP_ID,100EMP_ID100 FROM EMP e JOIN DEPT d ON e.DEPT_ID d.DEPT_ID WHERE e.EMP_ID IN (SELECT EMP_ID FROM EMP WHERE DEPT_ID 10) 代码示例&#xff1a; package com.test; import org.apache.calcite.jd…