如何在RTMP推送端和RTMP播放端支持Enhanced RTMP H.265(HEVC)

技术背景

时隔多年,在Enhancing RTMP, FLV With Additional Video Codecs And HDR Support(2023年7月31号正式发布)官方规范出来之前,如果RTMP要支持H.265,大家约定俗成的做法是扩展flv协议,CDN厂商携手给出的解决方案是给flv的videotag CodecID增加一个新类型(12)来表示h265(hevc),和h264不同的地方是要解析HEVCDecoderConfigurationRecord,从HEVCDecoderConfigurationRecord中解析出vps, sps, pps. 有了vps, sps, pps, 就可以解码。

遗憾的是,尽管CodecID可以自定义,但CodecID只有4个bits,增加H.265尚可,如果后续再新增VP8、VP9、 AV1甚至H.266就很尴尬,这种尴尬持续了数年,直到官方发布了 Enhancing RTMP新的规范。值得欣慰的是,SRS等开源组织在服务侧第一时间进行了适配兼容。

技术实现

本文以大牛直播SDK的Windows平台RTMP直播推送和RTMP直播播放模块为例,考虑到老的扩展CodecID 12的场景依然使用,我们添加了个设置接口:

RTMP推送端,对应文件为SmartPublisherSDK\nt_smart_publisher_sdk.h:

       /** disable enhanced RTMP, SDK默认是开启enhanced RTMP的* value: 1:disable, 0:enable*/NT_UINT32(NT_API *DisableEnhancedRTMP)(NT_HANDLE handle, NT_INT32 value);

RTMP播放端,对应文件为SmartPlayerSDK\smart_player_sdk.h:

		/** disable enhanced RTMP, SDK默认是开启enhanced RTMP的* value: 1:disable, 0:enable*/NT_UINT32(NT_API *DisableEnhancedRTMP)(NT_HANDLE handle, NT_INT32 value);

Enhanced RTMP针对flv原有VideoTagHeader中FrameType(4bits)做了如下调整:

| IsExHeader(1bit)FrameType(3bits) |

VideoTagHeader的第一个字节的第0位来判断是否是Enhanced RTMP格式,如果这一位是1,那就是扩展头,Enhanced-Rtmp格式。

RTMP推送端生成HEVC的FLV VideoTagHeader,对应的sample判断代码如下:

/*
* Author:daniusdk.com
*/
*p = 0x80;
if (key)*p |= (1<<4);
else*p |= (2 << 4);if (pts != dts)*p |= 1;
else*p |= 3;p++;*p++ = 'h';
*p++ = 'v';
*p++ = 'c';
*p++ = '1';//....

RTMP播放端,对应的sample判断代码如下:

/** Author:daniusdk.com */
bool is_ex_header;if (p[0]&0x80)is_ex_header = true;
elseis_ex_header = false;if (is_ex_header) {auto video_fourcc = (p[1] << 24)|(p[2] << 16)|(p[3] << 8)|p[4];if (HEVC == video_fourcc) {// hevc处理}else if (VP9 == video_fourcc) {// vp9处理}else if (AV1 == video_fourcc ) {// AV1处理}
}

启动Windows平台窗体采集,设置H.265硬编码,输入RTMP推流URL,实现Enhanced RTMP推送,播放端拉流播放,整体延迟如下:

可以看到,尽管开启了Enhanced RTMP,整体延迟还在毫秒级。

技术总结

鉴于目前RTMP扩展265这块,大多还是用的老的CodecID设置为12的模式,如果需要支持新的Enhanced RTMP,除了推送端和播放端外,RTMP服务端也需要做响应的调整,来适配这种情况,好在SRS等一线开源组织已经做了适配,我们也自己调整了nginx的代码,做了简单的测试,整体延迟满足预期,感兴趣的开发者可以单独跟我交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/735054.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

0103n阶行列式-行列式-线性代数

文章目录 一 n阶行列式二 三阶行列式三 特殊行列式结语 一 n阶行列式 ∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a n 1 a n 2 ⋯ a n n ∣ \begin{vmatrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\cdots&\cdots…

知名比特币质押协议项目Babylon确认参加Hack.Summit()2024区块链开发者大会

Babylon项目已确认将派遣其项目代表出席2024年在香港数码港举办的Hack.Summit()2024区块链开发者大会。作为比特币生态的领军项目&#xff0c;Babylon积极参与全球区块链领域的交流与合作&#xff0c;此次出席大会将为其提供一个展示项目进展、交流技术与创新思路的重要平台。B…

【MyBatis-Plus 常用注解详解】

文章目录 1. TableName2. TableId3. TableField4. Version5. TableLogic MyBatis-Plus&#xff08;简称MP&#xff09;是一个用于简化 MyBatis 操作的增强工具库&#xff0c;它在 MyBatis 的基础上扩展了一些功能&#xff0c;极大地提高了开发效率。 1. TableName TableName …

深入了解二叉搜索树:原理、实现与应用

目录 一、介绍二叉搜索树 二、二叉搜索树的基本性质 三、二叉搜索树的实现 四、总结 在计算机科学中&#xff0c;数据结构是构建算法和程序的基础。其中&#xff0c;二叉搜索树&#xff08;Binary Search Tree&#xff0c;简称 BST&#xff09;作为一种常见的数据结构&#…

【分布式】NCCL Split Tree kernel内实现情况 - 06

相关系列 【分布式】NCCL部署与测试 - 01 【分布式】入门级NCCL多机并行实践 - 02 【分布式】小白看Ring算法 - 03 【分布式】大模型分布式训练入门与实践 - 04 目录 相关系列概述1.1 Tree1.2 double binary tree初始化和拓扑2.1 Tree的初始化与差异2.2 ncclGetBtreeKernel内部…

序列的第 k 个数(c++题解)

题目描述 BSNY 在学等差数列和等比数列&#xff0c;当已知前三项时&#xff0c;就可以知道是等差数列还是等比数列。现在给你序列的前三项&#xff0c;这个序列要么是等差序列&#xff0c;要么是等比序列&#xff0c;你能求出第 m项的值吗。 如果第 项的值太大&#xff0c;对…

python的tqdm库不显示动态进度条的问题

python的tqdm库不显示动态进度条的问题 本质原因是tqdm无法获取内部对象的长度&#xff0c;这可能是因为内部对象是一个迭代器&#xff0c;问题经常发生在同时使用tqdm与enumerate的场合&#xff0c;例如深度学习中经常可能出现的&#xff1a; tqdm.tqdm(enumerate(train_loade…

Java开发从入门到精通(一):Java的进阶语法知识

Java大数据开发和安全开发 Java的方法1.1 方法是什么1.1.1 方法的定义1.1.2 方法如何执行?1.1.3 方法定义时注意点1.1.4 使用方法的好处是? 1.2 方法的多种形式1.2.1 无参数 无返回值1.2.2 有参数 无返回值 1.3 方法使用时的常见问题1.4 方法的设计案例1.4.1 计算1-n的和1.4.…

uniapp隐藏状态栏并强制横屏

uniapp隐藏状态栏并强制横屏 1.manifest.json中&#xff1a; "screenOrientation": ["landscape-primary", //可选&#xff0c;字符串类型&#xff0c;支持横屏"landscape-secondary" //可选&#xff0c;字符串类型&#xff0c;支持反向横屏]…

表单进阶(5)-文本域

默认文本框可以用自由拖动控制大小 通过设置在css中设置控制&#xff1a; resize:重新设置文本框大小 horizontal&#xff08;水平&#xff09;&#xff0c;vertical&#xff08;垂直&#xff09;&#xff0c;none&#xff08;不能控制大小&#xff09;&#xff0c;默认both&…

部署LVS+Keepalived高可用群集(抢占模式,非抢占模式,延迟模式)

目录 一、LVSKeepalived高可用群集 1、实验环境 2、 主和备keepalived的配置 2.1 yum安装ipvsadm和keepalived工具 2.2 添加ip_vs模块并开启ipvsadm 2.3 修改keepalived的配置文件 2.4 调整proc响应参数&#xff0c;关闭linux内核的重定向参数响应 2.5 将主服务器的kee…

23 经典卷积神经网络 LeNet【李沐动手学深度学习v2课程笔记】 (备注:提到如何把代码从CPU改到在GPU上使用)

目录 1. LeNet 2. 实现代码 3. 模型训练 4. 小结 本节将介绍LeNet&#xff0c;它是最早发布的卷积神经网络之一&#xff0c;因其在计算机视觉任务中的高效性能而受到广泛关注。 这个模型是由AT&T贝尔实验室的研究员Yann LeCun在1989年提出的&#xff08;并以其命名&…

【AIGC调研系列】GitHub Copilot提高接口自动化效率的使用技巧

GitHub Copilot 提高接口自动化效率的使用技巧主要包括以下几点: 让Copilot学习你的代码:通过清晰的层次结构、细致的拆分、规范的目录和文件命名以及合理的代码抽取,可以帮助Copilot更好地理解你的编码风格和需求[2]。设置Prompt和使用Prompt Engineering:通过设置合适的P…

【2024年5月备考新增】《软考真题分章练习(答案解析) - 1 项目管理一般知识(高项)》

点击跳转本章无答案版 1、关于项目管理的描述,不正确的是:()。 A.项目管理的主要目的是实现企业管理目标 B.在项目管理中,时间是一种特殊的资源 C.项目管理的职能是对资源进行计划、组织、指挥、协调、控制 D.项目管理把各种知识、技能、手段和技术应用于项目活动项目管理…

HTML三识

表单标签 表单&#xff1a;在网页中主要负责数据采集功能&#xff0c;使用<form>标签定义表单表单项(元素)&#xff1a;不同类型的input元素&#xff0c;下拉列表&#xff0c;文本域等 标签描述<form>定义表单<input>定义表单项&#xff0c;通过type属性控…

VMware下载与安装

准备一个Linux的系统&#xff0c;成本最低的方式就是在本地安装一台虚拟机&#xff0c;VMware是业界最好用的虚拟机软件之一 官网&#xff1a;https://www.vmware.com/ 下载页面&#xff1a;https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html …

C++之线程的简单操作

在我们启动程序的时候&#xff0c;如果我们没有开启多线程的情况下&#xff0c;默认我们的程序就是单线程&#xff0c;是串行执行的。 如果开启了多线程那么我们有的程序语句就可以并行执行了。单核情况下还是并发&#xff0c;多核情况下可以并行。 就记住一点&#xff0c;单线…

代码随想录算法训练营Day55 | 583.两个字符串的删除操作、72.编辑距离

583.两个字符串的删除操作 最开始想到的是基于最长公共子序列的写法&#xff1a;删除公共子序列以外的字符&#xff0c;两个字符串就相同了 int minDistance0(string word1, string word2) {int n word1.size();int m word2.size();vector<vector<int>> dp(n …

小文件问题及GlusterFS的瓶颈

01海量小文件存储的挑战 为了解决海量小文件的存储问题&#xff0c;必须采用分布式存储&#xff0c;目前分布式存储主要采用两种架构&#xff1a;集中式元数据管理架构和去中心化架构。 (1)集中式元数据架构&#xff1a; 典型的集中式元数据架构的分布式存储有GFS&#xff0…

【深度学习笔记】7_1 优化与深度学习

注&#xff1a;本文为《动手学深度学习》开源内容&#xff0c;部分标注了个人理解&#xff0c;仅为个人学习记录&#xff0c;无抄袭搬运意图 7.1 优化与深度学习 本节将讨论优化与深度学习的关系&#xff0c;以及优化在深度学习中的挑战。在一个深度学习问题中&#xff0c;我们…