H264码流进行RTP包封装

一.H264基本概念

H.264从框架结构上分为视频编码层（VCL）和网络抽象层（NAL），VCL功能是进行视频编解码，包括运动补偿预测，变换编码和熵编码等功能；NAL用于采用适当的格式对VCL视频数据进行封装打包。

VCL数据即被压缩编码后的视频数据序列，在VCL数据封装到NAL单元中之后，才可以用来传输或存储。NAL单元（NALU）是NAL的基本语法结构，它包含一个字节的头信息和一系列来自VCL的称为原始字节序列载荷（RBSP）的字节流。

nalu headerRBSPnalu headerRBSPnalu headerRBSP

H264是一种视频压缩的标准，与H265、SVAC等压缩方式一样，主要目的是对视频流进行压缩，以便减少网络传输对网络带宽的占用，H264压缩后的帧类型分为I帧/P帧/B帧等。

二,NAL单元数据结构

NALU头前通常包含一个 StartCode，StartCode 必须是 0x00000001 或者 0x000001，紧接着就是一个字节的NALU header，NALU header格式如下：

+------------------------------+
      |0 |1|2 |3|4|5|6|7|
+-++-+-+-+-+-+-+-+-+-+-+
      |F|NRI|  Type    |
+------------------------------+

2.1NALU header格式下的标志位取值如下：

F（禁止位）: 1 个比特.

禁止位在编码中默认值为0，当网络识别此单元中存在比特错误时，可将其设为1，以便接收方丢掉该单元。主要用于适应不同种类的网络环境（比如有线无线相结合的环境）。例如对于从无线到有线的网关，一边是无线的非IP环境，一边是有线网络的无比特错误的环境。假设一个NAL单元到达无线那边时，校验和检测失败，网关可以选择从NAL流中去掉这个NAL单元，也可以把已知被破坏的NAL单元前传给接收端。在这种情况下，智能的解码器将尝试重构这个NAL单元（已知它可能包含比特错误）。而非智能的解码器将简单地抛弃这个NAL单元。

NRI: 2 个比特.
  nal_ref_idc. 取 00 ~ 11, 指示这个 NALU 的重要性, 用于在重构过程中标记一个NAL单元的重要性，值越大，越重要。值为0表示这个NAL单元没有用于预测，因此可被解码器抛弃而不会有错误扩散；值高于0表示此NAL单元要用于无漂移重构，且值越高，对此NAL单元丢失的影响越大。

TYPE: 5 个比特.

TYPE 5位表示的含义不相同, nalu表示的是slice类型，对于rtp payload代表后面的数据的打包方式。type取值如下:

0没有定义
1-23NAL单元 单个 NAL 单元包.
24STAP-A 单一时间的组合包
25STAP-B 单一时间的组合包
26MTAP16 多个时间的组合包
27MTAP24 多个时间的组合包
28FU-A 分片的单元
29FU-B 分片的单元
30-31没有定义

三.NAL单元的类型

以上类型大概可以分为三类，即 H.264可以有三种RTP打包方式：

  • 单个 NAL 单元包：一个RTP包包含一个完整的NALU，荷载中只包含一个 NAL 单元。 NAL 头类型域等于原始 NAL 单元类型, 即在范围 1到 23 之间; 
  • 聚合包：对于较小的NALU，一个RTP包可包含多个完整的NALU，本类型用于聚合多个 NAL 单元到单个 RTP 荷载中。有四种版本, 单时间聚合包类型 A(STAP-A) ，单时间聚合包类型 B (STAP-B) ，多时间聚合包类型(MTAP)16 位位移(MTAP16), 多时间聚合包类型(MTAP)24 位位移(MTAP24) 。赋予 STAP-A, STAP-B, MTAP16, MTAP24 的 NAL 单元类型号分别是 24,25, 26, 27;
  • 分片单元： 对于较大的NALU，一个NALU可以分为多个RTP包发送，由于单个nal的大小超过了一个rtp传输负载的mtu,所以将其进行分片，用于分片单个 NAL 单元到多个 RTP 包。 现存两个版本 FU-A， FU-B, 用 NAL 单元类型 28，29 标识；

四.RTP包的格式

首先要明确，RTP包的格式是绝不会变的，永远都是RTP头+RTP载荷

         RTP头                                   RTP载荷

RTP头部是固定的，那么只能在RTP载荷中去添加额外信息来说明这个RTP包是表示同一个NALU

RTP包数据标志位代表如下：

V：RTP协议的版本号，占2位，当前协议版本号为2。
P：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分。
X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头。
CC：CSRC计数器，占4位，指示CSRC 标识符的个数。
M: 标记，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。

PT: 有效载荷类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM音频、JPEM图像等。
序列号：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。接收者通过序列号来检测报文丢失情况，重新排序报文，恢复数据。
时戳(Timestamp)：占32位，时戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动，并进行同步控制。

同步信源(SSRC)标识符：占32位，用于标识同步信源。该标识符是随机选择的，参加同一视频会议的两个同步信源不能有相同的SSRC。
特约信源(CSRC)标识符：每个CSRC标识符占32位，可以有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。


===========================================================

五.RTP组合封包模式

5.1单一 NAL 单元模式封包

5.2分片单元（FU-A、FU-B）
5.2.1FU-A封包

第一个字节位FU Indicator，其格式如下

高三位：与NALU第一个字节的高三位相同

F（禁止位）: 1 个比特位，

NRI: 2 个比特位，

Type：28，表示该RTP包一个分片，为什么是28？因为H.264的规范中定义的，此外还有许多其他Type，这里不详讲.

======================================================

第二个字节位FU Header，其格式如下

S: 1 bit
当设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，开始位设为0， 标记该分片打包的第一个RTP包。
E: 1 bit
当设置成1, 结束位指示分片NAL单元的结束，即, 荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的FU荷载不是分片NAL单元的最后分片,结束位设置为0，比较该分片打包的最后一个RTP包。
R: 1 bit
保留位必须设置为0，接收者必须忽略该位。

Type：5bit

NALU的Type，表示组合方式。

5.2.2FU-B封包

数据流分析：

// 数据流
80 e0 00 1e 00 00 d2 f0 00 00 00 00 41 9b 6b 49 €?....??....A?kI      
e1 0f 26 53 02 1a ff06 59 97 1d d2 2e 8c 50 01 ?.&S....Y?.?.?P.
cc 13 ec 52 77 4e e50e 7b fd 16 11 66 27 7c b4 ?.?RwN?.{?..f'|?
f6 e1 29 d5 d6 a4 ef3e 12 d8 fd 6c 97 51 e7 e9 ??)????>.??l?Q??
cfc7 5e c8 a9 51 f6 82 65 d6 48 5a 86 b0 e0 8c ??^??Q??e?HZ????其中，
80               是V_P_X_CC
e0               是M_PT
00 1e          	 是SequenceNum
00 00 d2 f0 	 是Timestamp
00 00 00 00		 是SSRC换成二进制：
0X80 = 1000 0000 = 10|0|0|0000v|p|x|cc 0Xe0 = 1110 0000  = |1|1100000|m|pt

六.RTP结构体和总图概要

RTP头的结构体

struct RtpHeader
{/* byte 0 */uint8_t csrcLen : 4;//CSRC计数器，占4位，指示CSRC 标识符的个数。uint8_t extension : 1;//占1位，如果X=1，则在RTP报头后跟有一个扩展报头。uint8_t padding : 1;//填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分。uint8_t version : 2;//RTP协议的版本号，占2位，当前协议版本号为2。/* byte 1 */uint8_t payloadType : 7;//有效载荷类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM音频、JPEM图像等。uint8_t marker : 1;//标记，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。/* bytes 2,3 */uint16_t seq;//占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。接收者通过序列号来检测报文丢失情况，重新排序报文，恢复数据。/* bytes 4-7 */uint32_t timestamp;//占32位，时戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动，并进行同步控制。/* bytes 8-11 */
uint32_t ssrc;//占32位，用于标识同步信源。该标识符是随机选择的，参加同一视频会议的两个同步信源不能有相同的SSRC。
客户端发起rstp拉流请求请流，服务端推流随机生产ssrc。/*标准的RTP Header 还可能存在 0-15个特约信源(CSRC)标识符  每个CSRC标识符占32位，可以有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源*/
};

RTP包的结构体

struct RtpPacket
{struct RtpHeader rtpHeader;uint8_t payload[0];
};

H264结构和RTP打包总图概要

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/616698.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

springboot实现文件上传与下载的通用思路模板流程

springboot实现文件上传与下载的通用思路模板流程

文件上传 需要将参数设置成为MultipartFile类型 或者我们可以使用spring提供的一个文件内置工具类 FileCopyUtils.copy(InputStream in…
阅读更多...
线性方程组计算

线性方程组计算

一、题型 1）给一个线性方程组，问：唯一解？无解？无穷多解？ 2）在上面的基础上，给一个未知数λ，问：当λ为几时，方程组唯一解？无解&#…
阅读更多...
STM32F103RCT6开发板M3单片机教程07-TIMER1CH1输出 PWM做LED呼吸灯

STM32F103RCT6开发板M3单片机教程07-TIMER1CH1输出 PWM做LED呼吸灯

概述 本教程使用是（光明谷SUN_STM32mini开发板） 免费开发板 在谷动谷力社区注册用户，打卡，发帖求助都可以获取积分，当然最主要是发原创应用文档奖励更多积分． (可用积分换取，真的不用钱&…
阅读更多...
2D绘图--视口窗口setViewport setWindow

2D绘图--视口窗口setViewport setWindow

目录 1 setViewport setWindow 2 示例 3 实际应用（个人理解） 4 总结 1 setViewport setWindow 在Qt中，QPainter的setViewport()方法用于定义绘图区域在窗口坐标系中的可视部分。 QPainter::setWindow() 是 Qt 库中 QPainter 类的一个方法…
阅读更多...
数据库创建表并插入数据练习题

数据库创建表并插入数据练习题

一、创建表的要求 创建一个英雄表(hero) 主键 name nickname address groups email telphone 二、 操作步骤 1.登录MySQL [rootlocalhost ~]# systemctl start mysqld [rootlocalhost ~]# mysql -uroot -p Enter password: Welcome to the MySQL monitor. Commands end with…
阅读更多...
NAND系统性能提升常见方案

NAND系统性能提升常见方案

随着NAND的发展，针对NAND系统性能提升，业内目前主要的做法有以下几种方案： 1.提升总线频率和优化AC时序： 提高NAND闪存接口的工作频率可以显著加快数据传输速度。通过不断改进工艺和技术，缩短了信号稳定时间、降低了延…
阅读更多...
工程师职称申报业绩是如何要求的？

工程师职称申报业绩是如何要求的？

无论是初级职称还是中级职称或是高级职称，评审的重要条件之一就是相关的业绩证明。 一、个人业绩，比如你做过哪些与本专业相关的业绩证明，像工程类的职称，你的业绩证明就包括中标通知书、竣工验收报告，或是你参与工程建…
阅读更多...
php 的数学常用函数

php 的数学常用函数

目录 1.常用列表 2.代码示例 1.常用列表 函数名描述输入输出abs()求绝对值数字绝对值数字ceil()进一法取整浮点数进一取整floor()舍去法求整浮点数直接舍去小数部分fmod()浮点数取余 两个浮点 数,x>y 浮点余数 pow()返回数的n次方基础数n次方乘方值round()浮点数四舍五入…
阅读更多...
区块链是怎么存储数据的？

区块链是怎么存储数据的？

每个块都是有大小限制的新的数据存储单元，当前数据不到上限，那么都可以添加进块。当前数据达到了上限，那么就得分表/分块，超限的那部分数据就需要等待下个区块存储 存储的数据：和mysql一样，文本数据直接存储…
阅读更多...
Python 全栈体系【四阶】（十二）

Python 全栈体系【四阶】（十二）

第四章 机器学习 十五、朴素贝叶斯 朴素贝叶斯是一组功能强大且易于训练的分类器，它使用贝叶斯定理来确定给定一组条件的结果的概率，“朴素”的含义是指所给定的条件都能独立存在和发生。朴素贝叶斯是多用途分类器，能在很多不同的情景下找到…
阅读更多...
完整的模型验证套路

完整的模型验证套路

读取图片 from PIL import Imageimg_path "../Yennefer_of_Vengerberg.jpg" image Image.open(img_path) print(image)转换成灰度图（可选） image image.convert(L) image.show()转换成RGB格式 image image.convert(RGB)因为png格式是四…
阅读更多...
基础数据结构之堆栈

基础数据结构之堆栈

堆栈的定义、入栈、出栈、查询栈顶 #include <stdio.h> #include <stdlib.h>typedef int DataType;// 定义栈节点结构体 struct StackNode;struct StackNode {DataType data; // 节点数据struct StackNode* next; // 指向下一个节点的指针 };// 定…
阅读更多...
SpringMVC ResponseEntity常见使用场景

SpringMVC ResponseEntity常见使用场景

ResponseEntity 作为 Spring MVC controller层 的 HTTP response&#xff0c;包含 status code, headers, body 这三部分。 正常场景 RestController Slf4j public class SearchController {AutowiredUserService userService;RequestMapping(value "/getAllStudents4&…
阅读更多...
Mixtral 8X7B MoE模型基于PAI的微调部署实践

Mixtral 8X7B MoE模型基于PAI的微调部署实践

作者&#xff1a;熊兮、求伯、一耘 引言 Mixtral 8x7B 是Mixtral AI最新发布的大语言模型&#xff0c;在许多基准测试上表现优于 GPT-3.5&#xff0c;是当前最为先进的开源大语言模型之一。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台&#xff0c;提供了…
阅读更多...
FAST OS DOCKER 可视化Docker管理工具

FAST OS DOCKER 可视化Docker管理工具

介绍 FAST OS DOCKER 界面直观、简洁&#xff0c;非常适合新手使用&#xff0c;方便大家轻松上手 docker部署运行各类有趣的容器应用&#xff0c;同时 FAST OS DOCKER 为防止服务器负载过高&#xff0c;进行了底层性能优化&#xff1b;其以服务器安全为基础&#xff0c;对其进…
阅读更多...
基于springboot+vue药店管理系统

基于springboot+vue药店管理系统

摘要 药店管理系统的设计和应用在当前社会背景下具有巨大的实际意义和社会价值。随着医药行业的不断发展和社会健康水平的提高&#xff0c;药店作为医疗服务的一部分&#xff0c;其管理方式也需要不断创新与优化。该系统的研究不仅关系到单一药店的运营效率&#xff0c;更涉及到…
阅读更多...
HBuilder/HBuilderX 运行APP

HBuilder/HBuilderX 运行APP

安装adb https://developer.android.com/tools/releases/platform-tools?hlzh-cn 配置环境变量 测试是否配置成功 adb version HBuilder/HBuilderX 配置路径 数据线连接手机 运行即可 未检测到设备排查 真机运行常见问题run | uni-app官网
阅读更多...
多维时序 | Matlab实现GRO-CNN-LSTM-Attention淘金算法优化卷积神经网络-长短期记忆网络结合注意力机制多变量时间序列预测

多维时序 | Matlab实现GRO-CNN-LSTM-Attention淘金算法优化卷积神经网络-长短期记忆网络结合注意力机制多变量时间序列预测

多维时序 | Matlab实现GRO-CNN-LSTM-Attention淘金算法优化卷积神经网络-长短期记忆网络结合注意力机制多变量时间序列预测 目录 多维时序 | Matlab实现GRO-CNN-LSTM-Attention淘金算法优化卷积神经网络-长短期记忆网络结合注意力机制多变量时间序列预测效果一览基本介绍程序设…
阅读更多...
Openstack组件glance对接swift

Openstack组件glance对接swift

2、glance对接swift &#xff08;1&#xff09;可直接在数据库中查看镜像存放的位置、状态、id等信息 &#xff08;2&#xff09;修改glance-api的配置文件&#xff0c;实现对接swift存储&#xff08;配置文件在/etc/glance/glance-api.conf&#xff0c;建议先拷贝一份&#x…
阅读更多...
每日一题——LeetCode1103.分糖果 ||

每日一题——LeetCode1103.分糖果 ||

方法一 个人方法&#xff1a; 有多少人就创建多大的数组并把数组的所有元素初始化为0&#xff0c;只要还有糖果&#xff0c;就循环给数组从头到尾添加糖果&#xff0c;每次分的糖果数递增1&#xff0c;最后可能刚好分完也可能不够&#xff0c;不够就还剩多少给多少。 var dis…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023