音视频入门基础：H.264专题（6）——FFmpeg源码：从H.264码流中提取NALU Header、EBSP、RBSP和SODB

=================================================================

音视频入门基础：H.264专题系列文章：

音视频入门基础：H.264专题（1）——H.264官方文档下载

音视频入门基础：H.264专题（2）——使用FFmpeg命令生成H.264裸流文件

音视频入门基础：H.264专题（3）——EBSP, RBSP和SODB

音视频入门基础：H.264专题（4）——NALU Header：forbidden_zero_bit、nal_ref_idc、nal_unit_type简介

音视频入门基础：H.264专题（5）——FFmpeg源码中 解析NALU Header的函数分析

=================================================================

一、引言

FFmpeg源码中 通过ff_h2645_packet_split这个函数将一个个NALU的NALU Header、EBSP、RBSP和SODB从H.264/H.265码流中提取出来，本文以H.264为例对该函数进行讲解。

二、ff_h2645_packet_split函数的声明

ff_h2645_packet_split函数声明在FFmpeg源码（本文演示用的FFmpeg源码版本为5.0.3）的头文件libavcodec/h2645_parse.h中：

/*** Split an input packet into NAL units.** If data == raw_data holds true for a NAL unit of the returned pkt, then* said NAL unit does not contain any emulation_prevention_three_byte and* the data is contained in the input buffer pointed to by buf.* Otherwise, the unescaped data is part of the rbsp_buffer described by the* packet's H2645RBSP.** If the packet's rbsp_buffer_ref is not NULL, the underlying AVBuffer must* own rbsp_buffer. If not and rbsp_buffer is not NULL, use_ref must be 0.* If use_ref is set, rbsp_buffer will be reference-counted and owned by* the underlying AVBuffer of rbsp_buffer_ref.*/
int ff_h2645_packet_split(H2645Packet *pkt, const uint8_t *buf, int length,void *logctx, int is_nalff, int nal_length_size,enum AVCodecID codec_id, int small_padding, int use_ref);

该函数的作用是：将形参buf指向的H.264码流中的一个个NALU提取出来，解析NALU Header，分别将每个NALU的NALU Header中的属性，EBSP、RBSP和SODB存贮到形参pkt指向的内存中。

形参pkt：输出型参数。为H2645Packet *类型。

H2645Packet结构体声明在libavcodec/h2645_parse.h中：

/* an input packet split into unescaped NAL units */
typedef struct H2645Packet {H2645NAL *nals;H2645RBSP rbsp;int nb_nals;int nals_allocated;unsigned nal_buffer_size;
} H2645Packet;

执行ff_h2645_packet_split函数后，指针pkt->nals会指向一个H2645NAL类型的数组。该数组的每个元素都会存放从H.264码流中提取出来的NALU信息。比如pkt->nals[0]存放从H.264码流中提取出来的第一个NALU的信息，pkt->nals[1]存放提取出来的第二个NALU的信息，以此类推。

H2645NAL结构体声明在libavcodec/h2645_parse.h：

typedef struct H2645NAL {const uint8_t *data;int size;/*** Size, in bits, of just the data, excluding the stop bit and any trailing* padding. I.e. what HEVC calls SODB.*/int size_bits;int raw_size;const uint8_t *raw_data;GetBitContext gb;/*** NAL unit type*/int type;/*** H.264 only, nal_ref_idc*/int ref_idc;/*** HEVC only, nuh_temporal_id_plus_1 - 1*/int temporal_id;/** HEVC only, identifier of layer to which nal unit belongs*/int nuh_layer_id;int skipped_bytes;int skipped_bytes_pos_size;int *skipped_bytes_pos;
} H2645NAL;

我们记pkt->nals指向的数组的某个元素的下标为“subscript”（数组的下标都是从0开始，所以pkt->nals[subscript]表示它是第“subscript+1”个元素），则执行函数ff_h2645_packet_split后：

pkt->nals[subscript]->data变为：指向某个缓冲区的指针。该缓冲区存放 从H.264码流中提取出来的第“subscript+1”个NALU的“NALU Header + RBSP”。

pkt->nals[subscript]->size变为：pkt->nals[subscript]->data指向的缓冲区的大小，单位为字节。

pkt->nals[subscript]->size_bits变为：该NALU “NALU Header + SODB的位数”，单位为bit（1个字节等于8位）。

pkt->nals[subscript]->raw_data变为：指向某个缓冲区的指针。该缓冲区存放提取出来的第“subscript+1”个NALU的“NALU Header + EBSP”。
pkt->nals[subscript]->raw_size变为：pkt->nals[subscript]->raw_data指向的缓冲区的大小，单位为字节。

pkt->nals[subscript]->type变为：该NALU“NALU Header中的nal_unit_type”。

pkt->nals[subscript]->ref_idc变为：该NALU“NALU Header中的nal_ref_idc”。

pkt->nals[subscript]->gb.buffer的值等于：pkt->nals[subscript]->data。

pkt->nals[subscript]->gb.buffer_end变为：指向该NALU的RBSP的最后一个字节。

pkt->nals[subscript]->gb.index变为：8。表示读取完了该NALU的第一个字节（NALU Header，8位）

pkt->nals[subscript]->gb.size_in_bit的值等于：pkt->nals[subscript]->size_bits。

pkt->nals[subscript]->gb.size_in_bits_plus8的值等于：pkt->nals[subscript]->gb.size_in_bit + 8。

pkt->nb_nals为：这段H.264码流中NALU的个数。

形参buf：输入型参数。指向缓冲区的指针，该缓冲区存放“包含startcode的H.264码流”。

形参length：输入型参数。形参buf指向的缓冲区的长度，单位为字节。

形参logctx：输入型参数。用来输出日志，可忽略。

形参is_nalff：输入型参数。值一般为0，可忽略。

形参nal_length_size：输入型参数。值一般为0，可忽略。

codec_id：输入型参数。解码器的id。对于H.264码流，其值就是“AV_CODEC_ID_H264”。

small_padding：输入型参数。值一般为0或1，可忽略。

use_ref：输入型参数。值一般为0，可忽略。

返回值：提取NALU Header、EBSP、RBSP和SODB成功返回0。返回非0值表示失败。

三、ff_h2645_packet_split函数的定义

ff_h2645_packet_split函数定义在libavcodec/h2645_parse.c中：

int ff_h2645_packet_split(H2645Packet *pkt, const uint8_t *buf, int length,void *logctx, int is_nalff, int nal_length_size,enum AVCodecID codec_id, int small_padding, int use_ref)
{GetByteContext bc;int consumed, ret = 0;int next_avc = is_nalff ? 0 : length;int64_t padding = small_padding ? 0 : MAX_MBPAIR_SIZE;bytestream2_init(&bc, buf, length);alloc_rbsp_buffer(&pkt->rbsp, length + padding, use_ref);if (!pkt->rbsp.rbsp_buffer)return AVERROR(ENOMEM);pkt->rbsp.rbsp_buffer_size = 0;pkt->nb_nals = 0;while (bytestream2_get_bytes_left(&bc) >= 4) {H2645NAL *nal;int extract_length = 0;int skip_trailing_zeros = 1;if (bytestream2_tell(&bc) == next_avc) {int i = 0;extract_length = get_nalsize(nal_length_size,bc.buffer, bytestream2_get_bytes_left(&bc), &i, logctx);if (extract_length < 0)return extract_length;bytestream2_skip(&bc, nal_length_size);next_avc = bytestream2_tell(&bc) + extract_length;} else {int buf_index;if (bytestream2_tell(&bc) > next_avc)av_log(logctx, AV_LOG_WARNING, "Exceeded next NALFF position, re-syncing.\n");/* search start code */buf_index = find_next_start_code(bc.buffer, buf + next_avc);bytestream2_skip(&bc, buf_index);if (!bytestream2_get_bytes_left(&bc)) {if (pkt->nb_nals > 0) {// No more start codes: we discarded some irrelevant// bytes at the end of the packet.return 0;} else {av_log(logctx, AV_LOG_ERROR, "No start code is found.\n");return AVERROR_INVALIDDATA;}}extract_length = FFMIN(bytestream2_get_bytes_left(&bc), next_avc - bytestream2_tell(&bc));if (bytestream2_tell(&bc) >= next_avc) {/* skip to the start of the next NAL */bytestream2_skip(&bc, next_avc - bytestream2_tell(&bc));continue;}}if (pkt->nals_allocated < pkt->nb_nals + 1) {int new_size = pkt->nals_allocated + 1;void *tmp;if (new_size >= INT_MAX / sizeof(*pkt->nals))return AVERROR(ENOMEM);tmp = av_fast_realloc(pkt->nals, &pkt->nal_buffer_size, new_size * sizeof(*pkt->nals));if (!tmp)return AVERROR(ENOMEM);pkt->nals = tmp;memset(pkt->nals + pkt->nals_allocated, 0, sizeof(*pkt->nals));nal = &pkt->nals[pkt->nb_nals];nal->skipped_bytes_pos_size = FFMIN(1024, extract_length/3+1); // initial buffer sizenal->skipped_bytes_pos = av_malloc_array(nal->skipped_bytes_pos_size, sizeof(*nal->skipped_bytes_pos));if (!nal->skipped_bytes_pos)return AVERROR(ENOMEM);pkt->nals_allocated = new_size;}nal = &pkt->nals[pkt->nb_nals];consumed = ff_h2645_extract_rbsp(bc.buffer, extract_length, &pkt->rbsp, nal, small_padding);if (consumed < 0)return consumed;if (is_nalff && (extract_length != consumed) && extract_length)av_log(logctx, AV_LOG_DEBUG,"NALFF: Consumed only %d bytes instead of %d\n",consumed, extract_length);bytestream2_skip(&bc, consumed);/* see commit 3566042a0 */if (bytestream2_get_bytes_left(&bc) >= 4 &&bytestream2_peek_be32(&bc) == 0x000001E0)skip_trailing_zeros = 0;nal->size_bits = get_bit_length(nal, skip_trailing_zeros);if (nal->size <= 0 || nal->size_bits <= 0)continue;ret = init_get_bits(&nal->gb, nal->data, nal->size_bits);if (ret < 0)return ret;/* Reset type in case it contains a stale value from a previously parsed NAL */nal->type = 0;if (codec_id == AV_CODEC_ID_HEVC)ret = hevc_parse_nal_header(nal, logctx);elseret = h264_parse_nal_header(nal, logctx);if (ret < 0) {av_log(logctx, AV_LOG_WARNING, "Invalid NAL unit %d, skipping.\n",nal->type);continue;}pkt->nb_nals++;}return 0;
}

四、ff_h2645_packet_split函数的内部实现原理

ff_h2645_packet_split函数中首先通过：

bytestream2_init(&bc, buf, length);

初始化GetByteContext结构体变量bc，让bc.buffer指向“包含起始码的H.264码流”的开头（首地址）。（关于bytestream2_init函数和相关函数的用法可以参考：《FFmpeg字节操作相关的源码：GetByteContext结构体，bytestream2_init、bytestream2_get_bytes_left、bytestream2_tell函数分析》）

然后通过：

while (bytestream2_get_bytes_left(&bc) >= 4){
//...
}

判断如果距离读取完H.264码流还剩超过4个字节，则执行大括号循环体中的内容

如果没读取完这段H.264码流，执行else{//...}里面的内容：

if (bytestream2_tell(&bc) == next_avc) {
//...
}else{
//...
}

然后通过：

/* search start code */
buf_index = find_next_start_code(bc.buffer, buf + next_avc);
bytestream2_skip(&bc, buf_index);

找到这段H.264码流中值为0x000001或0x00000001的起始码的位置，让bc.buffer指向“这段H.264码流去掉第一个起始码后的位置”。

如果此时已经到了这段H.264码流的末尾，并且这段H.264码流中存在其它起始码，返回0。如果到了这段H.264码流的末尾时也没发现它里面包含任何起始码，说明这段H.264码流是无效的，返回AVERROR_INVALIDDATA：

if (!bytestream2_get_bytes_left(&bc)) {if (pkt->nb_nals > 0) {// No more start codes: we discarded some irrelevant// bytes at the end of the packet.return 0;} else {av_log(logctx, AV_LOG_ERROR, "No start code is found.\n");return AVERROR_INVALIDDATA;}
}

继续往下执行，通过：

consumed = ff_h2645_extract_rbsp(bc.buffer, extract_length, &pkt->rbsp, nal, small_padding);

拿到这段H.264码流中的第一个NALU的“NALU Header + RBSP”和“NALU Header + EBSP”。关于ff_h2645_extract_rbsp函数可以参考《FFmpeg源码：ff_h2645_extract_rbsp函数分析》

通过：

bytestream2_skip(&bc, consumed);

让bc.buffer指向 下一个NALU的开始位置。

通过：

nal->size_bits = get_bit_length(nal, skip_trailing_zeros);

拿到NALU Header + SODB的位数，单位为比特。关于get_bit_length可以参考《FFmpeg源码：get_bit_length函数分析》

通过：

ret = h264_parse_nal_header(nal, logctx);

将NALU Header解析出来。关于h264_parse_nal_header函数的用法可以参考《音视频入门基础：H.264专题（5）——FFmpeg源码中 解析NALU Header的函数分析》

该H.264码流中的NALU统计数量加1：

pkt->nb_nals++;

然后继续通过while循环来读取下一个NALU，直到读取完该H.264码流为止：

while (bytestream2_get_bytes_left(&bc) >= 4) {
//...
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/34969.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Windows 10,11 Server 2022 Install Docker-Desktop

Windows 10,11 Server 2022 Install Docker-Desktop

docker 前言 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 docker-compose Compose 是用于定义和运行…
阅读更多...
centos 7.2 离线部署 mysql 5.7.37

centos 7.2 离线部署 mysql 5.7.37

1.安装依赖 清楚mysql从图的依赖 rpm -qa|grep mariadb 存在冲突依赖，进行卸载 rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64 确认gcc版本 ldd --version 安装mysql5.7所需要的依赖 mkdir -p /root/AllInstalls 只下载不安装，用于放到其他机器： yum inst…
阅读更多...
Stateflow快速入门系列（-）：构造并运行 Stateflow 图

Stateflow快速入门系列（-）：构造并运行 Stateflow 图

Stateflow 提供了一种图形语言&#xff0c;包括状态转移图、流程图、状态转移表和真值表。您可以使用 Stateflow 来说明 MATLAB 算法和 Simulink 模型如何响应输入信号、事件和基于时间的条件。 Stateflow 使您能够设计和开发监控、任务调度、故障管理、通信协议、用户界面和混…
阅读更多...
相亲交友微信小程序系统源码

相亲交友微信小程序系统源码

开启浪漫邂逅新篇章 相亲交友——随着年龄的增长&#xff0c;越来越多的人开始关注自己的婚姻问题&#xff0c;为了提高相亲服务的质量&#xff0c;这款应用就可以拓宽在线社交网络范围。​ &#x1f491; 引言&#xff1a;邂逅爱情的新方式 在繁忙的都市生活中&#xff0c;寻…
阅读更多...
十年，亚马逊云科技合作伙伴网络开启AI新征程

十年，亚马逊云科技合作伙伴网络开启AI新征程

“十年之前&#xff0c;你不认识我&#xff0c;我不认识你&#xff0c;因为云计算我们携手并肩&#xff1b;十年之后&#xff0c;我们仍是伙伴&#xff0c;更是朋友&#xff0c;因为人工智能再次起程。”这就是今天的亚马逊云科技与其合作伙伴的真实写照。 2024年是亚马逊云科技…
阅读更多...
Java并发编程：避免常见的陷阱

Java并发编程：避免常见的陷阱

Java并发编程&#xff1a;避免常见的陷阱 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; Java并发编程是现代软件开发中不可或缺的一部分&#xff0c;它能够充…
阅读更多...
板凳-------unix 网络编程 卷1-1简介

板凳-------unix 网络编程 卷1-1简介

unix网络编程进程通信 unpipc.h https://blog.csdn.net/u010527630/article/details/33814377?spm1001.2014.3001.5502 订阅专栏 1>解压源码unpv22e.tar.gz。 $tar zxvf unpv22e.tar.gz //这样源码就被解压到当前的目录下了 2>运行configure脚本&#xff0c;以生成正确…
阅读更多...
js+php 上传文件到服务器

js+php 上传文件到服务器

https://andi.cn/page/621473.html
阅读更多...
喂饭级AI神器！免代码一键绘制图表，文本数据秒变惊艳视觉盛宴！

喂饭级AI神器！免代码一键绘制图表，文本数据秒变惊艳视觉盛宴！

由于目前的AI生成图表工具存在以下几个方面的问题&#xff1a; 大多AI图表平台是纯英文&#xff0c;对国内用户来说不够友好&#xff1b;部分平台在生成图表前仍需选择图表类型、配置项&#xff0c;操作繁琐&#xff1b;他们仍需一份规整的数据表格&#xff0c;需要人为对数据…
阅读更多...
“论模型驱动架构设计方法及其应用”写作框架，软考高级，系统架构设计师

“论模型驱动架构设计方法及其应用”写作框架，软考高级，系统架构设计师

论文真题 模型驱动架构设计是一种用于应用系统开发的软件设计方法&#xff0c;以模型构造、模型转换和精化为核心&#xff0c;提供了一套软件设计的指导规范。在模型驱动架构环境下&#xff0c;通过创建出机器可读和高度抽象的模型实现对不同问题域的描述&#xff0c;这些模型…
阅读更多...
Java中的数据库连接与优化

Java中的数据库连接与优化

Java中的数据库连接与优化 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 在Java应用程序开发中&#xff0c;数据库连接是关键的一环&#xff0c;性能的好坏直…
阅读更多...
【Win】双系统新体验：Hyper-V上macOS安装攻略

【Win】双系统新体验：Hyper-V上macOS安装攻略

在虚拟化的世界里&#xff0c;Hyper-V是探索不同操作系统的一扇大门。尽管macOS并不是Hyper-V官方支持的来宾操作系统&#xff0c;但这并未阻挡技术探索者的脚步。他们通过不懈努力&#xff0c;开辟出了一条条通往macOS的非官方路径。这些路径或许曲折&#xff0c;却为那些渴望…
阅读更多...
vue项目纯前端实现导出pdf文件

vue项目纯前端实现导出pdf文件

1、下载插件 npm install html2canvas npm install jspdf2、创建htmlToPdf.js&#xff0c;地址&#xff1a;src/utils/htmlToPdf.js import html2Canvas from html2Canvas import JsPDF from jspdf export default { install(Vue, options) { Vue.prototype.getPdfFromH…
阅读更多...
小阿轩yx-MySQL索引、事务

小阿轩yx-MySQL索引、事务

小阿轩yx-MySQL索引、事务 MySQL 索引介绍 是一个排序的列表&#xff0c;存储着索引的值和包含这个值的数据所在行的物理地址数据很多时&#xff0c;索引可以大大加快查询的速度使用索引后可以不用扫描全表来定位某行的数据而是先通过索引表找到该行数据对应的物理地址然后访…
阅读更多...
Ubuntu挂载window的网络共享文件夹爱

Ubuntu挂载window的网络共享文件夹爱

1.进入win10创建一个用户smb密码也是smb 2.右键进入文件夹共享 3.进入Ubuntu安装支持cifs-utils sudo apt update sudo apt install cifs-utils 4.sudo mkdir /mnt/shared 5.挂载&#xff1a; sudo mount -t cifs -o usernamesm bpasswordsmb //172.16.11.37(windowsIP)/s…
阅读更多...
Android SurfaceFlinger——动画播放准备（十五）

Android SurfaceFlinger——动画播放准备（十五）

BootAnimation 本质上是一个线程，执行 run 之后，会先执行 readyToRun，接着执行 treadLoop 方法。 一、线程启动 1、BootAnimation 源码位置：/frameworks/base/cmds/bootanimation/BootAnimation.cpp readyToRun status_t BootAnimation::readyToRun() {// 添加默认资源…
阅读更多...
Postman接口测试工具的原理及应用详解（二）

Postman接口测试工具的原理及应用详解（二）

本系列文章简介&#xff1a; 在当今软件开发的世界中&#xff0c;接口测试作为保证软件质量的重要一环&#xff0c;其重要性不言而喻。随着前后端分离开发模式的普及&#xff0c;接口测试已成为连接前后端开发的桥梁&#xff0c;确保前后端之间的数据交互准确无误。在这样的背景…
阅读更多...
【Linux】修改dmesg输出的日志级别

【Linux】修改dmesg输出的日志级别

修改dmesg输出的级别 要修改 /proc/sys/kernel/printk 文件的内容以更改 dmesg 输出的级别&#xff0c;可以通过命令行进行操作。这个文件包含四个值&#xff0c;分别代表内核消息的不同级别。通过修改这些值&#xff0c;可以控制内核消息的输出级别。 /proc/sys/kernel/prin…
阅读更多...
controller不同的后端路径对应vue前端传递数据发送请求的方式

controller不同的后端路径对应vue前端传递数据发送请求的方式

目录 案例一&#xff1a; 为什么使用post发送请求&#xff0c;参数依旧会被拼接带url上呢&#xff1f;这应该就是param 与data传参的区别。即param传参数参数会被拼接到url后&#xff0c;data会以请求体传递 补充&#xff1a;后端controller 参数上如果没写任何注解&#xff0c…
阅读更多...
JVM专题十二：JVM 中的收集器二

JVM专题十二：JVM 中的收集器二

上一篇JVM专题十一&#xff1a;JVM 中的收集器一咱们介绍了垃圾收集器的分类&#xff0c;已经主流的分代垃圾收集器重点看了CMS与三色标记算法&#xff0c;本篇咱们继续来看意G1、ZGC等。 G1收集器 G1&#xff08;Garbage-First Garbage Collector&#xff09;是一种服务器端的…
阅读更多...
最新文章

Copyright @ 2022~2023