音视频开发—FFmpeg 从MP4文件中抽取视频H264数据

文章目录

    • MP4文件存放H264数据方式
      • MP4 文件结构概述
      • H.264 数据在 MP4 中的存储
        • 1. ftyp 盒子
        • 2. moov 盒子
        • 3. mdat 盒子
      • H.264 数据在 stsd 盒子中的存储(AVC1)
      • AVC1与Annex-B 格式(裸 H.264 流)的区别
    • 从MP4文件中提取H264裸流步骤:
    • 完整代码示例:

MP4文件存放H264数据方式

MP4文件是一个多媒体容器格式,它可以包含多种类型的音视频数据,包括H.264视频。MP4文件使用了一种称为“盒子”(box)或“原子”(atom)的层次结构来组织数据。每个盒子都有特定的功能和用途,用于存储文件元数据、音视频数据以及其他信息。

MP4 文件结构概述

MP4文件由多个盒子(box)组成,每个盒子都有一个标头(header)和内容(payload)。盒子的层次结构允许MP4文件灵活地存储和组织数据。常见的盒子包括:

  • ftyp:文件类型盒子,包含文件格式信息。
  • moov:电影盒子,包含文件的全局元数据,包括trak(轨道)盒子。
  • mdat:媒体数据盒子,包含实际的音视频数据。
  • moof:电影片段盒子,包含片段元数据,用于流媒体。

H.264 数据在 MP4 中的存储

H.264视频数据通常存储在trak盒子中,具体在mdia(媒体)、minf(媒体信息)、stbl(示例表)子盒子中。以下是详细的存储方式:

1. ftyp 盒子

ftyp盒子包含文件类型和兼容性信息,指示文件格式和版本。

2. moov 盒子

moov盒子包含全局元数据,包括以下关键子盒子:

  • mvhd:电影头盒子,包含全局时间和其他信息。
  • trak:轨道盒子,每个轨道对应一个媒体流(音频、视频、字幕等)。
    • tkhd:轨道头盒子,包含轨道的时间和其他信息。
    • mdia:媒体盒子,包含特定轨道的媒体信息。
      • mdhd:媒体头盒子,包含媒体的时间和其他信息。
      • hdlr:处理器引用盒子,指定该轨道的数据类型(视频、音频等)。
      • minf:媒体信息盒子,包含媒体特定的信息。
        • vmhd:视频媒体信息头盒子,仅用于视频轨道。
        • dinf:数据引用盒子,包含数据引用表。
          • dref:数据引用表盒子,包含指向媒体数据的引用。
        • stbl:示例表盒子,包含示例描述、时间、位置等信息。
          • stsd:示例描述盒子,包含编码类型和详细信息。
            • avc1:包含H.264视频解码信息。
          • stts:时间抽样表,包含帧时间戳信息。
          • stsc:示例到块映射表,定义示例如何映射到块。
          • stsz:示例大小表,包含每个示例的大小。
          • stco:块偏移表,包含数据块在mdat盒子中的偏移。
3. mdat 盒子

mdat盒子包含实际的媒体数据,包括H.264视频数据。这点与 Annex-B 格式不同,视频数据通常不包含NAL单元起始码,而是使用长度字段。

H.264 数据在 stsd 盒子中的存储(AVC1)

stsd(示例描述盒子)中存储了有关H.264流的详细信息,包括SPS和PPS数据:

  • avc1:视频编码类型描述,包含H.264视频的详细信息。
    • AVCDecoderConfigurationRecord:包含SPS和PPS数据,以及NAL单元的长度信息。

AVC1与Annex-B 格式(裸 H.264 流)的区别

起始码 vs 长度字段

  • AVC1 格式:每个 NAL 单元前有一个长度字段,指示该 NAL 单元的大小。长度字段的大小由 lengthSizeMinusOne 决定,通常为 4 字节。
  • Annex-B 格式:每个 NAL 单元前有一个起始码 0x000000010x000001,用于标识NAL单元的边界。

SPS 和 PPS 数据存储

  • AVC1 格式:SPS 和 PPS 数据存储在 AVCDecoderConfigurationRecord 中,并且在解码器初始化时解析。
  • Annex-B 格式:SPS 和 PPS 数据直接包含在流中,通常位于关键帧之前,以确保解码器能够正确解析。

用途

  • AVC1 格式:主要用于 MP4 等封装格式,提供高效的存储和随机访问能力
  • Annex-B 格式:主要用于裸流传输和实时流媒体应用,便于NAL单元的识别和提取。

从MP4文件中提取H264裸流步骤:

在这里插入图片描述

完整代码示例:

#include <stdio.h>
#include <libavutil/log.h>
#include <libavformat/avio.h>
#include <libavformat/avformat.h>#ifndef AV_WB32
#   define AV_WB32(p, val) do {                 \uint32_t d = (val);                     \((uint8_t*)(p))[3] = (d);               \((uint8_t*)(p))[2] = (d)>>8;            \((uint8_t*)(p))[1] = (d)>>16;           \((uint8_t*)(p))[0] = (d)>>24;           \} while(0)
#endif//读取内存中以大端字节序(big-endian)存储的16位无符号整数
#ifndef AV_RB16
#   define AV_RB16(x)                           \((((const uint8_t*)(x))[0] << 8) |          \((const uint8_t*)(x))[1])
#endifstatic int alloc_and_copy(AVPacket *out,const uint8_t *sps_pps, uint32_t sps_pps_size,const uint8_t *in, uint32_t in_size)
{uint32_t offset         = out->size;uint8_t nal_header_size = offset ? 3 : 4;int err;err = av_grow_packet(out, sps_pps_size + in_size + nal_header_size);if (err < 0)return err;if (sps_pps)memcpy(out->data + offset, sps_pps, sps_pps_size);memcpy(out->data + sps_pps_size + nal_header_size + offset, in, in_size);if (!offset) {AV_WB32(out->data + sps_pps_size, 1);} else {(out->data + offset + sps_pps_size)[0] =(out->data + offset + sps_pps_size)[1] = 0;(out->data + offset + sps_pps_size)[2] = 1;}return 0;
}//将 H.264 编码器的 extradata (额外数据),从 MP4/AVCC 格式转换为 Annex-B 格式,并将其存储在 AVPacket 结构中。
int h264_extradata_to_annexb(const uint8_t *codec_extradata, const int codec_extradata_size, AVPacket *out_extradata, int padding)
{uint16_t unit_size;uint64_t total_size                 = 0;uint8_t *out                        = NULL, unit_nb, sps_done = 0,sps_seen                   = 0, pps_seen = 0, sps_offset = 0, pps_offset = 0;const uint8_t *extradata            = codec_extradata + 4;// 跳过AVCC 格式中的前四个字节,这些信息在解析NAL单元的时候并不需要static const uint8_t nalu_header[4] = { 0, 0, 0, 1 }; //填充起始码int length_size = (*extradata++ & 0x3) + 1; // retrieve length coded size, 用于指示表示编码数据长度所需字节数sps_offset = pps_offset = -1;/* retrieve sps and pps unit(s) */unit_nb = *extradata++ & 0x1f; /* number of sps unit(s) */if (!unit_nb) {goto pps;}else {sps_offset = 0;sps_seen = 1;}while (unit_nb--) {int err;unit_size   = AV_RB16(extradata);total_size += unit_size + 4;if (total_size > INT_MAX - padding) {av_log(NULL, AV_LOG_ERROR,"Too big extradata size, corrupted stream or invalid MP4/AVCC bitstream\n");av_free(out);return AVERROR(EINVAL);}if (extradata + 2 + unit_size > codec_extradata + codec_extradata_size) {av_log(NULL, AV_LOG_ERROR, "Packet header is not contained in global extradata, ""corrupted stream or invalid MP4/AVCC bitstream\n");av_free(out);return AVERROR(EINVAL);}if ((err = av_reallocp(&out, total_size + padding)) < 0)return err;memcpy(out + total_size - unit_size - 4, nalu_header, 4);memcpy(out + total_size - unit_size, extradata + 2, unit_size);extradata += 2 + unit_size;
pps:if (!unit_nb && !sps_done++) {unit_nb = *extradata++; /* number of pps unit(s) */if (unit_nb) {pps_offset = total_size;pps_seen = 1;}}}if (out)memset(out + total_size, 0, padding);if (!sps_seen)av_log(NULL, AV_LOG_WARNING,"Warning: SPS NALU missing or invalid. ""The resulting stream may not play.\n");if (!pps_seen)av_log(NULL, AV_LOG_WARNING,"Warning: PPS NALU missing or invalid. ""The resulting stream may not play.\n");out_extradata->data      = out;out_extradata->size      = total_size;return length_size;
}
//将MP4中的AVCC格式转为annexb格式
int h264_mp4toannexb(AVFormatContext *fmt_ctx, AVPacket *in, FILE *dst_fd)
{AVPacket *out = NULL;AVPacket spspps_pkt;int len;uint8_t unit_type;int32_t nal_size;uint32_t cumul_size    = 0;const uint8_t *buf;const uint8_t *buf_end;int            buf_size;int ret = 0, i;out = av_packet_alloc();  // buf      = in->data;buf_size = in->size;buf_end  = in->data + in->size;do {ret= AVERROR(EINVAL);if (buf + 4 /*s->length_size*/ > buf_end)goto fail;for (nal_size = 0, i = 0; i<4/*s->length_size*/; i++)nal_size = (nal_size << 8) | buf[i];buf += 4; /*s->length_size;*/unit_type = *buf & 0x1f;  //确定单元类型if (nal_size > buf_end - buf || nal_size < 0)goto fail;/*if (unit_type == 7)s->idr_sps_seen = s->new_idr = 1;else if (unit_type == 8) {s->idr_pps_seen = s->new_idr = 1;*//* if SPS has not been seen yet, prepend the AVCC one to PPS *//*if (!s->idr_sps_seen) {if (s->sps_offset == -1)av_log(ctx, AV_LOG_WARNING, "SPS not present in the stream, nor in AVCC, stream may be unreadable\n");else {if ((ret = alloc_and_copy(out,ctx->par_out->extradata + s->sps_offset,s->pps_offset != -1 ? s->pps_offset : ctx->par_out->extradata_size - s->sps_offset,buf, nal_size)) < 0)goto fail;s->idr_sps_seen = 1;goto next_nal;}}}*//* if this is a new IDR picture following an IDR picture, reset the idr flag.* Just check first_mb_in_slice to be 0 as this is the simplest solution.* This could be checking idr_pic_id instead, but would complexify the parsing. *//*if (!s->new_idr && unit_type == 5 && (buf[1] & 0x80))s->new_idr = 1;*//* prepend only to the first type 5 NAL unit of an IDR picture, if no sps/pps are already present */if (/*s->new_idr && */unit_type == 5 /*&& !s->idr_sps_seen && !s->idr_pps_seen*/) {//说明是个关键帧,需要将MP4中的SPS/PPS 填充到NAL单元之前    h264_extradata_to_annexb( fmt_ctx->streams[in->stream_index]->codec->extradata,fmt_ctx->streams[in->stream_index]->codec->extradata_size,&spspps_pkt,AV_INPUT_BUFFER_PADDING_SIZE);if ((ret=alloc_and_copy(out,spspps_pkt.data, spspps_pkt.size,buf, nal_size)) < 0)goto fail;/*s->new_idr = 0;*//* if only SPS has been seen, also insert PPS */}/*else if (s->new_idr && unit_type == 5 && s->idr_sps_seen && !s->idr_pps_seen) {if (s->pps_offset == -1) {av_log(ctx, AV_LOG_WARNING, "PPS not present in the stream, nor in AVCC, stream may be unreadable\n");if ((ret = alloc_and_copy(out, NULL, 0, buf, nal_size)) < 0)goto fail;} else if ((ret = alloc_and_copy(out,ctx->par_out->extradata + s->pps_offset, ctx->par_out->extradata_size - s->pps_offset,buf, nal_size)) < 0)goto fail;}*/ else {if ((ret=alloc_and_copy(out, NULL, 0, buf, nal_size)) < 0)goto fail;/*if (!s->new_idr && unit_type == 1) {s->new_idr = 1;s->idr_sps_seen = 0;s->idr_pps_seen = 0;}*/}len = fwrite( out->data, 1, out->size, dst_fd);if(len != out->size){av_log(NULL, AV_LOG_DEBUG, "warning, length of writed data isn't equal pkt.size(%d, %d)\n",len,out->size);}fflush(dst_fd);next_nal:buf        += nal_size;cumul_size += nal_size + 4;//s->length_size;} while (cumul_size < buf_size);/*ret = av_packet_copy_props(out, in);if (ret < 0)goto fail;*/
fail:av_packet_free(&out);return ret;
}int main(int argc, char *argv[])
{int err_code;char errors[1024];char *src_filename = NULL;char *dst_filename = NULL;FILE *dst_fd = NULL;int video_stream_index = -1;//AVFormatContext *ofmt_ctx = NULL;//AVOutputFormat *output_fmt = NULL;//AVStream *out_stream = NULL;AVFormatContext *fmt_ctx = NULL;AVPacket pkt;//AVFrame *frame = NULL;av_log_set_level(AV_LOG_DEBUG);if(argc < 3){av_log(NULL, AV_LOG_DEBUG, "the count of parameters should be more than three!\n");return -1;}src_filename = argv[1];dst_filename = argv[2];if(src_filename == NULL || dst_filename == NULL){av_log(NULL, AV_LOG_ERROR, "src or dts file is null, plz check them!\n");return -1;}/*register all formats and codec*/av_register_all();dst_fd = fopen(dst_filename, "wb");if (!dst_fd) {av_log(NULL, AV_LOG_DEBUG, "Could not open destination file %s\n", dst_filename);return -1;}/*open input media file, and allocate format context*/if((err_code = avformat_open_input(&fmt_ctx, src_filename, NULL, NULL)) < 0){av_strerror(err_code, errors, 1024);av_log(NULL, AV_LOG_DEBUG, "Could not open source file: %s, %d(%s)\n",src_filename,err_code,errors);return -1;}/*dump input information*/av_dump_format(fmt_ctx, 0, src_filename, 0);/*initialize packet*/av_init_packet(&pkt);pkt.data = NULL;pkt.size = 0;/*find best video stream*/video_stream_index = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);if(video_stream_index < 0){av_log(NULL, AV_LOG_DEBUG, "Could not find %s stream in input file %s\n",av_get_media_type_string(AVMEDIA_TYPE_VIDEO),src_filename);return AVERROR(EINVAL);}/*if (avformat_write_header(ofmt_ctx, NULL) < 0) {av_log(NULL, AV_LOG_DEBUG, "Error occurred when opening output file");exit(1);}*//*read frames from media file*/while(av_read_frame(fmt_ctx, &pkt) >=0 ){if(pkt.stream_index == video_stream_index){/*pkt.stream_index = 0;av_write_frame(ofmt_ctx, &pkt);av_free_packet(&pkt);*/h264_mp4toannexb(fmt_ctx, &pkt, dst_fd);}//release pkt->dataav_packet_unref(&pkt);}//av_write_trailer(ofmt_ctx);/*close input media file*/avformat_close_input(&fmt_ctx);if(dst_fd) {fclose(dst_fd);}//avio_close(ofmt_ctx->pb);return 0;
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/45049.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java使用easypoi模版导出word详细步骤

文章目录 第一步、引入pom依赖第二步、新建导出工具类WordUtil第三步、创建模版word4.编写接口代码5.导出结果示例 第一步、引入pom依赖 <dependency><groupId>cn.afterturn</groupId><artifactId>easypoi-spring-boot-starter</artifactId><…

怎么压缩视频?推荐7款必备视频压缩软件免费版(强烈建议收藏)

如今&#xff0c;视频内容日益丰富&#xff0c;并占据了许多人的日常娱乐和工作生活。然而&#xff0c;随着高清和超高清视频的普及&#xff0c;视频文件的体积也越来越大&#xff0c;给存储和传输带来了挑战。因此&#xff0c;学会如何压缩视频文件成为了许多人的需求之一。本…

关于锂电池的充电过程

锂电池的充电阶段大概可以分为四个阶段&#xff1a;涓流充电、恒流充电、恒压充电以及充电终止。 涓流充电&#xff1a;这是充电过程的第一阶段&#xff0c;主要用于对完全放电的电池单元进行预充&#xff08;恢复性充电&#xff09;。当电池电压低于大概3V时&#xff0c;采用最…

【学习css1】flex布局-页面footer部分保持在网页底部

中间内容高度不够屏幕高度撑不开的页面时候&#xff0c;页面footer部分都能保持在网页页脚&#xff08;最底部&#xff09;的方法 1、首先上图看显示效果 2、奉上源码 2.1、html部分 <body><header>头部</header><main>主区域</main><foot…

PaintsUndo - 一张照片一键生成绘画过程视频 本地一键整合包下载

这就是ControlNet作者张吕敏大佬的新作&#xff0c;PaintsUndo。只要你有一张图片&#xff0c;PaintsUndo 就能让它变成完整的绘画过程视频。这科技&#xff0c;绝了。 你有没有想过&#xff0c;一张静态图片也能变成一个绘画教程? PaintsUndo 就是这么神奇。你只需要提供一…

通过手机供网、可修改WIFI_MAC的网络设备

一、修改WIFI mac&#xff08;bssid&#xff09; 取一根网线&#xff0c;一头连着设备黄色网口、一头连着电脑按住设备reset按键&#xff0c;插入电源线&#xff0c;观察到蓝灯闪烁后再松开reset按键 打开电脑浏览器&#xff0c;进入192.168.1.1&#xff0c;选择“MAC 地址修改…

【Spring Boot】Spring原理:Bean的作用域和生命周期

目录 Spring原理一. 知识回顾1.1 回顾Spring IOC1.2 回顾Spring DI1.3 回顾如何获取对象 二. Bean的作用域三. Bean的生命周期 Spring原理 一. 知识回顾 在之前IOC/DI的学习中我们也用到了Bean对象&#xff0c;现在先来回顾一下IOC/DI的知识吧&#xff01; 首先Spring IOC&am…

可视化学习:如何用WebGL绘制3D物体

在之前的文章中&#xff0c;我们使用WebGL绘制了很多二维的图形和图像&#xff0c;在学习2D绘图的时候&#xff0c;我们提过很多次关于GPU的高效渲染&#xff0c;但是2D图形的绘制只展示了WebGL部分的能力&#xff0c;WebGL更强大的地方在于&#xff0c;它可以绘制各种3D图形&a…

C语言之数据在内存中的存储(2),浮点数在内存中的存储

目录 前言 一、引例 二、浮点型在内存中的存储 三、浮点数在内存中的存和取过程 1.浮点数的存储过程 2.浮点数的取过程 四、引例解析 总结 前言 想知道浮点数在内存中是如何存储的吗&#xff0c;本文就告诉你答案&#xff0c;虽然一般情况题目还是面试涉及到浮点数在内…

新华三H3CNE网络工程师认证—ACL使用场景

ACL主要用于实现流量的过滤&#xff0c;业务中网络的需求不止局限于能够连同。 一、过略工具 你的公司当中有研发部门&#xff0c;包括有财务部门&#xff0c;财务部门的访问是要做到控制的&#xff0c;防止被攻击。 这种的过滤方法为&#xff0c;在设备侧可以基于访问需求来…

AI算力发展现状与趋势分析

综合算力发展现状与趋势分析 在数字经济的疾速推动下&#xff0c;综合算力作为驱动各类应用和服务的新型生产力&#xff0c;其价值日益凸显。我们深入探讨了综合算力的定义、重要性以及当前发展状况&#xff1b;并从算力形态、运力性能和存储技术等角度&#xff0c;预见了其发展…

基于Java技术的校友社交系统

你好呀&#xff0c;我是计算机学姐码农小野&#xff01;如果你对校友社交系统感兴趣或者有相关需求&#xff0c;可以私信联系我。 开发语言 Java 数据库 MySQL 技术 Java技术SpringBoot框架 工具 IDEA/Eclipse、Navicat、Maven 系统展示 首页 校友会信息界面 校友活动…

Sqli-labs 3

1.按照路径http://localhost/sqli-labs/sqli-labs-master/Less-3/进入 2.判断注入类型----字符型 Payload&#xff1a;?id1’) and 11-- 注&#xff1a;根据报错提示的语法错误&#xff0c;在第一行中使用接近’union select 1,2,3--’)的正确语法 3.判断注入点&#xff1a;…

【Linux】vim详解

1.什么是vi/vim? 简单来说&#xff0c;vi是老式的文本编辑器&#xff0c;不过功能已经很齐全了&#xff0c;但是还是有可以进步的地方。vim则可以说是程序开发者的一项很好用的工具&#xff0c;就连 vim的官方网站&#xff08; http://www.vim.org&#xff09;自己也说vim是一…

区块链项目全球成功指南:全面覆盖的媒体宣发策略与实践

随着区块链技术的迅速普及和发展&#xff0c;全球范围内对区块链项目的关注度不断提升。为了在国际市场上取得成功&#xff0c;区块链项目需要通过有效的媒体宣传策略来提高知名度&#xff0c;吸引投资&#xff0c;并建立强大的社区支持。本文将详细介绍区块链项目在海外媒体宣…

为企业提升销售工作效率的工作手机管理系统

在竞争日益激烈的市场环境中&#xff0c;企业的销售团队如同前线战士&#xff0c;其作战效率直接关乎企业的生存与发展。然而&#xff0c;传统销售管理模式下的信息孤岛、沟通不畅、数据混乱等问题&#xff0c;正悄然成为制约销售效率提升的瓶颈。今天&#xff0c;我们为您揭秘…

在 Windows 平台搭建 MQTT 服务

引言 MQTT 是一种轻量级、基于发布/订阅模式的消息传输协议&#xff0c;旨在用极小的代码空间和网络带宽为物联网设备提供简单、可靠的消息传递服务。MQTT 经过多年的发展&#xff0c;如今已被广泛应用于资源开采、工业制造、移动通信、智能汽车等各行各业&#xff0c;使得 MQ…

汇聚荣做拼多多电商怎么样?

汇聚荣做拼多多电商怎么样?在当前电商平台竞争激烈的背景下&#xff0c;拼多多凭借其独特的商业模式和市场定位迅速崛起。对于想要加入拼多多的商家而言&#xff0c;了解平台的特点、优势及挑战是至关重要的。本文将深入分析加入拼多多电商的多个方面&#xff0c;帮助读者全面…

ubuntu计划任务反弹

目录 实验环境 实验步骤 目标主机构造任务计划 构造语句 语句解释 kali开启监听 监听成功 问题 原因 实验环境 攻击者 操作系统&#xff1a;kali IP&#xff1a;192.168.244.141 目标主机 操作系统&#xff1a;ubuntu IP&#xff1a;192.168.244.151 实验步骤 目…

论文学习_An Empirical Study of Deep Learning Models for Vulnerability Detection

1. 引言 研究背景:近年来,深度学习漏洞检测工具取得了可喜的成果。最先进的模型报告了 0.9 的 F1 分数,并且优于静态分析器。结果令人兴奋,因为深度学习可能会给软件保障带来革命性的变化。因此,IBM、谷歌和亚马逊等行业公司非常感兴趣,并投入巨资开发此类工具和数据集。…