常见的音视频格式介绍

目录

    • aac格式介绍（ADTS）
    • h264格式分析
    • FLV和MP4格式介绍

aac格式介绍（ADTS）

aac的格式有两种：ADIF不常用，ADTS是主流，所以这里主要讲解ADTS。简单来说，ADTS可以在任意帧解码，也就是说它每⼀帧都有头信息。ADIF只有⼀个统⼀的header，所以必须得到所有的数据后解码。参考下图
在这里插入图片描述

⼀个AAC原始数据块⻓度是可变的，对原始帧加上ADTS头进⾏ADTS的封装，就形成了ADTS帧。参考下图

adts-header的长度一般为7字节，当protection_absent=0时，表示需要校验码，此时的adts-header就会额外添加一个2字节的校验码，此时的adts-header长度就为9字节。

⼀般情况下ADTS的头信息都是7个字节，分为2部分：

  1. adts_fixed_header
  2. adts_variable_header

其中，adts_fixed_header为固定头信息，adts_variable_header是可变头信息。固定头信息中的数据每⼀帧都相同，⽽可变头信息则在帧与帧之间不同。 参考下图

注：ADTS Header的长度可能为7字节或9字节，当protection_absent字段为时，表示需要校验码，此时是9字节；否则为7字节。

常见的header字段如下：

  • 同步字(syncword)：2个字节（16位） 同步字是ADTS文件的标志符，它用于确定音频帧的开始位置和结束位置，通常为0xFFF。
  • ID (MPEG Version)：1个字节（8位） ID指示使用的MPEG版本。值为0表示MPEG-4，值为1表示MPEG-2。
  • Layer：2个比特 Layer定义了音频流所属的层级，对于AAC来说，其值为0。
  • Protection Absent：1个比特 Protection Absent指示是否启用CRC错误校验。当该比特为0时，表明音频数据经过CRC校验，否则未经过CRC校验。
  • Profile：2个比特 Profile指示编码所使用的AAC规范类型，如AAC LC、AAC HE-AAC等。
  • Sampling Frequency Index (Sampling Rate)：4个比特 Sampling Frequency Index表示采样率的索引，它告诉解码器当前音频数据的采样率。这个值的范围是0到15，每个值表示一个特定的采样率。参考下图
    在这里插入图片描述
  • Private Bit：1个比特 Private Bit为私有比特，通常被设置为0，没有实际作用。
  • Channel Configuration：3个比特 Channel Configuration指示音频的通道数，如单声道、立体声或多声道等。
  • Originality：1个比特 Originality指示编码数据是否被原始产生，通常为0。
  • Home：1个比特 Home bit通常被设置为0，没有实际作用。
  • Emphasis：2个比特 Emphasis指示对信号进行强调处理的类型，一般不使用。
  • sampling_frequency_index：表示使⽤的采样率下标，通过这个下标在Sampling Frequencies[ ]数组中查找得知采样率的值。

这里只是对aac格式的简单介绍，想要了解更多内容，参考：AAC-ADTS格式分析【转载】-CSDN博客

h264格式分析

H.264从1999年开始，到2003年形成草案，最后在2007年定稿有待核实。在ITU的标准⾥称为H.264，在MPEG的标准⾥是MPEG-4的⼀个组成部分–MPEG-4 Part 10，⼜叫Advanced Video Codec，因此常常称为MPEG-4 AVC或直接叫AVC。

H264主要分为两层：编码层(Video Coding Layer，VCL)和网络抽象层(NetworkAbstraction Layer (NAL))；前者定义了各种编码的算法，后者将前者编码的数据按照一定的方式进行打包存储或者传输。而NAL单元(NALU)作为可以单独可以解码的结构，整个H264的码流可以理解为由多个NALU组成的。这里我们主要介绍NALU。

先来认识一些相关概念

  • SPS：序列参数集，SPS中保存了⼀组编码视频序列的全局参数。
  • PPS：图像参数集，对应的是⼀个序列中某⼀幅图像或者某⼏幅图像的参数。
  • I帧：帧内编码帧，可独⽴解码⽣成完整的图⽚。
  • P帧: 前向预测编码帧，需要参考其前⾯的⼀个I 或者B 来⽣成⼀张完整的图⽚。
  • B帧: 双向预测内插编码帧，则要参考其前⼀个I或者P帧及其后⾯的⼀个P帧来⽣成⼀张完整的图⽚。
  • 在I帧之前，至少有一个SPS和PPS。
  • GOP：GOP是一组连续的视频帧，这些帧按照一定的编码规则被组织在一起。GOP的设计目的是为了提高视频数据的压缩效率，并且使得视频流能够支持随机访问。

H.264/AVC只是定义了一种标准，常见的具体格式有两种：AnnexB格式和AVCC格式。AnnexB格式主要用于实时播放（.h264文件就是这种格式），AVCC格式主要用于视频存储，即AnnexB是能够直接播放的，而AVCC不能直接播放。

AnnexB格式：[start code]NALU | [start code] NALU | ...

SPS和PPS被嵌入到视频流中，其本身也是一种NALU。这种格式比较常见，也就是我们熟悉的每个帧前面都有0x00 00 00 01或者0x00 00 01作为起始码。

在这里插入图片描述

AVCC格式：([extradata]) | ([length] NALU) | ([length] NALU) | ...

这里的NALU一般没有SPS PPS等参数信息，参数信息属于extradata位于文件的头部。比如ffmpeg中解析mp4文件后SPS PPS存在streams[index]->codecpar->extradata中。

在这里插入图片描述

AnnexB和AVCC的区别在于：

  1. NALU之间的分隔方式不同：AnnexB是通过在每一个NALU前面添加一个start code，而AVCC则是通过在NALU前都加上一个大端格式的前缀，表示NALU的长度。
    AnnexB格式的start code有两种：
    　　　①3字节 0x000001　　 单帧多[slice]（即单帧多个NALU）之间间隔
    　　　②4字节 0x00000001　 帧之间，或者SPS等之前
    而AVCC格式的长度前缀一般设置为4个字节。

  2. SPS和PPS的位置不同：AnnexB是将SPS和PPS直接嵌入到视频流中的，SPS和PPS也是一种NALU。即每一个GOP的起始位置都有一个SPS和PPS，所以解码器可以从AnnexB格式的视频流随机点开始进行解码。而AVCC格式格式是将视频的元数据和SPS和PPS等内容统一放到文件的头部，这部分内容通常称为extradata或者sequence header。所以AVCC格式主要用于视频存储，MP4、MKV通常用AVCC格式来存储。

这里主要介绍AnnexB格式和AVCC格式的区别，想要了解H264-NALU的结构，可以参考：H264基础简介【转载】-CSDN博客，这篇博客以AnnexB格式为例，介绍了h264的格式。

FLV和MP4格式介绍

  • FLV格式

FLV封装格式是由⼀个⽂件头(file header)和 ⽂件体(file Body)组成。其中，FLV body由⼀对对的(Previous Tag Size字段 + tag)组成。Previous Tag Size字段 排列在Tag之前，占⽤4个字节。Previous Tag Size记录了前⾯⼀个Tag的⼤⼩，⽤于逆向读取处理。FLV header后的第⼀个Pervious Tag Size的值为0。 参考下图

在这里插入图片描述

这里只是对flv格式的简单介绍，详情参考：FLV文件格式分析【转载】-CSDN博客

  • MP4格式

MP4协议本身没有多复杂，没啥特别难理解的地方，关键的“复杂”点就在于其“大”，嵌套的各种各样的子box。详情参考：整理mp4协议重点【转载】-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/883315.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

校园表白墙源码修复版

校园表白墙源码修复版

此校园表白墙源码基于thinkphp，因为时代久远有不少bug，经本人修复已去除大部分bug，添加了美化元素。 https://pan.quark.cn/s/1f9b3564c84b https://pan.baidu.com/s/1bb9vu9VV2jJoo9-GF6W3xw?pwd7293 https://caiyun.139.com/m/i?2hoTc…
阅读更多...
多款云存储平台存在安全漏洞，影响超2200万用户

多款云存储平台存在安全漏洞，影响超2200万用户

据苏黎世联邦理工学院研究人员Jonas Hofmann和Kien Tuong Turong的发现，端到端加密（E2EE）云存储平台存在一系列安全问题，可能会使用户数据暴露给恶意行为者。在通过密码学分析后，研究人员揭示了Sync、pCloud、Icedrive…
阅读更多...
三维管线管网建模工具MagicPipe3D V3.5.3

三维管线管网建模工具MagicPipe3D V3.5.3

经纬管网建模系统MagicPipe3D，本地离线参数化构建地下管网三维模型（包括管道、接头、附属设施等），输出标准3DTiles、Obj模型等格式，支持Cesium、Unreal、Unity、Osg等引擎加载进行三维可视化、语义查询、专题分析&…
阅读更多...
【Android】MVP架构

【Android】MVP架构

MVP架构简介 MVP（Model-View-Presenter）是一种常见的软件架构模式，尤其在Android应用开发中被广泛使用。它将应用程序分为三层：Model、View 和 Presenter，以实现职责分离，提高代码的可维护性和可测试性。 …
阅读更多...
基于自适应VSG控制的光伏混合储能构网型逆变系统MATLAB仿真模型

基于自适应VSG控制的光伏混合储能构网型逆变系统MATLAB仿真模型

模型简介 此模型源侧部分采用光伏发电系统与混合储能系统（蓄电池超级电容），并网逆变器采用虚拟同步发电机（VSG）控制，为系统提供惯量阻尼支撑。同时对VSG控制部分进行了改进，采用构造函数法对虚…
阅读更多...
论文阅读（二十九）：Multi-scale Interactive Network for Salient Object Detection

论文阅读（二十九）：Multi-scale Interactive Network for Salient Object Detection

文章目录 Abstract1.Introduction2.Scale VariationProposed Method3.1Network Overview3.2Aggregate Interaction Module3.3 Self-Interaction Module3.4Consistency-Enhanced Loss 4.Experiments4.1Implementation Details4.2 Comparison with State-of-the-arts4.3Ablation …
阅读更多...
【力扣】[Java版] 刷题笔记-21. 合并两个有序链表

【力扣】[Java版] 刷题笔记-21. 合并两个有序链表

题目： 21. 合并两个有序链表 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 解题思路 从题目和示例可以看出，应该是要循环遍历链表进行比较，然后组成新的链表。 第一种：递归…
阅读更多...
存储过程（SQL）

存储过程（SQL）

1.存储过程 存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。 2.MySQL存储过程创建…
阅读更多...
PostgreSQL的前世今生

PostgreSQL的前世今生

PostgreSQL的起源可以追溯到1977年的加州大学伯克利分校（UC Berkeley）的Ingres项目。该项目由著名的数据库科学家Michael Stonebraker领导，他是2015年图灵奖的获得者。以下是PostgreSQL起源的详细概述： 一、早期发展 Ingres项目…
阅读更多...
LabVIEW换流变换器智能巡检系统

LabVIEW换流变换器智能巡检系统

基于LabVIEW的换流变换器智能巡检系统通过自动化检测和数据分析，提高换流变换器的运行效率和可靠性，降低人工维护成本。 项目背景： 换流变压器作为电力系统的重要组成部分，其性能的可靠性直接影响到整个电网的稳定运行。然而&…
阅读更多...
完美解决phpstudy安装后mysql无法启动

完美解决phpstudy安装后mysql无法启动

phpstudy数据库无法启动有以下几个原因。 一、自己在电脑上安装了MySQL数据库,MySQL的服务名为MySQL,这会与phpstudy的数据库的服务名发生冲突，从而造成phpstudy中的数据库无法启动，这时我们只需要将自己安装的MySQL的服务名改掉就行。 但是&#xff0…
阅读更多...
软件测试的重要一环：「性能测试」怎么做？

软件测试的重要一环：「性能测试」怎么做？

性能测试是软件测试中的重要一环，今天给大家介绍性能测试及如何使用RunnerGo完成性能测试任务。 性能测试是什么？ 一句话概括：不断地通过不同场景的系统表现去探究系统设计与资源消耗之间的平衡，为开发人员提供消除瓶颈所需的诊…
阅读更多...
Ajax：表单 模板引擎

Ajax：表单 模板引擎

Ajax&#xff1a;表单 & 模板引擎 form 表单form 属性 Ajax操控表单事件监听阻止默认行为收集表单数据 模板引擎art-template{{}}语法原文输出条件输出循环输出过滤器 原理 form 表单 在HTML中&#xff0c;可以通过<form>创建一个表单&#xff0c;收集用户信息。而采…
阅读更多...
基于docker 部署redis

基于docker 部署redis

1、拉取镜像 docker pull redis:latest如果拉取失败可以尝试下配置镜像源&#xff0c;具体参考如下&#xff0c;目前暂可以使用 Docker切换镜像源-CSDN博客 2、创建配置文件 mkdir /usr/local/redis/conf vim redis.conf bind 0.0.0.0#protected-mode no port 6379 tcp-b…
阅读更多...
Fast Simulation of Mass-Spring Systems in Rust 论文阅读

Fast Simulation of Mass-Spring Systems in Rust 论文阅读

参考资料&#xff1a; Fast Simulation of Mass-Spring Systems in Rust 论文阅读&#xff1a;Fast Simulation of Mass-Spring Systems 【论文精读】讲解刘天添2013年的fast simulation of mass spring system(Projective Dynamics最早的论文) Projective Dynamics笔记(一…
阅读更多...
面试经典 150 题 第三周代码

面试经典 150 题 第三周代码

【题目链接】 80. 删除有序数组中的重复项 II 【参考代码】 双指针 class Solution { public:int removeDuplicates(vector<int>& nums) {int size nums.size();if(size < 2){return size;}int slow 2, fast 2;while(fast < size){if(nums[slow-2] ! num…
阅读更多...
【C++数学 负进制】1017. 负二进制转换|1697

【C++数学 负进制】1017. 负二进制转换|1697

本文涉及知识点 数学 LeetCode1017. 负二进制转换 给你一个整数 n &#xff0c;以二进制字符串的形式返回该整数的 负二进制&#xff08;base -2&#xff09;表示。 注意&#xff0c;除非字符串就是 “0”&#xff0c;否则返回的字符串中不能含有前导零。 示例 1&#xff1a…
阅读更多...
可训练的YOLO距离检测

可训练的YOLO距离检测

由于很多场景需要测距&#xff0c;而深度图、点云等获取、配准、融合困难&#xff0c;尝试直接在目标增加距离标注进行训练&#xff0c;理论上标注准确&#xff0c;数据集够&#xff0c;就可以实现。 目前已经跑通YOLO增加距离训练&#xff1a; 目前准度不够&#xff0c;仅将…
阅读更多...
Flutter Image和Text图文组件实战案例

Flutter Image和Text图文组件实战案例

In this section, we’ll go through the process of building a user interface that showcases a product using the Text and Image widgets. We’ll follow Flutter’s best practices to ensure a clean and effective UI structure. 在本节中&#xff0c;我们将使用“Te…
阅读更多...
JVM 实战篇(一万字)

JVM 实战篇(一万字)

此笔记来至于 黑马程序员 内存调优 内存溢出和内存泄漏 内存泄漏&#xff08;memory leak&#xff09;&#xff1a;在Java中如果不再使用一个对象&#xff0c;但是该对象依然在 GC ROOT 的引用链上&#xff0c;这个对象就不会被垃圾回收器回收&#xff0c;这种情况就称之为内…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023