音视频开发15 FFmpeg FLV封装格式分析

FLV(Flash Video)简介

FLV(Flash Video)是Adobe公司推出的⼀种流媒体格式,由于其封装后的⾳视频⽂件体积⼩、封装简单等特点,⾮常适合于互联⽹上使⽤。⽬前主流的视频⽹站基本都⽀持FLV。采⽤ FLV格式封装的⽂件后缀为.flv。

FLV封装格式的组成

FLV封装格式是由⼀个 ⽂件头( file header ) ⽂件体( file Body ) 组成。
其中,FLV body由⼀ 对对的(Previous Tag Size字段 + tag)组成。
Previous Tag Size字段 排列在Tag之前,占⽤ 4个字节。
Previous Tag Size记录了前⾯⼀个Tag的⼤⼩,⽤于逆向读取处理。
由于 Previous Tag Size 记录的是前面一个Tag 的大小,因此FLV header 后的第⼀个Pervious Tag Size的值为0。
Tag⼀般可以分为3种类型
脚本(帧)数据类型
⾳频数据类型、
视频数据。
FLV数据以 ⼤端序 进⾏存储 ,在解析时需要注意。⼀个标准FLV⽂件结构如下图:

FLV 文件的分析工具

可以使用UltraEdit 分析。 将 flv 文件直接拖入到 UE 中。

使用 mediainfo 工具进行分析。

然后将flv 文件拖入 mediainfo工具中

FLV Header 解析

我们这里使用 believe.flv文件做为标准分析结果如下:

注:在下⾯的数据type中,UI表示⽆符号整形,后⾯跟的数字表示其⻓度是多少位。⽐如
UI8 ,表示⽆符号整形,⻓度⼀个字节。 UI24 是三个字节,UI [8*n] 表示多个字节。UB表示位
域, UB5 表示 ⼀个字节的5位 。可以参考c中的位域结构体。
FLV头占9个字节,⽤来标识⽂件为FLV类型,以及后续存储的⾳视频流。⼀个FLV⽂件,每种
类型的tag都属于⼀个流,也就是⼀个flv⽂件最多只有⼀个⾳频流,⼀个视频流,不存在多个
独⽴的⾳视频流在⼀个⽂件的情况。
00000 1 0 1

FLV Body 解析

FLV Header之后,就是FLV File Body。
FLV File Body是由⼀连串的   Previous Tag Size + Tag Header + Tag Data 构成。

Previous Tag Size

Previous Tag Size (前⼀个tag 的字节数据⻓度),占 4个字节 。注意是前一个tag的字节数据长度,因此FLV Header后面的第一个   Previous Tag Size的值是0,

Tag Header 

tag header⼀般占11个字节的内存空间。FLV tag结构如下:
注意:
1. flv⽂件中Timestamp和TimestampExtended拼出来的是dts 。也就是解码时间。
Timestamp和TimestampExtended拼出来dts单位为ms。 (如果不存在B帧,当然dts等于
pts)
2. CompositionTime 表示PTS相对于DTS的偏移值, 在每个视频tag的第14~16字节, 。
显示时间(pts) = 解码时间(tag的第5~8字节) + CompositionTime
CompositionTime的单位也是ms
如下是将 FLV Header 的9个字节,
第一个 previous tag size 
第一个tag header 解析

Tag Data

Tag Header 的类型有三种 script data,video,audio

script data

该类型Tag⼜被称为 MetaData Tag ,存放⼀些关于FLV视频和⾳频的元信息,⽐如: duration、width、 height 等。
通常该类型Tag会作为FLV⽂件的第⼀个tag,并且只有⼀个,跟在File Header后。该类型Tag
DaTa的结构如下所示
接前面的分析:

Tag Body 对于tag type = 18,对应16进制为0X12来说:表示的是Script Tag Data,script tag data 的数据结构会在后面的具体讲解,这里只是对于一个简单的描述。

从data size 中看到,tag data的大小是 0x0000 01 8C,十进制是396.

那么从下图开始位置到下下图截止为止,就都是这个data 的数据,我们要做的是分析这个数据

第一个AMF包分析。

第⼀个AMF包: 第1个字节表示AMF包类型,⼀般总是0x02,表示字符串。

第2-3个字节为UI16类型值,标识字符串的⻓度,⼀般总是0x000A(“onMetaData”⻓度)。

后⾯字节为具体的字符串,⼀般总为“onMetaData”(6F,6E,4D,65,74,61,44,61,74,61)。

第二个AMF包分析。

第⼆个AMF包: 第1个字节表示AMF包类型,⼀般总是0x08,表示数组。

第2-5个字节为UI32类型值,表示数组元素的个数。

后⾯即为各数组元素的封装,数组元素为元素名称和值组成的对。常⻅的数组元素如下表所示

第⼆个AMF包: 第1个字节表示AMF包类型,⼀般总是0x08,表示数组。

第2-5个字节为UI32类型值,表示数组元素的个数。

后⾯即为各数组元素的封装,数组元素为元素名称和值组成的对。常⻅的数组元素如下表所示

注:Lavf54.63.104即是 *L*ib*avf*ormat version 54.63.104. 即是ffmpeg对于库的版本

audio

⾳频Tag Data区域开始的:
第⼀个字节包含了⾳频数据的参数信息,
第⼆个字节开始为⾳频流数据
(这两个字节属于tag的data部分,不是header部分)
第⼀个字节为⾳频的信息(仔细看spec发现对于AAC⽽⾔,⽐较有⽤的字段是 SoundFormat ),格式如下:

If the SoundFormat indicates AAC, the SoundType should be set to 1 (stereo) and the SoundRate should be set to 3 (44 kHz).

However, this does not mean that AAC audio in FLV is always stereo, 44 kHz data.

Instead, the Flash Player ignores these values and extracts the channel and sample rate data is encoded in the AAC bitstream.

如果SoundFormat指示AAC,则SoundType应设置为1(立体声),SoundRate应设置为3(44 kHz)。
然而,这并不意味着FLV中的AAC音频总是立体声的,44kHz的数据。
相反,Flash Player会忽略这些值,并提取信道和采样率数据被编码在AAC比特流中。

AudioTagHeader如上图所示,占1个字节,包含audio的各种信息。其后就是audio tag的data部分。

这里有一个特例,如果音频格式(SoundFormat)是10 = AAC,AudioTagHeader中会多出1个字节的数据AACPacketType,这个字段来表示AACAUDIODATA的类型:0 = AAC sequence header,1 = AAC raw。

AAC sequence header也就是包含了AudioSpecificConfig,AudioSpecificConfig包含着一些更加详细音频的信息,AudioSpecificConfig的定义在ISO14496-3中1.6.2.1 AudioSpecificConfig。在FLV的文件中,一般情况下 AAC sequence header 这种包只出现1次,而且是第一个audio tag。

如果是AAC数据,如果他是AAC RAW, tag data[2] 开始才是真正的AAC frame data。这里说的tag data[2],是以下标0开始的,也就是第三个字节才是真正的 aac 数据,

AAC raw 这种包含的就是音频ES流了,也就是audio payload。

video

视频Tag Data开始的:
第⼀个字节 包含视频数据的参数信息,
第⼆个字节 开始为视频流数据。
更具体的说,第二个字节有可能不是视频信息。
这里也有一个特例,如果视频的格式是AVC(H.264)的话, VideoTagHeader会多出4个字节的信息 AVCPacketType 和  CompositionTime
(1)CompositionTime 单位毫秒
CompositionTime 每个视频tag(整个tag)的第 14~16 字节(如果是tag data偏移[3]~[5],
[0],[1][2:AVCPackettype] )(表示PTS相对于DTS的偏移值 )。
CompositionTime 单位为ms : 显示时间 = 解码时间( tag的第5~8字节,位置索引[4]~[7]
+ CompositionTime
(2)AVCDecoderConfigurationRecord
AVC sequence header就是 AVCDecoderConfigurationRecord 结构,该结构在标准⽂
档“ ISO-14496-15 AVC file format
📎 ISOIEC 14496-15 Advanced Video Coding (AVC) file format.pdf 中有详细说明。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/846739.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI学习指南机器学习篇-逻辑回归算法简介

AI学习指南机器学习篇-逻辑回归算法简介 在机器学习领域,逻辑回归是一种常用的分类算法,它可以用于预测一个事件发生的概率。逻辑回归不同于线性回归,它的输出是一个概率,而不是一个连续的数值。本文将介绍逻辑回归的基本概念&am…

屏幕适配方案

百分比布局 高度固定,宽度使用百分比,通常使用max-width/min-width控制尺寸范围过大或者过小。但是屏幕尺寸相对于设计稿跨度过大的话,会拉伸明显。常用在pc端适配。 flex布局 屏幕尺寸相对于设计稿跨度过大的话,会拉伸明显。常用…

【linux软件基础知识】执行进程切换和switch_to

执行进程切换 进程切换可能只发生在精心定义的点: schedule()函数。这里,我们仅关注内核如何执行一个进程切换,从本质上说,每个进程切换由两步组成, 切换页全局目录以安装一个新的地址空间,切换内核态堆栈和硬件上下文,因为硬件上下文提供了内核执行新进程所需要的所有信息…

牛客BM22 比较版本号【中等 字符串 Java/Go/PHP/C++】

题目 题目链接: https://www.nowcoder.com/practice/2b317e02f14247a49ffdbdba315459e7 思路 字符串用.分割为数组,然后依次比较大小Java代码 import java.util.*;public class Solution {/*** 代码中的类名、方法名、参数名已经指定,请勿修…

Linux常用命令整理

一、文件和目录操作 1. ls 列出目录内容选项:-l(详细列表)、-a(包括隐藏文件)、-h(以人类可读的格式显示文件大小) 2. cd 改变当前目录用法:cd 目录名 3. pwd 显示当前工作目录…

lvs安装文档

目录 1. 检测内核是否支持了lvs 2. 安装依赖 3. 安装ipvsadm 1. 检测内核是否支持了lvs Centos6.5的内核已经支持了lvs,所有只需要安装lvs的管理工具ipvsadm即可; 检查linux内核是否集成lvs模块:modprobe -l | grep ipvs 开启路由转发功…

欧洲版“OpenAI”——Mistral 举办的 AI 大模型马拉松

近期,法国的 Mistral AI 举办了一场别开生面的 AI 大模型马拉松。要知道,Mistral 可是法国对 OpenAI 的有力回应,而且其技术还是完全开源的呢!这场在巴黎举行的黑客马拉松,规模空前盛大,竟然有超过 1000 名…

提升你的Netty服务器性能:零拷贝与Reactor模型精讲

1.深入Netty的核心原理 1.1 Netty架构概览 Netty是目前使用广泛的Java NIO客户端服务器框架,它能够快速构建可维护的高性能协议服务器与客户端。起初,它由JBoss提供,现完全成为社区驱动的项目。Netty提供了一种异步的、事件驱动的网络应用程…

二进制分析 ELF格式

简介: ELF 用于可执行文件,对象文件,共享库及核心转储,是UN IX系统实验室作为二进制接口而开发和发布 组成部分ELF 头部 该头部是一系列结构化的字节,描述是什么样的二进制文件及在文件的什么地方找到其他内容 可以在 /usr/includ…

一文了解经典报童模型的扩展问题

文章目录 1 引言2 经典报童模型3 综述文章4 模型扩展4.1 扩展目标函数4.2 增加约束条件4.3 增加优化变量4.4 扩展模型参数4.5 扩展问题场景 5 总结6 相关阅读 1 引言 时间过的真快呀,已经6月份了。距离上一篇文章发表,已经过去了将近一个月,…

godot.bk:how to add map to the game

1.项目构建如下,map是我们点击start之后才渲染出来的 mian.tscn --main.gd --background(textureact) --start(button) --button.gd sourceFile map.tscn --tilemap --tileset 2.main.gd:注意main.gd并不定义信号,它只是接收信号而已 extend…

Python冷知识

Python作为一种广泛使用的编程语言,有许多功能和特性可能不为初学者或普通用户所熟知。以下是一些相对冷门但有趣的Python知识: 魔术方法:Python中有一些特殊的方法,通常以双下划线__开头和结尾,被称为魔术方法(或特殊方法)。例如,__init__用于初始化对象,__str__返回…

冒泡排序与快速排序

博主主页: 码农派大星. 数据结构专栏:Java数据结构 数据库专栏:MySQL数据库 关注博主带你了解更多数据结构知识 1.冒泡排序 冒泡排序 private static void swap(int[] arrary,int i,int j){int tmp arrary[i];arrary[i] arrary[j];arrary[j] tmp;public static void bubbl…

Java筑基-面向对象

Java-面向对象 一、类和对象1、类和对象的关系2、创建类3、创建对象4、成员变量与局部变量5、构造器5.1、创建对象的过程5.2、构造器的格式5.3、构造器和方法的区别5.4、构造器的作用5.5、构造器的重载 6、this关键字用法:6.1、this可以修饰属性6.2、this可以修饰方…

【Ubuntu常用命令】终端个人常用命令总结

【Ubuntu常用命令】终端常用命令总结 查看硬盘挂载情况查看内存占用情况移动或重命名文件和目录复制文件或目录conda安装本地文件 查看硬盘挂载情况 mount 命令会列出当前系统上所有已挂载的文件系统。它会显示挂载点、文件系统类型、挂载选项等信息 mount df 命令用于显示文…

使用 pm2 或 screen 等工具来管理和后台运行你的 Node.js 应用

使用 pm2 或 screen 等工具来管理和后台运行你的 Node.js 应用。 使用 pm2 pm2 是一个用于 Node.js 应用的进程管理工具,提供了守护进程、日志管理和应用重启等功能。 安装 pm2: npm install pm2 -g启动你的 Node.js 应用: pm2 start se…

outlook邮箱使用技巧

Microsoft Outlook 是一款广泛使用的电子邮件客户端,它提供了许多功能来帮助用户有效地管理电子邮件、日程、联系人等。下面是一些实用的Outlook邮箱使用技巧,可以帮助你提高工作效率和邮件管理效能: ### 1. 快速搜索 - **使用搜索功能**&am…

【一小时学会Charles抓包详细教程】Charles 抓包相关设置 (7)

🚀 个人主页 极客小俊 ✍🏻 作者简介:程序猿、设计师、技术分享 🐋 希望大家多多支持, 我们一起学习和进步! 🏅 欢迎评论 ❤️点赞💬评论 📂收藏 📂加关注 Charles 抓包相…

数据库(18)——DCL权限控制

MySQL常用权限 权限说明ALL,ALL PRIVILEGES所有权限SELECT查询数据INSERT插入数据UPDATE修改数据DELETE删除数据ALTER修改表DROP删除数据库/表/视图CREATE创建数据库/表 DCL语法 查询权限 SHOW GRANTS FOR 用户名主机名; 查询hello的权限 SHOW GRANTS FOR hellolocalhost; 授…

02.了解容器的发展史

容器技术的发展过程 1):chroot技术,新建一个子系统(拥有自己完整的系统文件) 参考资料:https://www.ibm.com/developerworks/cn/linux/l-cn-chroot/ chang root 使用chroot监狱限制SSH用户访问指定目录和使用指定命…