音视频开发15 FFmpeg FLV封装格式分析

FLV(Flash Video)简介

FLV(Flash Video)是Adobe公司推出的⼀种流媒体格式,由于其封装后的⾳视频⽂件体积⼩、封装简单等特点,⾮常适合于互联⽹上使⽤。⽬前主流的视频⽹站基本都⽀持FLV。采⽤ FLV格式封装的⽂件后缀为.flv。

FLV封装格式的组成

FLV封装格式是由⼀个 ⽂件头( file header ) ⽂件体( file Body ) 组成。
其中,FLV body由⼀ 对对的(Previous Tag Size字段 + tag)组成。
Previous Tag Size字段 排列在Tag之前,占⽤ 4个字节。
Previous Tag Size记录了前⾯⼀个Tag的⼤⼩,⽤于逆向读取处理。
由于 Previous Tag Size 记录的是前面一个Tag 的大小,因此FLV header 后的第⼀个Pervious Tag Size的值为0。
Tag⼀般可以分为3种类型
脚本(帧)数据类型
⾳频数据类型、
视频数据。
FLV数据以 ⼤端序 进⾏存储 ,在解析时需要注意。⼀个标准FLV⽂件结构如下图:

FLV 文件的分析工具

可以使用UltraEdit 分析。 将 flv 文件直接拖入到 UE 中。

使用 mediainfo 工具进行分析。

然后将flv 文件拖入 mediainfo工具中

FLV Header 解析

我们这里使用 believe.flv文件做为标准分析结果如下:

注:在下⾯的数据type中,UI表示⽆符号整形,后⾯跟的数字表示其⻓度是多少位。⽐如
UI8 ,表示⽆符号整形,⻓度⼀个字节。 UI24 是三个字节,UI [8*n] 表示多个字节。UB表示位
域, UB5 表示 ⼀个字节的5位 。可以参考c中的位域结构体。
FLV头占9个字节,⽤来标识⽂件为FLV类型,以及后续存储的⾳视频流。⼀个FLV⽂件,每种
类型的tag都属于⼀个流,也就是⼀个flv⽂件最多只有⼀个⾳频流,⼀个视频流,不存在多个
独⽴的⾳视频流在⼀个⽂件的情况。
00000 1 0 1

FLV Body 解析

FLV Header之后,就是FLV File Body。
FLV File Body是由⼀连串的   Previous Tag Size + Tag Header + Tag Data 构成。

Previous Tag Size

Previous Tag Size (前⼀个tag 的字节数据⻓度),占 4个字节 。注意是前一个tag的字节数据长度,因此FLV Header后面的第一个   Previous Tag Size的值是0,

Tag Header 

tag header⼀般占11个字节的内存空间。FLV tag结构如下:
注意:
1. flv⽂件中Timestamp和TimestampExtended拼出来的是dts 。也就是解码时间。
Timestamp和TimestampExtended拼出来dts单位为ms。 (如果不存在B帧,当然dts等于
pts)
2. CompositionTime 表示PTS相对于DTS的偏移值, 在每个视频tag的第14~16字节, 。
显示时间(pts) = 解码时间(tag的第5~8字节) + CompositionTime
CompositionTime的单位也是ms
如下是将 FLV Header 的9个字节,
第一个 previous tag size 
第一个tag header 解析

Tag Data

Tag Header 的类型有三种 script data,video,audio

script data

该类型Tag⼜被称为 MetaData Tag ,存放⼀些关于FLV视频和⾳频的元信息,⽐如: duration、width、 height 等。
通常该类型Tag会作为FLV⽂件的第⼀个tag,并且只有⼀个,跟在File Header后。该类型Tag
DaTa的结构如下所示
接前面的分析:

Tag Body 对于tag type = 18,对应16进制为0X12来说:表示的是Script Tag Data,script tag data 的数据结构会在后面的具体讲解,这里只是对于一个简单的描述。

从data size 中看到,tag data的大小是 0x0000 01 8C,十进制是396.

那么从下图开始位置到下下图截止为止,就都是这个data 的数据,我们要做的是分析这个数据

第一个AMF包分析。

第⼀个AMF包: 第1个字节表示AMF包类型,⼀般总是0x02,表示字符串。

第2-3个字节为UI16类型值,标识字符串的⻓度,⼀般总是0x000A(“onMetaData”⻓度)。

后⾯字节为具体的字符串,⼀般总为“onMetaData”(6F,6E,4D,65,74,61,44,61,74,61)。

第二个AMF包分析。

第⼆个AMF包: 第1个字节表示AMF包类型,⼀般总是0x08,表示数组。

第2-5个字节为UI32类型值,表示数组元素的个数。

后⾯即为各数组元素的封装,数组元素为元素名称和值组成的对。常⻅的数组元素如下表所示

第⼆个AMF包: 第1个字节表示AMF包类型,⼀般总是0x08,表示数组。

第2-5个字节为UI32类型值,表示数组元素的个数。

后⾯即为各数组元素的封装,数组元素为元素名称和值组成的对。常⻅的数组元素如下表所示

注:Lavf54.63.104即是 *L*ib*avf*ormat version 54.63.104. 即是ffmpeg对于库的版本

audio

⾳频Tag Data区域开始的:
第⼀个字节包含了⾳频数据的参数信息,
第⼆个字节开始为⾳频流数据
(这两个字节属于tag的data部分,不是header部分)
第⼀个字节为⾳频的信息(仔细看spec发现对于AAC⽽⾔,⽐较有⽤的字段是 SoundFormat ),格式如下:

If the SoundFormat indicates AAC, the SoundType should be set to 1 (stereo) and the SoundRate should be set to 3 (44 kHz).

However, this does not mean that AAC audio in FLV is always stereo, 44 kHz data.

Instead, the Flash Player ignores these values and extracts the channel and sample rate data is encoded in the AAC bitstream.

如果SoundFormat指示AAC,则SoundType应设置为1(立体声),SoundRate应设置为3(44 kHz)。
然而,这并不意味着FLV中的AAC音频总是立体声的,44kHz的数据。
相反,Flash Player会忽略这些值,并提取信道和采样率数据被编码在AAC比特流中。

AudioTagHeader如上图所示,占1个字节,包含audio的各种信息。其后就是audio tag的data部分。

这里有一个特例,如果音频格式(SoundFormat)是10 = AAC,AudioTagHeader中会多出1个字节的数据AACPacketType,这个字段来表示AACAUDIODATA的类型:0 = AAC sequence header,1 = AAC raw。

AAC sequence header也就是包含了AudioSpecificConfig,AudioSpecificConfig包含着一些更加详细音频的信息,AudioSpecificConfig的定义在ISO14496-3中1.6.2.1 AudioSpecificConfig。在FLV的文件中,一般情况下 AAC sequence header 这种包只出现1次,而且是第一个audio tag。

如果是AAC数据,如果他是AAC RAW, tag data[2] 开始才是真正的AAC frame data。这里说的tag data[2],是以下标0开始的,也就是第三个字节才是真正的 aac 数据,

AAC raw 这种包含的就是音频ES流了,也就是audio payload。

video

视频Tag Data开始的:
第⼀个字节 包含视频数据的参数信息,
第⼆个字节 开始为视频流数据。
更具体的说,第二个字节有可能不是视频信息。
这里也有一个特例,如果视频的格式是AVC(H.264)的话, VideoTagHeader会多出4个字节的信息 AVCPacketType 和  CompositionTime
(1)CompositionTime 单位毫秒
CompositionTime 每个视频tag(整个tag)的第 14~16 字节(如果是tag data偏移[3]~[5],
[0],[1][2:AVCPackettype] )(表示PTS相对于DTS的偏移值 )。
CompositionTime 单位为ms : 显示时间 = 解码时间( tag的第5~8字节,位置索引[4]~[7]
+ CompositionTime
(2)AVCDecoderConfigurationRecord
AVC sequence header就是 AVCDecoderConfigurationRecord 结构,该结构在标准⽂
档“ ISO-14496-15 AVC file format
📎 ISOIEC 14496-15 Advanced Video Coding (AVC) file format.pdf 中有详细说明。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/846739.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

牛客BM22 比较版本号【中等 字符串 Java/Go/PHP/C++】

题目 题目链接: https://www.nowcoder.com/practice/2b317e02f14247a49ffdbdba315459e7 思路 字符串用.分割为数组,然后依次比较大小Java代码 import java.util.*;public class Solution {/*** 代码中的类名、方法名、参数名已经指定,请勿修…

lvs安装文档

目录 1. 检测内核是否支持了lvs 2. 安装依赖 3. 安装ipvsadm 1. 检测内核是否支持了lvs Centos6.5的内核已经支持了lvs,所有只需要安装lvs的管理工具ipvsadm即可; 检查linux内核是否集成lvs模块:modprobe -l | grep ipvs 开启路由转发功…

一文了解经典报童模型的扩展问题

文章目录 1 引言2 经典报童模型3 综述文章4 模型扩展4.1 扩展目标函数4.2 增加约束条件4.3 增加优化变量4.4 扩展模型参数4.5 扩展问题场景 5 总结6 相关阅读 1 引言 时间过的真快呀,已经6月份了。距离上一篇文章发表,已经过去了将近一个月,…

godot.bk:how to add map to the game

1.项目构建如下,map是我们点击start之后才渲染出来的 mian.tscn --main.gd --background(textureact) --start(button) --button.gd sourceFile map.tscn --tilemap --tileset 2.main.gd:注意main.gd并不定义信号,它只是接收信号而已 extend…

冒泡排序与快速排序

博主主页: 码农派大星. 数据结构专栏:Java数据结构 数据库专栏:MySQL数据库 关注博主带你了解更多数据结构知识 1.冒泡排序 冒泡排序 private static void swap(int[] arrary,int i,int j){int tmp arrary[i];arrary[i] arrary[j];arrary[j] tmp;public static void bubbl…

Java筑基-面向对象

Java-面向对象 一、类和对象1、类和对象的关系2、创建类3、创建对象4、成员变量与局部变量5、构造器5.1、创建对象的过程5.2、构造器的格式5.3、构造器和方法的区别5.4、构造器的作用5.5、构造器的重载 6、this关键字用法:6.1、this可以修饰属性6.2、this可以修饰方…

【Ubuntu常用命令】终端个人常用命令总结

【Ubuntu常用命令】终端常用命令总结 查看硬盘挂载情况查看内存占用情况移动或重命名文件和目录复制文件或目录conda安装本地文件 查看硬盘挂载情况 mount 命令会列出当前系统上所有已挂载的文件系统。它会显示挂载点、文件系统类型、挂载选项等信息 mount df 命令用于显示文…

【一小时学会Charles抓包详细教程】Charles 抓包相关设置 (7)

🚀 个人主页 极客小俊 ✍🏻 作者简介:程序猿、设计师、技术分享 🐋 希望大家多多支持, 我们一起学习和进步! 🏅 欢迎评论 ❤️点赞💬评论 📂收藏 📂加关注 Charles 抓包相…

数据库(18)——DCL权限控制

MySQL常用权限 权限说明ALL,ALL PRIVILEGES所有权限SELECT查询数据INSERT插入数据UPDATE修改数据DELETE删除数据ALTER修改表DROP删除数据库/表/视图CREATE创建数据库/表 DCL语法 查询权限 SHOW GRANTS FOR 用户名主机名; 查询hello的权限 SHOW GRANTS FOR hellolocalhost; 授…

GCB | 基于36年5个生态系统观测数据发现表层土壤深度提高生态系统的生产力和稳定性

陆地生态系统生产力对全球粮食安全和促进碳固存至关重要,但生产力受到气候变化以及火灾、干旱、洪水、霜冻频率增加和生物多样性减少的压力。了解控制生态系统初级生产力变异的不同因素和机制,为维持生态系统初级生产力和增强生态系统恢复力提供了科学依…

OJ1230进制的转换

答案&#xff1a; #include <bits/stdc.h> using namespace std; using lllong long; const int N10; int a[10]; char ch[]{0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F}; void solve() {int n,m;cin>>n>>m;string str;cin>>str;for(int i0;i<str.size();i)…

字符串操作java

题目&#xff1a; 描述 给定长度为n的只有小写字母的字符串s&#xff0c;进行m次操作&#xff0c;每次将[l,r]范围内所有c1字符改成c2&#xff0c;输出操作完的字符串 输入描述&#xff1a; 第一行两个数n,m 第二行一个字符串s 之后m行&#xff0c;每行两个数l 、r两个字符…

【STL】优先级队列用法介绍及其实现

目录 前言 用法介绍 模拟实现 仿函数 迭代器区间构造 插入 删除 队顶 判空 大小 完整代码 前言 优先级队列&#xff08;priority_queue&#xff09;是一种特殊的队列数据结构&#xff0c;其中每个元素都有一个“优先级”。优先级最高的元素最先出队&#xff0c;而优…

内网域中NTLM中继那些事儿

0x01 初识NTLM协议 基本概念&#xff1a;NTLM(NT LAN Manager)认证是一种早期的Windows网络身份认证协议。它在Windows系统中用于验证用户的身份&#xff0c;并提供对网络资源的访问控制&#xff0c;它是一种基于Challenge/Response的认证机制。 认证流程 NTLM协议Challenge…

Python代码关系图生成,帮助快速熟悉一个项目

一、静态代码关系图 工具1、pyreverse pyreverse 是一个由 Logilab 开发的 Python 工具&#xff0c;它能够自动生成 UML (统一建模语言) 类图&#xff0c;这些类图基于 Python 源代码。pyreverse 可以分析 Python 代码&#xff0c;并从中提取出类、模块、函数、方法和它们之间…

Window下VS2019编译WebRTC通关版

这段时间需要实现这样一个功能&#xff0c;使用WebRTC实现语音通话功能&#xff0c;第一步要做的事情就是编译WebRTC源码&#xff0c;也是很多码友会遇到的问题。 经过我很多天的踩坑终于踩出来一条通往胜利的大路&#xff0c;下面就为大家详细介绍&#xff0c;编译步骤以及踩…

安卓组合控件(底部标签栏、顶部导航栏、增强型列表、升级版翻页)

本章介绍App开发常用的一些组合控件用法&#xff0c;主要包括&#xff1a;如何实现底部标签栏、如何运用顶部导航栏、如何利用循环视图实现3种增强型列表、如何使用二代翻页视图实现更炫的翻页效果。 底部标签栏 本节介绍底部标签栏的两种实现方式&#xff1a;首先说明如何通…

minos 2.3 中断虚拟化——GICv2 管理

首发公号&#xff1a;Rand_cs 该项目来自乐敏大佬&#xff1a;https://github.com/minosproject/minos 硬件肯定需要软件配合&#xff0c;这一节就来实战 GICv2 首先准备好 GICv2 手册&#xff1a;https://developer.arm.com/documentation/ihi0048/bb/?langen&#xff0c;对…

深入剖析Java逻辑运算符,解决日常开发难题

哈喽&#xff0c;各位小伙伴们&#xff0c;你们好呀&#xff0c;我是喵手。运营社区&#xff1a;C站/掘金/腾讯云&#xff1b;欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点&#xff0c;并以文字的形式跟大家一起交流&#xff0c;互相学习&#xff0c;一…

SpringBoot:手动创建应用

Spring提供了在线的Spring Initialzr在线创建Spring Boot项目&#xff0c;为了更好的理解Spring Boot项目&#xff0c;这里我们选择手动创建。 1.新建Web应用 1.1 生成工程 首先要做是创建一个Java项目&#xff0c;这里我们选择使用Maven来支持&#xff0c;使用archetype:ge…