TS格式解析

简介：

ts文件为传输流文件，视频编码主要格式h264/mpeg4，音频为acc/MP3。
ts的包是一个一个188字节的包组成，这188字节里面由一个0x47开头的包作为同步。
也就是说，如果你找到了0x47，如果与它相隔188个字节的地方又是一个0x47，基本上就是一个ts的包。
注：ts包中有内容为0x47，所以分割时确定是ts包之后，直接以188字节分割。

结构：

ts文件分为三层：ts层Transport Stream：ts层就是在pes层加入数据流的识别和传输必须的信息。pes层 Packet Elemental Stream：pes层是在音视频数据上加了时间戳等对数据帧的说明信息。es层 Elementary Stream.：es层就是音视频数据。

解析步骤

• ts流 发送方式：->PAT ->PMT ->PES ->ES ->ES ->ES ->ES ->PES -> ES ->ES …

ts层的内容是通过PID值来标识的，内容：PAT表、PMT表、PES包、ES（音频、视频）。（注：只有PES包有pes header）
解析ts流要先找到PAT表，找到PAT就可以找到PMT的PID，然后根据PMT的PID找到PES包,之后的为前一个PES包的补充ES数据。PAT表的table_id值固定为0x00。
PMT表的table_id值固定为0x02。
PES包的开始码固定为0x000001。
ES包，开始即为数据，没有固定值。

ts header

ts层分为三个部分：ts header:固定4个字节。adaptation field:可有可无，作用是给不足188字节的数据做填充。payload：pes数据。

ts header：详解如下：

字段	长度(bite)	描述
sync_byte	8b	固定为0x47
transport_error_indicator	1b	传输错误指示符，表明在ts头的adapt域后由一个无用字节，通常为0
payload_unit_start_indicator	1b	负载单元起始标示符，
transport_priority	1b	传输优先级，0为低优先级，1为高优先级，通常取0
pid	13b	pid值
transport_scrambling_control	2b	自适应区，‘00’保留；‘01’为无自适应域，仅含有效负载；‘10’为仅含自适应域，无有效负载；‘11’为同时带有自适应域和有效负载。（自适应域：adaptation field）
adaptation_field_control	2b	pid值
continuity_counter	4b	递增计数器，从0-f，起始值不一定取0，但必须是连续的

注：payload_unit_start_indicator：为1时：表明是第一个的数据包 （后面有pes层），为0时：表明不是第一个数据包，后面直接是数据

adaptation field

adaptation field：详解如下：

字段	长度(字节)	描述
adaptation_field_length	1B	自适应域长度，后面的字节数
flag	1B	取0x50表示包含PCR或0x40表示不包含PCR
PCR	5B	Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。
stuffing_bytes	xB	填充字节，取值0xff

PAT 格式

字段	长度(bite)	描述
table_id	8b	PAT表固定为0x00
section_syntax_indicator	1b	固定为1
zero	1b	固定为0
reserved	2b	固定为11
section_length	12b	后面数据的长度
section_length	16b	传输流ID，固定为0x0001
reserved	2b	固定为11
version_number	5b	版本号，固定为00000，如果PAT有变化则版本号加1
current_next_indicator	1b	为1，表示这个PAT表可以用，为0则要等待下一个PAT表
section_number	8b	固定为0x00
last_section_number	8b	固定为0x00
program_number	16b	节目号为0x0001时,表示这是PMT
reserved	3b	固定为111
PID	13b	节目号对应内容的PID值
CRC32	32b	前面数据的CRC32校验码

注：ts header之后，PAT表之前有1字节无用，需要排除

PMT格式

字段	长度(bite)	描述
table_id	8b	PAT表固定为0x02
section_syntax_indicator	1b	固定为1
zero	1b	固定为0
reserved	2b	固定为11
section_length	12b	后面数据的长度
section_length	16b	频道号码，表示当前的PMT关联到的频道，取值0x0001
reserved	2b	固定为11
version_number	5b	版本号，固定为00000，如果PMT有变化则版本号加1
current_next_indicator	1b	为1，表示这个PMT表可以用，为0则要等待下一个PAT表
section_number	8b	固定为0x00
last_section_number	8b	固定为0x00
reserved	8=3b	固定为111
PCR_PID	13b	PCR(节目参考时钟)所在TS分组的PID，指定为视频PID
reserved	4b	固定为1111
program_info_length	12b	节目描述信息，指定为0x000表示没有
stream_type	8b	流类型，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03,h.265编码对应0x24
reserved	3b	固定为111
elementary_PID	13b	与stream_type对应的PID
reserved	4b	固定为1111
ES_info_length	12b	描述信息，指定为0x000表示没有
CRC32	32b	前面数据的CRC32校验码

注：ts header之后，PMT表之前有1字节无用，需要排除

PES格式

字段	长度(字节)	描述
pes_start_code	3B	开始码，固定为0x000001
stream_id	1B	音频取值（0xc0-0xdf），通常为0xc0;视频取值（0xe0-0xef），通常为0xe0
pes_packet_length	2B	后面pes数据的长度，0表示长度不限制，只有视频数据长度会超过0xffff(注：长度为整个pes，即为第一个pes头、es+之后的es)
flag	1B	通常取值0x80，表示数据不加密、无优先级、备份的数据
flag	1B	取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes_data_length	1B	后面数据的长度，取值5或10
pts	5B	33bit值
dts	5B	33bit值

注： pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。
有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。
dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。

ES格式

视频数据必须加上一个nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type.
nalu header固定为0x00000001（帧开始,常见）或0x000001（帧中）。

nalu header：

字段	长度(bite)
forbidden_zero_bit	1b
nal_unit_type	6b
nuh_reserved_zero_6bits	6b
nuh_temporal_id_plus1	3b

H265 帧类型判断：
在文件中查找00 00 00 01NALU头，发现在有6种开头分别为：

00 00 00 01 40 01  的nuh_unit_type的值为 32， 语义为视频参数集        VPS
00 00 00 01 42 01  的nuh_unit_type的值为 33， 语义为序列参数集         SPS
00 00 00 01 44 01  的nuh_unit_type的值为 34， 语义为图像参数集         PPS
00 00 00 01 4E 01  的nuh_unit_type的值为 39， 语义为补充增强信息       SEI
00 00 00 01 26 01  的nuh_unit_type的值为 19， 语义为可能有RADL图像的IDR图像的SS编码数据   IDR
00 00 00 01 02 01  的nuh_unit_type的值为1， 语义为被参考的后置图像，且非TSA、非STSA的SS编码数据