TS格式解析
简介：
ts文件为传输流文件，视频编码主要格式h264/mpeg4，音频为acc/MP3。
ts的包是一个一个188字节的包组成，这188字节里面由一个0x47开头的包作为同步。
也就是说，如果你找到了0x47，如果与它相隔188个字节的地方又是一个0x47，基本上就是一个ts的包。
注：ts包中有内容为0x47，所以分割时确定是ts包之后，直接以188字节分割。
结构：
ts文件分为三层：ts层Transport Stream：ts层就是在pes层加入数据流的识别和传输必须的信息。pes层 Packet Elemental Stream：pes层是在音视频数据上加了时间戳等对数据帧的说明信息。es层 Elementary Stream.：es层就是音视频数据。
解析步骤
- ts流 发送方式：->PAT ->PMT ->PES ->ES ->ES ->ES ->ES ->PES -> ES ->ES …
ts层的内容是通过PID值来标识的，内容：PAT表、PMT表、PES包、ES（音频、视频）。（注：只有PES包有pes header）
解析ts流要先找到PAT表，找到PAT就可以找到PMT的PID，然后根据PMT的PID找到PES包,之后的为前一个PES包的补充ES数据。PAT表的table_id值固定为0x00。
PMT表的table_id值固定为0x02。
PES包的开始码固定为0x000001。
ES包，开始即为数据，没有固定值。
ts header
ts层分为三个部分：ts header:固定4个字节。adaptation field:可有可无，作用是给不足188字节的数据做填充。payload：pes数据。
ts header：详解如下：
| 字段 | 长度(bite) | 描述 |
|---|---|---|
| sync_byte | 8b | 固定为0x47 |
| transport_error_indicator | 1b | 传输错误指示符，表明在ts头的adapt域后由一个无用字节，通常为0 |
| payload_unit_start_indicator | 1b | 负载单元起始标示符， |
| transport_priority | 1b | 传输优先级，0为低优先级，1为高优先级，通常取0 |
| pid | 13b | pid值 |
| transport_scrambling_control | 2b | 自适应区，‘00’保留；‘01’为无自适应域，仅含有效负载；‘10’为仅含自适应域，无有效负载；‘11’为同时带有自适应域和有效负载。（自适应域：adaptation field） |
| adaptation_field_control | 2b | pid值 |
| continuity_counter | 4b | 递增计数器，从0-f，起始值不一定取0，但必须是连续的 |
注：payload_unit_start_indicator：为1时：表明是第一个的数据包 （后面有pes层），为0时：表明不是第一个数据包，后面直接是数据
adaptation field
adaptation field：详解如下：
| 字段 | 长度(字节) | 描述 |
|---|---|---|
| adaptation_field_length | 1B | 自适应域长度，后面的字节数 |
| flag | 1B | 取0x50表示包含PCR或0x40表示不包含PCR |
| PCR | 5B | Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。 |
| stuffing_bytes | xB | 填充字节，取值0xff |
PAT 格式
| 字段 | 长度(bite) | 描述 |
|---|---|---|
| table_id | 8b | PAT表固定为0x00 |
| section_syntax_indicator | 1b | 固定为1 |
| zero | 1b | 固定为0 |
| reserved | 2b | 固定为11 |
| section_length | 12b | 后面数据的长度 |
| section_length | 16b | 传输流ID，固定为0x0001 |
| reserved | 2b | 固定为11 |
| version_number | 5b | 版本号，固定为00000，如果PAT有变化则版本号加1 |
| current_next_indicator | 1b | 为1，表示这个PAT表可以用，为0则要等待下一个PAT表 |
| section_number | 8b | 固定为0x00 |
| last_section_number | 8b | 固定为0x00 |
| program_number | 16b | 节目号为0x0001时,表示这是PMT |
| reserved | 3b | 固定为111 |
| PID | 13b | 节目号对应内容的PID值 |
| CRC32 | 32b | 前面数据的CRC32校验码 |
注：ts header之后，PAT表之前有1字节无用，需要排除
PMT格式
| 字段 | 长度(bite) | 描述 |
|---|---|---|
| table_id | 8b | PAT表固定为0x02 |
| section_syntax_indicator | 1b | 固定为1 |
| zero | 1b | 固定为0 |
| reserved | 2b | 固定为11 |
| section_length | 12b | 后面数据的长度 |
| section_length | 16b | 频道号码，表示当前的PMT关联到的频道，取值0x0001 |
| reserved | 2b | 固定为11 |
| version_number | 5b | 版本号，固定为00000，如果PMT有变化则版本号加1 |
| current_next_indicator | 1b | 为1，表示这个PMT表可以用，为0则要等待下一个PAT表 |
| section_number | 8b | 固定为0x00 |
| last_section_number | 8b | 固定为0x00 |
| reserved | 8=3b | 固定为111 |
| PCR_PID | 13b | PCR(节目参考时钟)所在TS分组的PID，指定为视频PID |
| reserved | 4b | 固定为1111 |
| program_info_length | 12b | 节目描述信息，指定为0x000表示没有 |
| stream_type | 8b | 流类型，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03,h.265编码对应0x24 |
| reserved | 3b | 固定为111 |
| elementary_PID | 13b | 与stream_type对应的PID |
| reserved | 4b | 固定为1111 |
| ES_info_length | 12b | 描述信息，指定为0x000表示没有 |
| CRC32 | 32b | 前面数据的CRC32校验码 |
注：ts header之后，PMT表之前有1字节无用，需要排除
PES格式
| 字段 | 长度(字节) | 描述 |
|---|---|---|
| pes_start_code | 3B | 开始码，固定为0x000001 |
| stream_id | 1B | 音频取值（0xc0-0xdf），通常为0xc0;视频取值（0xe0-0xef），通常为0xe0 |
| pes_packet_length | 2B | 后面pes数据的长度，0表示长度不限制，只有视频数据长度会超过0xffff(注：长度为整个pes，即为第一个pes头、es+之后的es) |
| flag | 1B | 通常取值0x80，表示数据不加密、无优先级、备份的数据 |
| flag | 1B | 取值0x80表示只含有pts，取值0xc0表示含有pts和dts |
| pes_data_length | 1B | 后面数据的长度，取值5或10 |
| pts | 5B | 33bit值 |
| dts | 5B | 33bit值 |
注： pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。
有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。
dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。
ES格式
视频数据必须加上一个nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type.
nalu header固定为0x00000001（帧开始,常见）或0x000001（帧中）。
nalu header：
| 字段 | 长度(bite) |
|---|---|
| forbidden_zero_bit | 1b |
| nal_unit_type | 6b |
| nuh_reserved_zero_6bits | 6b |
| nuh_temporal_id_plus1 | 3b |
H265 帧类型判断：
在文件中查找00 00 00 01NALU头，发现在有6种开头分别为：
00 00 00 01 40 01 的nuh_unit_type的值为 32， 语义为视频参数集 VPS
00 00 00 01 42 01 的nuh_unit_type的值为 33， 语义为序列参数集 SPS
00 00 00 01 44 01 的nuh_unit_type的值为 34， 语义为图像参数集 PPS
00 00 00 01 4E 01 的nuh_unit_type的值为 39， 语义为补充增强信息 SEI
00 00 00 01 26 01 的nuh_unit_type的值为 19， 语义为可能有RADL图像的IDR图像的SS编码数据 IDR
00 00 00 01 02 01 的nuh_unit_type的值为1， 语义为被参考的后置图像，且非TSA、非STSA的SS编码数据
