编码层次

• 视频编码层：预测、变换、量化、熵编码等操作
• slice层：将视频帧分割成若干个编码单元，包含一定数量的宏块，提高编解码的并行性和容错性。
• NAL层：提升对网络传输和数据存储的亲和性

视频编码层

• 基准-Baseline Profile：主要用于视频会议、可视电话等实时通信领域；支持IP帧，熵编码支持 CAVLC 算法
• 主要-Main Profile：主要用于数字电视广播、数字视频数据存储等；支持视频场编码、IPB帧。熵编码支持 CAVLC 和 CABAC
• 扩展-Extended Profile：主要用于网络视频直播和点播等；支持基准所有特性，支持 SI 和 SP 条带

编码的概念

• 序列：一组变化不大的图像
• 帧：一个视频图像编码后的数据，一帧由一片或多片组成、一片由多个宏块组成。宏块是编码的基本单位
• GOP：图像组，类似与序列
• IDR：立即刷新帧，一定是 I帧，清空参考帧缓冲区

分层结构

• SODB：视频编码层输出编码的数据后，经过数据划分，输出 SODB（String of Data Bits）数据比特串

• RBSP：NAL层 将 SODB 打包成 RBSP （Raw Byte Sequence Payload）原始字节序列负载，在SODB 后面添加1和若干0字节对齐

• EBSP：Encapsulated Byte Sequence Payload, 扩展字节序列载荷，RBSP加上NAL头就是一个NALU 单元，起始码 三字节的 0x000001 或 四字节的 0x00000001。access unit ，pps，sps 是 四字节。

• NALU结束是三字节的 0x000000，防止数据中间出现0x000000，中间每遇到两个0x00就插入一个0x03
  -

• NAL头：8位

  • F（forbiden）禁止位 0：为1时语法错误
  • NRI 参考级别 1-2：值越大，越重要
  • TYPE Nal 单元数据类型 3-7：数据类型
    

参数集

SPS-序列参数集

• profile信息，baseline，main，extended
• 码流level，不同的level定义了最大分辨率，最大帧率，最大码率，1080P30FPS20Mbps是 Level4.0
• 色彩空间
• 码率控制参数
• 熵编码参数

PPS-图像参数集

• 图像类型：IPB
• 参考帧选择
• 解码器配置
• 参数集索引

ES-Elementary Streams(原始流)

• 包含视频和音频
• 视频是 NALU
• 音频则是音频帧
• 只含视频或音频
• 由若干个 AU（Access Unit）组成

PES-Packetized Elementary Streams(分组的 ES)

• ES流经过PES打包器形成的数据流，将ES流分组，打包，加入包头信息

PTS PresentationTime Stamp（显示时间标记）、DTS Decoding Time Stamp（解码时间标记）

• 打包在PES包头内
• 解决音视频同步显示
• 防止解码器输入缓存上溢或下溢
• 每个 IPB 帧包头都有一个 pts dts
• B帧可以不标记 dts，因为通常同时参考前后两帧
• B帧的解码顺序和显示顺序可能不同

PS Program Stream(节目流)

• 由若干个 PES 包组成
• 包含同步信息和时钟恢复信息
• 最多可包含同一时间基准的16个视频PES和32个音频PES包
• 可变长度的
• 信道环境较好，传输误码率较低时使用PS码流

TS Transport Stream（传输流）

• 定长的 TS 包组成 188 字节，或加上16字节的 CRC 校验数据
• 是对 PES　包的重新封装
• 信道环境较为恶劣、传输误码率较高时使用TS码流
• 头 四字节，负载 184字节
• 

PAT 表，PMT 表

• 通常只用于数字电视，实际网络传输用不到