视频编码标准
多样的视频应用催生了多种的视频编码方法。为了使编码后的码流能够在大范围内通用和规范,从20世纪80年代开始,国际组织就开始对视频编码建立国际标准。
什么是视频编码标准:
视频编码标准只规定了码流的语法语义和解码器,只要求视频编码后的码流符合标准的语法结构,解码器就可以根据码流的语法语义进行正常解码。因此,符合某个解码标准的编码器是有很大的自由度的,只要编码后的码流符合标准规定即可。
编码器输出的码流汇总,数据的基本单位是语法元素,每个语法元素由若干个比特组成,表征某个特定的物理意义,如预测类型、量化参数等。语法规定了各个语法元素的组织结构,语义阐述了语法元素的具体含义。
视频编码标准由标准化组织向业界广泛征集各类提案,并逐渐形成参考软件。标准化组织主要有国际电信标准化部门ITU-T、国际标准化组织ISO/国际电工委员会IEC,以及我国的数字视频编解码技术标准工作组AVS。
视频编码标准的发展:
目前比较先进的编解码标准H266/VVC、AVS3、AV2。
h266/VVC简介
视频应用的多样性和高清化趋势对视频编码性能提出了更高的要求,为此,H266/VVC顺势而出。
h266也被称为多功能视频编码(Versatile Video Coding,简称 VVC)是最新一代视频编码标准,2020 年 7 月定稿。相比HEVC/H265,能够平均节省大约 50% 的码率,编码复杂度不超过2倍,编码复杂度与压缩性能基本保持正比关系。
标准化历程:
时间 | 事件 |
---|---|
2015年10月 | VCEG和MPEG再次组建联合视频探索小组JVET,开发JEM参考平台 |
2015年10月-2017年7月 | 针对SDR,多个提案,JEM 7个版本不断演进 |
2016年10月-2017年10月 | 支持AR和VR,研究了360度全景编码技术,简历360Lib参考软件平台 |
2017年10月 | 共同发布新一代视频编码标准的技术征求书,应用到4K、16K,甚至HDR、360度全景视频、屏幕内容编码 |
2018年4月 | 32家单位提交23份提案,最佳性能比H265的参考软件HM提升40%以上的编码效率,JVET将下一代标准命名VVC,建立第一版VV测试模型VTM-1.0 |
2018年-2020年7月 | JVET召开10次会议讨论6000多份技术提案,VTM性能得到大幅度提升 |
2019年7月 | JVET发布委员会草案CD,确定VVC的主体编码框架和编码工具 |
2019年10月 | JVET发布了国际标准草案DIS,标准进入关键阶段 |
2020年7月1日 | 19次JVET会议确定VVC第一版本,ITU-T命名为H266,ISO/IEC批准VVC成为FDIS,H266/VVC标准正式形成 |
编码框架:
H266/VVC类似以往的国际视频编码标准,仍然采用混合编码框架,包括预测、变换、量化、熵编码、环路滤波等。
编码单元:
H266/VVC仍然采用基于编码树单元CTB和编码树块CTB的编码单元划分机构,利用四叉树、二叉树、三叉树递归划分成不同尺寸的编码单元CU,CU是视频编码的基本单位。
帧内预测:
引入多参考行帧内预测、模式依赖的帧内平滑、更多的角度模式、宽角度帧内预测、基于矩阵的帧内预测、分量间线性预测、位置相关的帧内预测组合等新技术。
帧间预测:
H266/VVC引入了带有运动矢量差的Merge、几何划分帧间预测、联合帧内帧间预测、对称运动矢量差分编码、自适应运动矢量精度、仿射运动补偿预测、基于子块的时域MV预测、双向光流、解码端运动矢量细化等新技术。
变换:
H266/VVC引入多核变换、高频调零、子块变换、二次变换等新技术。
量化:
H266/VVC引入依赖标量量化技术
环路滤波:
包括去方块铝箔、像素自适应补偿、自适应环路滤波、亮度映射与色度缩放。
熵编码:
采用基于上下文的自适应二进制算数编码进行熵编码。
参考
JVET提案系统:
http://phenix.int-evry.fr/jvet/
JVET输出文档:
https://www.itu.int/wftp3/av-arch/jvet-site/
JEM代码:
https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/
VTM代码:
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM
书籍:
新一代通用视频编码H266/VVC:原理、标准与实现[万帅 霍俊彦 马彦卓 杨付正/著]