阿里云黄海宇：窄带高清2.0——让直播更惊艳的魔术

摘要： 2018年4月11-12日，2018亚太CDN峰会在北京隆重召开，大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在视频云论坛上，阿里云视频云高级算法专家黄海宇作了题为《窄带高清2.0——让直播更惊艳的魔术》的主题致辞。

2018年4月11-12日，2018亚太CDN峰会在北京隆重召开，大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在视频云论坛上，阿里云视频云高级算法专家黄海宇作了题为《窄带高清2.0——让直播更惊艳的魔术》的主题致辞。下面为演讲内容：

我是来自阿里云视频云的黄海宇，我目前从事的工作主要是阿里云视频直播相关技术。随着直播的发展，CDN的带宽、CDN的成本以及视频的清晰度已经成为一个非常重要的问题，我的演讲题目是“窄带高清2.0——让直播更惊艳的魔术”。

其实，阿里云早在2015年就已经提出了窄带高清的概念。这个概念提出来以后，很多友商开始引用这个概念，并且也推出了类似服务。

那么，我们当初提出窄带高清的原因是什么？在近两年来，在此基础上又做了哪些发展呢？今天我将给大家分享一下。

大家观看视频时，都希望画质清晰，但实际上，在看互联网直播是，我们更多看到的是比较模糊的视频。那么，我们是否现在没有办法制作高清视频呢？答案是否定的。

上个月，阿里云在深圳云栖大会现场第一次进行了8k直播，舞台的屏幕上显示了从1300公里以外的阿里巴巴杭州园区传输回来的直播图像视频，现场观众清晰地看到了景泰蓝淘公仔的精致画面。但实际的直播业务场景中，用户在做互联网直播的时候，由于网络传输原因，并不能让每位观众都能看到非常清晰的视频，高清晰度的直播的限制主要在网络的带宽上。

构建在阿里云上的一个直播平台调研数据显示，只有16%的用户能够看到超清的视频，54%的用户能够看到高清的视频，30%的用户看不到高清视频。

如果，能把超清码率往高清靠一下的话，是不是更多人就能够看到超清的视频了呢？

实际上，我们也正在向这个方向努力，但这样会带来一个问题，把超清码率往高清靠的时候，对清晰度会有多大影响呢？做视频编解码朋友都会熟悉PSNR的公式，被广泛应用在衡量各种不同编码器的编码质量上，实际上这个公式确实非常客观地描述了一个视频经过视频编码以后信息量的损耗，站在信息论的角度来进行分析的。但实际视频是人眼来看的，人眼对视频的敏感度和视频在编码过程中损失的信息量并不是直接对应的。

窄带高清——人眼主观感受最优为基准的视频编码技术

基于以上讨论，可以引出窄带高清的概念。窄带高清实际上是一套以人眼的主观感受最优为基准的视频编码技术，研究的是在带宽受限情况下，如何追求最佳的视觉感受。

把范围缩小到人眼主观感受，以及带宽受限两个条件时，会发现很多有意思的事情。

首先和现在的编码标准发展趋势是相同的，效果能够叠加。编码器发展时间，差不多每十年，编码器都会发展一代，编码质量会大约节约30%-50%的码率，这个码率的节约是按照PSNR评价标准来做的。但利用窄带高清的技术，把焦点集中在人眼的感受，可以把业界普遍浪费的带宽节省下来，让我们的带宽更多放在人眼感兴趣的地方，可以轻松达到30%的带宽节约，几乎可以平等地媲美一代编码器的进步。因为技术关注点在人眼上，我们可以把业界普遍处理不好的复杂场景做得漂亮，非专业观众一眼就可以看出优势。

窄带高清1.0——两套人眼视觉模型

窄带高清1.0是阿里巴巴在2016年推出的一个版本。在窄带高清1.0的背后隐藏着两个人眼视觉模型：

第一个模型称之为保真度与主观评分值之间的世界模型，横坐标是视频保真度，代表编码出来的制品与原始视频之间信息量差别，纵坐标是人眼对视频的评分，总共是5分。随着编码后视频越来越接近原始视频，人眼对视频的要求是越来越高的，但并不是一条线性的形状，是分成三段曲线，这使得阿里云知道中间这段非常陡峭的区域正是设置比较好码率的地方，在两端比较平坦的地方，加大视频码率，提高视频客观清晰度，实际上并不能带给人眼很好的清晰度。中间稍微把码率提高一点，视频对人眼的感受就完全不一样，每一比特码率都会非常有所值。所以阿里云在设置视频码率时会尽可能选择视频档位在中间的区域。

第二个模型是分辨率与码率的模型。在这个模型中，关注的是同样的码率到底应该设置多少清晰度，或对一个给定的清晰度，应该设定一个怎样的码率。传统视频网站中，通常设置方法，比如480p会设600k，720p设1.2m，超清1080p设2.5m，类似这样一个比较固定的码率设置。实际上每个视频所需要的码率不一样，表达的清晰度也不一样。例如，对于一个运动场景不复杂的教育视频来说， 1080p在的码率也会有非常好的效果。在实践中，我们会根据视频的类型和清晰度，预期选择码率和分辨率，同时根据视频内容做合理的码率分配。

通过传统方法，通常会设一个720p分辨率，码率大概是1m。实际上这个视频表现非常糟糕，鸟叔衬衫上全是马赛克，而且雪花点全部变得模糊。原因是这个视频运动非常复杂，只有1m码率，这种情况下，需要用1m码率去表达1280×720象素，对每一个象素的表现都会非常差，会损失很多象素细节，导致整体效果。

我们做过以后的效果，只用了887k码率，比之前码率节省15%-20%，用的是432p的分辨率，在窄带高清时经常会设置这样的分辨率，追求达到最好的人眼主观感受的效果。

窄带高清2.0——深入微观世界分析视频细节

窄带高清2.0是阿里云在2017年杭州云栖大会发布的。窄带高清2.0深入到微观层面，分析视频每一个细节，发现这些视频细节对人眼敏感度是怎么样的。引入人眼敏感度模型概念，关注人眼到底会关注哪些细节、忽视哪些细节。对人眼关注的地方会给予更高的码率，甚至会对原始视频进行一些修复，使其更适合人眼观看的体验。对于忽视的地方可以降低一些码率。

从我们主观评测可以发现，基于H.264的窄带高清2.0已经完全超越了x264 veryslow的效果，与x265的veryslow效果相当，通过窄带高清2.0，使得我们可以超越当前编码器，提前进入到下一代编码器。

下面我们看下窄带高清2.0的实战。下图的直播画面中，在聚焦区域，主播的脸、头发，窄带高清2.0的效果会显得更加柔顺。在一些脱焦的区域，窄带高清2.0分配了比较少的码率，完全不会影响人眼对它的主观感觉。

另一个实战场景是游戏直播。枪战类型的游戏直播非常消耗码率，1080p设置2.9m的游戏直播，整体来看会有非常多的马赛克，因为这个视频在2.9m，完全无法表达1080p的象素，窄带高清2.0使用了720p的分辨率，同样2.9m，效果会好得多，另外，窄带高清2.0将人眼比较敏感的文字，纹理做了增强，整个视频看起来更加舒服。