【音视频 | H.264】H.264编码详解

😁博客主页😁:🚀https://blog.csdn.net/wkd_007🚀
🤑博客内容🤑:🍭嵌入式开发、Linux、C语言、C++、数据结构、音视频🍭
🤣本文内容🤣:🍭介绍🍭
😎金句分享😎:🍭你不能选择最好的,但最好的会来选择你——泰戈尔🍭

本文未经允许,不得转发!!!

目录

  • 🎄一、概述
    • ✨1.1 为什么需要对视频进行编码?
    • ✨1.2 视频编码本质
    • ✨1.3 视频压缩
  • 🎄二、H.264相关概念
    • ✨2.1 序列(GOP,Group of picture)
    • ✨2.2 图像(I帧、P帧、B帧)
    • ✨2.3 片(Slice)
    • ✨2.4 宏块(Macroblock)
    • ✨2.5 子宏块(subblock)
  • 🎄三、网络提取层(NAL,Network Abstraction Layer)——解码必读
    • ✨3.1 H.264原始码流
    • ✨3.2 NALU(NAL Unit)
      • 🎇3.2.1 NAL头信息(NAL header)
      • 🎇3.2.2 原始字节序列负荷(RBSP,Raw Byte Sequence Payload)
  • 🎄四、总结
  • 🎄五
  • 🎄六、


在这里插入图片描述

🎄一、概述

H.264,同时也是MPEG-4第十部分,是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT,Joint Video Team)提出的高度压缩数字视频编解码器标准。这个标准通常被称之为H.264/AVC(或AVC/H.264,或H.264/MPEG-4 AVC,或MPEG-4/H.264 AVC)。

✨1.1 为什么需要对视频进行编码?

因为视频数据太大,一帧YUV420图像的大小为:width * height * 3 / 2 ,假设分辨率是1920x1080的,则一帧视频数据就是1920 * 1080 * 3/2 = 3,110,400。一个小时的1920x1080@30的视频数据就是:(1920 * 1080 * 3 / 2)* 30 * 60 * 60 = 335,923,200,000字节,约等于312G字节。这显然不利于存储和传输。

✨1.2 视频编码本质

视频编码本质就是去除冗余信息。视频中存在很多冗余信息,比如图像相邻像素之间有较强的相关性,视频序列的相邻图像之间内容相似,人的视觉系统对某些细节不敏感等,对这部分冗余信息进行处理的过程就是视频编码。

✨1.3 视频压缩

H.264 采用了16 * 16的分块大小对视频帧图像进行相似比较和压缩编码。如下图所示:

在这里插入图片描述

帧内压缩

帧内压缩,指的是一帧图片的内部压缩。当H.264对图片进行 16 * 16 分块后,会对每个小块内的图像进行分析,如果2个小块图像比较相近,那么住需要存储一张即可,无需存储重复图块。这样可以有效压缩图片的存储大小。

帧内压缩是生成I帧的算法 。

帧内(Intraframe)压缩的原理是:当压缩一帧图像时,仅考虑本帧的数据而不考虑相邻帧之间的冗余信息,一般采用有损压缩算法,由于帧内压缩是编码一个完整的图像,所以可以独立的解码、显示。帧内压缩率一般不高。

帧间压缩

帧间压缩 , 指的是图片间的图像压缩。在每帧图片划分成16 * 16 小块的图像进行分析基础上,比图片间的数据,如果两张图片比较相近,对相同的图像模块只需存储一份,对不同的部分再做存储。避免了重复数据的存储,极大改善了图片压缩空间。

帧间压缩是生成B帧和P帧的算法 。

帧间(Interframe)压缩的原理是:相邻几帧的数据有很大的相关性,或者说前后两帧信息变化很小的特点。连续的视频其相邻帧之间具有冗余信息,根据这一特性,压缩相邻帧之间的冗余量就可以进一步提高压缩量,减小压缩比。

帧间压缩也称为时间压缩(Temporalcompression),它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩是无损的,它通过比较本帧与相邻帧之间的差异,仅记录本帧与其相邻帧的差值,这样可以大大减少数据量。


在这里插入图片描述

🎄二、H.264相关概念

H.264 的功能分为两层,即视频编码层( VCL, Video Coding Layer)和网络提取层( NAL, Network Abstraction Layer)。 VCL 数据即编码处理的输出,它表示被压缩编码后的视频数据序列。在 VCL 数据传输或存储之前,这些编码的 VCL 数据,先被映射或封装进 NAL 单元中。

本节介绍的概念大部分都是视频编码层( VCL, Video Coding Layer)的。

在H.264 中,句法元素共被组织成 序列(GOP,Group of picture)、图像(picture)、片(Slice)、宏块(Macroblock)、子块(subblock) 五个层次。

在这里插入图片描述


✨2.1 序列(GOP,Group of picture)

序列,有时也被称为画面组( Group Of Picture ),在H264中图像以序列为单位进行组织,一个序列是一组图像编码后的数据流。一个序列的第一个图像叫做 IDR 图像(立即刷新图像),IDR 图像都是 I 帧图像(I 帧不一定是IDR图像)。

GOP(图像组)常用作形容一个IDR帧 到下一个IDR帧之间的间隔了多少个帧。 例如:1080P@60 的视频的GOP是120的话,说明这段数据是2秒一个IDR帧。

在这里插入图片描述


✨2.2 图像(I帧、P帧、B帧)

一个序列由连续的图像(帧)组成。在H.264的协议中,定义了三类帧,分别是I帧、B帧和P帧。

  • I帧:完整编码的帧叫I帧,是一个图像经过压缩后的产物,自身可以通过视频解压算法解压成一张单独的完整的图片;

    注意:I帧又分为普通I帧和IDR帧,IDR帧可以认为是序列的首个I帧(但是很多场景I帧都是IDR帧),这样区分视为了方便控制编码和解码的流程。 IDR帧一定是I帧,但是I帧不一定是IDR帧。

    IDR帧因为附带SPS、PPS等信息,解码器在收到 IDR 帧时,需要做的工作就是:把所有的 PPS 和 SPS 参数进行更新。 将参考帧队列清空,将已解码的数据全部输出或抛弃,重新查找参数集,开始一个新的序列。这样,如果前一个序列出现错误,在这里可以获得重新同步的机会。IDR帧之后的帧永远不会使用IDR帧之前的数据来解码。

  • P帧:参考之前的I帧生成的只包含差异部分编码的帧叫P帧, 需要参考其前面的一个I 帧或者P 帧来生成一张完整的图片 ;

  • B帧:参考前后的帧编码的帧叫B帧 , 要参考其前一个I或者P帧及其后面的一个P帧来生成一张完整的图片 。

在这里插入图片描述


✨2.3 片(Slice)

在这里插入图片描述

一个视频图像可编码成一个或更多个片,每片包含整数个宏块( MB,Macroblock),即每片至少一个宏块 ,最多时每片包含整个图像的宏块。总之,一幅图像中每片的宏块数不一定固定。

设片的目的是为了限制误码的扩散和传输,应使编码片相互间是独立的。某片的预测不能以其它片中的宏块为参考图像,这样某一片中的预测误差才不会传播到其它片中去。

对于切片(slice)来讲,分为以下几种类型:

  • I片:只包 I宏块。I 宏块利用从当前片中已解码的像素作为参考进行帧内预测(不能取其它片中的已解码像素作为参考进行帧内预测);

  • P片:可包 P和I宏块。P 宏块利用前面已编码图象作为参考图象进行帧内预测,一个帧内编码的宏块可进一步作宏块的分割:即 16×16、16×8、8×16 或 8×8 亮度像素块(以及附带的彩色像素);如果选了 8×8 的子宏块,则可再分成各种子宏块的分割,其尺寸为 8×8、8×4、4×8 或 4×4 亮度像素块(以及附带的彩色像素);

  • B片:可包 B和I宏块。B 宏块则利用双向的参考图象(当前和未来的已编码图象帧)进行帧内预测;

  • SP片(切换P):用于不同编码流之间的切换,包含 P 和/或 I 宏块;

  • SI片:扩展档次中必须具有的切换,它包 了一种特殊类型的编码宏块,叫做 SI 宏块,SI 也是扩展档次中的必备功能。

在这里插入图片描述


✨2.4 宏块(Macroblock)

宏块是视频信息的主要承载者,因为它包含着每一个像素的亮度和色度信息。视频解码最主要的工作则是提供高效的方式从码流中获得宏块中的像素阵列。

一个编码图像通常划分成若干宏块组成,一个宏块由一个 16×16 亮度像素和附加的一个 8×8 Cb 和一个 8×8 Cr 彩色像素块组成。每个图像中,若干宏块被排列成片的形式。

在这里插入图片描述


✨2.5 子宏块(subblock)

子宏块就是宏块分割之后的结果。每个宏块( 16×16 像素)可以 4 种方式分割:一个 16×16,两个 16×8,两个 8×16,四个 8×8。其运动补偿也相应有四种。而 8×8 模式的每个子宏块还可以四种方式分割:一个 8×8,两个 4×8 或两个 8×4 及 4 个 4×4。这些分割和子宏块大大提高了各宏块之间的关联性。这种分割下的运动补偿则称为树状结构运动补偿。

在这里插入图片描述


在这里插入图片描述

🎄三、网络提取层(NAL,Network Abstraction Layer)——解码必读

无论是存储还是网络传输,H264 原始码流是由一个接一个 NALU(NAL Unit) 组成,它的功能分为两层,VCL(Video Coding Layer)视频编码层和 NAL(Network Abstraction Layer)网络提取层。

VCL:包括核心压缩引擎和块、宏块和片的语法级别定义,设计目标是尽可能地独立于网络进行高效的编码;
NAL:负责将 VCL 产生的比特字符串适配到各种各样的网络和多元环境中,覆盖了所有片级以上的语法级别;

✨3.1 H.264原始码流

H.264原始码流(裸流)是由一个接一个NALU组成, 每个NALU之间都使用start code(起始码)分隔,NALU单元通常由[StartCode] [NALU Header] [NALU Payload] 三部分组成,其中 Start Code 用于标示这是一个NALU 单元的开始,必须是00 00 00 0100 00 01。每个 NALU包括一个头部信息(NAL header)和一个原始字节序列负荷(RBSP,Raw Byte Sequence Payload)。

在这里插入图片描述

关于 start code(起始码):

为了节省码流, H.264 没有另外在 NAL 的头部设立表示起始的句法元素 。 但是如果编码数据时,由于 NAL 是依次紧密排列,解码器将无法在数据流中分辨每个 NAL的起始和终止,所以必须要有另外的机制来解决这个问题 。

所以,H.264 提出方案,在存储或传输时,在每个NALU前加上00 00 00 0100 00 01,同时提出”防止竞争“的机制(感兴趣可以去h264文档了解),来避免 NALU 内部出现了00 00 00 0100 00 01的情况。

什么时候使用00 00 00 01 ,什么时候使用 00 00 01 ?一个说法是为了4字节对齐, 4字节类型的开始码通常只用于标识流中的随机访问点,如SPS PPS AUD和IDR,然后其他地方都用3字节类型的开始码以减少数据量 。另一个说法是, 一个完整的帧被编为多个slice(片)的时候StartCode是 00 00 01, 否则都是00 00 00 01

✨3.2 NALU(NAL Unit)

NALU(NAL Unit),也就是NAL 单元。每个NALU包含了一个字节大小的NALU头信息(NAL header),以及一个原始字节序列负荷(RBSP,Raw Byte Sequence Payload)。

在这里插入图片描述

🎇3.2.1 NAL头信息(NAL header)

在这里插入图片描述

  • forbidden_zero_bit (F,占1bit)
    在 H.264 规范中规定了这⼀位必须为 0 。

  • nal_ref_idc (NRI,占2bit)
    NAL重要性,值越大,越重要,解码器在解码处理不过来的时候,可以丢掉重要性为0的NALU,而不影响图像的回放 。 如果当前NALU是属于参考帧的片,或是序列参数集,或是图像参数集这些重要的单位时,本句法元素必需大于0。

  • nal_unit_type(Type,占5bit):

    这个NALU单元的类型,1~12由H.264使用,24~31由H.264以外的应用使用。

    NALU类型的详细解析表 :

    nal_unit_typeNAL单元和RBSP语法结构的内容
    0未指定
    1一个非 IDR 图像的编码条带(p帧/b帧)
    2编码条带数据分割块 A
    3编码条带数据分割块 B
    4编码条带数据分割块 C
    5IDR 图像的编码条带(IDR帧)
    6辅助增强信息 (SEI)
    7序列参数集
    8图像参数集
    9访问单元分隔符
    10序列结尾
    11流结尾
    12填充数据
    13序列参数集扩展
    14-18保留
    19未分割的辅助编码图像的编码条带
    20-23保留
    24-31未指定

    下表是常见的NALU类型:

    十六进制、二进制类型重要性类型值
    0x67 (0 11 00111)SPS非常重要type = 7
    0x68 (0 11 01000)PPS非常重要type = 8
    0x65 (0 11 00101)IDR帧关键帧 非常重要type = 5
    0x61 (0 11 00001)I帧重要type=1非IDR的I帧不大常见
    0x41 (0 10 00001)P帧重要type = 1
    0x01 (0 00 00001)B帧不重要type = 1
    0x06 (0 00 00110)SEI不重要type = 6

🎇3.2.2 原始字节序列负荷(RBSP,Raw Byte Sequence Payload)

RBSP 指原始字节序列载荷,它是 NAL 单元的数据部分的封装格式,封装的数据来自 SODB(String Of Data Bits,原始数据比特流),SODB 是编码后的原始数据, SODB 经封装为 RBSP 后放入 NAL 的数据部分 。最后,加上 RBSP Trailing Bits(RBSP尾部补齐字节,一个 bit 1 若干比特 0)做8位字节补齐。

  • EBSP为扩展字节序列载荷(Encapsulated Byte Sequence Payload)

EBSP = RBSP插入防竞争字节(0x03)

  • RBSP为原始字节序列载荷(Raw Byte Sequence Payload)

RBSP = SODB + RBSP Trailing Bits(RBSP尾部补齐字节);引入RBSP Trailing Bits做8位字节补齐

  • SODB为原始数据比特流 (String Of Data Bits)

就是最原始的编码/压缩得到的数据。

RBSP 原始字节序列载荷 -> 在原始编码数据的后面添加了 结尾比特。以便字节对齐。

在这里插入图片描述

SPS:序列参数集,SPS中保存了一组编码视频序列(Coded video sequence)的全局参数。
PPS:图像参数集,对应的是一个序列中某一幅图像或者某一幅图像的参数。
I帧:帧内编码帧,可独立解码生成完整的图片。
P帧: 前向预测编码帧,需要参考其前面的一个I 或者B 来生成一张完整的图片。
B帧: 双向预测内插编码帧,则要参考其前面个I或者P帧及其后面的一个P帧来生成一张完整的图片。

在这里插入图片描述

🎄四、总结

本文介绍H.264编码。
在这里插入图片描述

🎄五

在这里插入图片描述

🎄六、

在这里插入图片描述
如果文章有帮助的话,点赞👍、收藏⭐,支持一波,谢谢 😁😁😁

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/219079.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用FluentAvalonia组件库快速完成Avalonia前端开发

前言 工欲善其事必先利其器,前面我们花了几篇文章介绍了Avalonia框架以及如何在Avalonia框架下面使用PrismAvalonia完成MVV模式的开发。今天我们将介绍一款重磅级的Avalonia前端组件库,里面封装了我们开发中常用的组件,这样就不用我们自己再写组件了。专注业务功能开发,提…

1.4 Postman的安装

hello大家好,本小节我们来安装一下Postman,好为我们后续的测试工作做准备。 首先,打开Postman的官网Postman API Platform 然后根据同学们自己电脑的操作系统来下载对应的Postman安装包。我这里拿windows来举例。我们点击windows的图标 会跳…

常见的计算机图片格式

左rgb (光源色彩) 右cmyk (印刷色彩) 缺点,不能保存,储存空间太大

螺旋矩阵算法(leetcode第54题)

题目描述: 给你一个 m 行 n 列的矩阵 matrix ,请按照 顺时针螺旋顺序 ,返回矩阵中的所有元素。示例 1:输入:matrix [[1,2,3],[4,5,6],[7,8,9]] 输出:[1,2,3,6,9,8,7,4,5]示例 2:输入&#xff…

工厂设备维护管理有什么比较好的解决方案?有什么好用的工单管理系统?

生产设备对于工厂来说是十分宝贵的资产。一方面,工厂依赖设备进行生产活动,一旦设备故障就会影响产量;另一方面,工厂中的生产设备一般造价都比较高昂,如果出现故障就会增加工厂的生产成本;再一方面&#xf…

SQL Server 服务启动报错:错误1069:由于登录失败而无法启动服务

现象 服务器异常关机以后,SQL Server服务无法启动了。 启动服务时报错: 错误1069:由于登录失败而无法启动服务 解决办法 我的电脑–控制面板–管理工具–服务–右键MSSQLSERVER–属性–登录–登陆身份–选择"本地系统帐户" 设置完成后&am…

JavaSE基础50题:23. 数组拷贝(数组练习题)

文章目录 概述方法一:运用for循环进行拷贝方法二:Java内置方法进行拷贝方法三:指定区间进行拷贝方法四:数组克隆clone() 概述 数组拷贝。 注意: public static void main(String[] args) {int[] array1 {1,2,3,4};Sy…

Trace 在多线程异步体系下传递

JAVA 线程异步常见的实现方式有&#xff1a; new ThreadExecutorService 当然还有其他的&#xff0c;比如fork-join&#xff0c;这些下文会有提及&#xff0c;下面主要针对这两种场景结合 DDTrace 和 Springboot 下进行实践。 引入 DDTrace sdk <properties><java.…

JavaEE进阶学习: SpringBoot 日志文件

1.日志有什么用 日志的主要作用是记录系统的运行状态、事件和错误信息等。具体来说&#xff0c;日志可以用于以下几个方面&#xff1a; 故障排除&#xff1a;当系统出现故障或错误时&#xff0c;日志可以帮助开发人员定位问题的具体原因和位置&#xff0c;从而更快地修复系统。…

Intellij IDEA 运行maven报错误“CreateProcess error=2, 系统找不到指定的文件“的完美解决方案

一、问题背景 博主正常使用着Intellij IDEA&#xff0c;不知道为什么突然Intellij IDEA报错&#xff0c;错误提示如下&#xff1a; Error:Cannot run program "C:\Program Files\Java\jdk1.8.0_351" 观察Intellij IDEA报错的原因&#xff0c;我们可以知道&#xff1…

【LeetCode刷题-栈】-- 150.逆波兰表达式求值

150.逆波兰表达式求值 方法&#xff1a;使用栈 class Solution {public int evalRPN(String[] tokens) {Stack<Integer> numStack new Stack<>();for(int i 0; i < tokens.length;i){String token tokens[i];if(isNumber(token)){numStack.push(Integer.par…

免费!简单优雅的手机视频制作PR模板抖音素材下载

这是一款多功能的Premiere Pro模板&#xff0c;无论你是为视频、宣传内容还是社交媒体帖子短视频&#xff0c;这个pr模板都会为你的项目增添一丝优雅和专业。适用于广播&#xff0c;俱乐部&#xff0c;音乐会&#xff0c;舞蹈&#xff0c;设计&#xff0c;宣传片&#xff0c;动…

Qt/C++视频监控安卓版/多通道显示视频画面/录像存储/视频播放安卓版/ffmpeg安卓

一、前言 随着监控行业的发展&#xff0c;越来越多的用户场景是需要在手机上查看监控&#xff0c;而之前主要的监控系统都是在PC端&#xff0c;毕竟PC端屏幕大&#xff0c;能够看到的画面多&#xff0c;解码性能也强劲。早期的手机估计性能弱鸡&#xff0c;而现在的手机性能不…

外显记忆LLM

外显记忆 概念 概念 智能需要知识并且可以通过学习获取知识&#xff0c;这已促使大型深度建构的发展。然而&#xff0c;知识是不同的并且种类繁多。有些知识是隐含的、潜意识的并且难以用语言表达----比如怎么行走或狗与猫的样子有什么不同。其他知识可以是明确的、可陈述的以…

nvm 的使用 nvm 可以快速的切换 nodejs 的版本

nvm 是什么&#xff1f; nvm 是一个 node 的版本管理工具&#xff0c;可以简单操作 node 版本的切换、安装、查看。。。等等&#xff0c;与 npm 不同的是&#xff0c;npm 是依赖包的管理工具。 nvm 下载安装 安装之前需要先把 自己电脑上边的 node 给卸载了!!!! 很重要 下载地…

揭示 ETL 系统架构中的 OLAP、OLTP 和 HTAP

探索 ETL 系统设计需要了解 OLAP、OLTP 和不断发展的 HTAP。让我们试图剖析这些范式的复杂性。 1. OLAP&#xff08;联机分析处理&#xff09;&#xff1a; OLAP 是商业智能的中流砥柱&#xff0c;通过 OLAP 立方体进行多维数据分析。这些立方体封装了预先聚合、预先计算的数据…

zabbix——实现高效网络监控

在当今的数字化时代&#xff0c;网络和服务器的健康状况对于企业的正常运营至关重要。为了及时发现和解决潜在的问题&#xff0c;许多企业选择使用网络监控工具来追踪服务器的性能和网络参数。其中&#xff0c;Zabbix是一个功能强大且开源的网络监控工具&#xff0c;被广泛应用…

算法Day32 买卖椰子水

买卖椰子水 Description 在海滩上&#xff0c;一杯椰子水的售价为5元。一名顾客一次购买一杯椰子水&#xff08;按照bills支付的顺序&#xff09;。 每位顾客购买椰子水时&#xff0c;可能向你支付 5 元、10 元或 20 元。你必须给每个顾客正确找零&#xff0c;对于支付 5 元的…

2023-12-13 VsCode + CMake + Qt环境搭建

点击 <C 语言编程核心突破> 快速C语言入门 VsCode CMake Qt环境搭建 前言一、前期准备二、具体设置总结 前言 要解决问题: 最近研究 Qt, 使用 qtcreator, 发现在搭建 UI 界面时候很方便, 但到编码和调试就比较有问题了. 想到的思路: 用 VSCode 进行编码及调试. 其它…

python 安装对应版本的lxml

安装对应版本的lxml 先把对应版本的lxml文件下载下来&#xff0c;接着在文件夹路径输入cmd回车&#xff0c;用下面命令安装。