蓝色的前向编码流程：

以宏块为输入单位介绍优于以帧为单位介绍。

Fn为即将进行编码的宏块，由原始图像中16*16像素构成。每个宏块要么采用帧内模式编码，要么采用帧间模式编码。不管是哪种编码模式，预测宏块P都是基于重建帧生成的。在帧内模式中，预测宏块P是由当前帧经过编码、解码和重建生成的（注意，采用未经过滤波的样本uF`n来生成P）。在帧间模式中，预测宏块是通过一个或者多个参考帧经过运动补偿预测生成的。在图中，参考帧就是之前编码得到的帧F`n-1；不过，并不只是一个参考帧，每个预测宏块P都是由一个或者两个，之前或者之后的，已经经过编码和重建所生成的帧中的对应宏块所生成的。

当前宏块减去预测宏块P生成残差宏块Dn。残差宏块Dn经过变换、量化后生成X，由一系列变换量化系数组成。然后，对这些系数进行重排序和熵编码。熵编码生成的系数，附上解码宏块所需要的附加信息生成压缩比特流，（附加信息有宏块预测模式，量化步长，描述如何对宏块进行运动补偿的运动矢量信息，等等）。压缩比特流被传到网络抽象层（NAL）以发射或者储存。

粉红色的重建流程：

为了生成重建帧以编码以后的宏块，将量化后的宏块残差系数X进行解码。系数X经过反量化，反变换生成残差宏块Dn`。此时的残差宏块与原先的残差宏块Dn并不相同，原因是在量化过程中引入了失真。所以，Dn`是变形了的Dn。

预测宏块P与Dn`相加生成重建宏块uF`n（原宏块的变形了的宏块）。为了减小块效应失真，引入了专门的滤波器。滤波之后的宏块就是重建宏块F`n，一系列的重建宏块组成了参考帧。（实际上，这里的参考帧，与解码端生成的最终图像完全一致）

解码：