熵编码的概念

熵：化学与热力学概念，用于度量能量退化的指标。熵越高，物体/系统做工能力越低。

信息学中的熵：用于度量消息的平均信息量，和信息的不确定性。越是随机的，前后不相关的信息，其熵越高。

信源编码定理：说明了香浓熵与信源符号概率之间的关系。信息的熵为信源无损编码后平均码长的下限。

基本思想

使前后的码字之间尽量更加随机，减少前后相关性，更加接近其信源的香浓熵。

常用熵编码算法

1.变长编码：运算复杂度和编码效率都比较低，常用方法：哈夫曼编码，香农-费诺编码等。

2.算数编码：运算较为复杂，但编码效率更高。

哈夫曼编码

1.哈夫曼编码是变长编码的一种，依赖于码字的概率来构造平均长度最短的编码方法。

2.关键步骤：建立符合哈夫曼编码的二叉树，又称为哈夫曼树

哈夫曼树

1.一种特殊的二叉树，终端节点的个数等同于码元数，且每个终端节点带有各自的权值。

2.加权路径长度，即根节点到终端节点的路径长度乘以权值的总和最小。

 

H.264针对不同的语法元素定义了不同的熵编码方法