假设

例子：掷硬币
假设我们有一个公平的硬币。这个硬币有两个面：正面（H）和反面（T），每次掷硬币出现正面或反面的概率都是 0.5

1. 信息量

1.1 含义

信息量用来表示一件事发生的难易程度
一件事越容易发生, 它的信息量就越小.

1.2 信息量的公式:

$$I(x)=-{\log }_{2}P(x)$$
其中,
$$I(x)$$表示事件 ( x ) 的信息量, $$P(x)$$表示事件 ( x ) 发生的概率
以2为底, 是转换到二进制下的表示复杂度.
此外, 事件独立时, 两个事件同时发生的信息量,等于两个事件的信息量相加.
即
$$I(AB)=-{\log }_2\frac{1}{P(AB)}=-{\log }_2\frac{1}{P(A)\ast P(B)}=-({\log }_2\frac{1}{P(A)}+{\log }_2\frac{1}{P(B)})=I(A)+I(B)$$

对于假设中的例子, 出现正面的信息量为:
$$I(H)=-{\log }_{2}P(H)=-{\log }_{2}0.5=1\text{ bit}$$
同理反面也是
$$I(T)=-{\log }_{2}P(T)=-{\log }_{2}0.5=1\text{ bit}$$

2. 熵Entropy

2. 含义

熵可以理解为一个整体/一个系统所携带的信息量.
系统整体由所有可能发生的事件构成. 例如, 抛硬币的结果出现正面和反面就构成一个完整的系统.
熵的值就等于概率分布中所有信息量的期望.

2.2 熵的计算公式:

$$H(x)=-\sum _{i}P(x_i){\log }_{2}P(x_i)$$
对于假设中的例子, 熵的计算为:
$$H(X)=-\left[P(H){\log }_{2}P(H)+P(T){\log }_{2}P(T)\right]$$
即,
$$H(X)=-\left[0.5{\log }_{2}0.5+0.5{\log }_{2}0.5\right]$$

$$H(X)=-\left[0.5\cdot (-1)+0.5\cdot (-1)\right]$$

$$H(X)=1$$

2.3 熵的作用

熵可以用来评估概率模型的不确定性程度——概率密度越均匀, 不确定性越高,即熵越高; 概率密度越聚拢, 不确定性越低, 熵越低.
如下图所示,左图为一个平均分布, 不确定性较高;
右图为一个正太分布, 不确定性较低.