一件事的信息量是啥东西？公式 -log2(P)  P是这件事发生的概率

举例：a同学与b同学可以互相通信。双方约定用2进制传递信息。

1.例如：假定a能看到一个随机试验，就是从0-7中任意选一个数。这件事发生抽到了7。

a要把信息传递给b。传递给b的信息量如何计算呢？例如可以传递 二进制数110中就可以让b了解这件事的信息。所以信息量就是3

计算公式-log2(1/8)=3

2.假定a能看到一个随机试验，就是从0-4中任意选一个数。假定抽到了2

传递的信息就是10，传递的信息长度就是2.

上面计算熵，熵是信息的期望。

第1种情况的熵为 3*1/8+3*1/8+...=3

第2种情况的熵为 2*1/4+2*1/4+...=2

明显，某个随机事件，每个事件发生的平均概率越来越低，熵就越来越大。说明事件很多，每个概率都比较小。例如从0-1023个数取一个数。熵就很大为10