信息量
可以说就信息量是在将信息量化。首先信息的相对多少是有切实体会的，有的人一句话能包含很多信息，有的人说了等于没说。我们还可以直观地感觉到信息的多少和概率是有关的，概率大的信息也相对低一些。为了量化信息，一个做法就是找到一个单位，比如说抛硬币就是一个基本单位，或者说我们使用01编码。先看等概率的情况，种类数越多，那么需要编码的长度
就越大，每个码字（编码的每一位）独立分布，所以当每个码字的取值为
时，可以表示的种类为
，所以
。因为是等概，所以概率和种类数目就是倒数的关系，
。那么，不等概的情况呢，比如把骰子的2改为1，那么转到1那一面的概率为
，我们以“”转到1的一面“”这件事件为单位对概率1重新划分，因为概率总和为1，那么所有的类的数目就是1/p。
现在我们知道信息量中log取2为底和概率取导数的真正含义了。那么熵是什么呢？既然信息量是衡量一件事的不确定程度，那么熵就是衡量一个系统的混乱程度。它综合了所有可能发生类别的不确定性，其实就是信息量的期望。从编码的角度，熵指的是对随机变量编码所需的最小比特数。有一种编码的种类就叫作熵编码，属于无损编码。因为熵就是平均信息量，而信息量是以01编码进行量化的，那么为了不损失信息，我们最少也需要这么多的bit进行编码。同时可以看到，概率越小出现的符号，允许使用更长的编码，这样整体的编码效率才更高。
交叉熵
对于两个信源，分别求熵可以得到各自平均每个字符对应的最小的编码长度。那么如果两个信源互换编码方式呢？平均每个字符所需的最小bit位如何计算呢。从公式上看，变化就是取对数的对象换成了编码对象的概率分布，而加权所使用的概率仍然是自己的概率。可以预见，互换编码方式之后求出的“熵”会增大。因为两个位置的概率不统一，所以被称作交叉熵。
交叉熵用于评估两个分布的差异，常用于分类任务。而分类中常用的激活函数是softmax，我们看看在代码上有什么需要注意的地方。https://blog.csdn.net/weixin_40476348/article/details/94570666
import torch
import torch.nn.functional as F
import torch.nn as nntorch.manual_seed(2019)output = torch.randn(2, 3) # 网络输出
target = torch.ones(2, dtype=torch.long).random_(3) # 真实标签
print('output:\n{}'.format(output))
print('target:\n{}\n'.format(target))# 第一步，对output进行log_softmax运算
log_softmax = F.log_softmax(output, dim=1)
print('log_softmax:\n{}\n'.format(log_softmax))
# 第二步，将计算结果和target输入nll_loss损失函数计算交叉熵
nll_loss = F.nll_loss(log_softmax, target)
print('nll_loss:{}'.format(nll_loss))# 直接使用cross_entropy损失函数计算output与target的交叉熵
cross_entropy_loss = F.cross_entropy(output, target)
print('cross_entropy_loss:{}'.format(cross_entropy_loss))# 实例化类
criterion = nn.CrossEntropyLoss()
loss = criterion(output, target)
print('loss:{}'.format(loss))"""
output:
tensor([[-0.1187, 0.2110, 0.7463],[-0.6136, -0.1186, 1.5565]])
target:
tensor([2, 0])log_softmax:
tensor([[-1.5614, -1.2317, -0.6964],[-2.4335, -1.9386, -0.2635]])nll_loss:1.564985990524292
cross_entropy_loss:1.564985990524292
loss:1.564985990524292
"""
当使用torch中的cross_entropy函数时，输入可以直接是全连接的输出和标签值，而不需要添加softmax。原因是在cross_entropy内部自动计算softmax得到概率，并且最终输出交叉熵。
按照公式，交叉熵的计算可以分为三步：先计算输出的判决概率；再取对数；再以先验概率加权求和，并取负号。第一步由torch.softmax完成（原理细节可以参考之前的博客）；第二步就是简单的取对数:torch.log；第三步在torch有函数F.nll_loss。而第一第二步又可以合并为一步：torch.Logsoftmax()
注意n.softmax在计算概率的时候要指定好维度，从而保证不同互斥类别的概率之和为1.
KL散度，相对熵
刚才提到，熵的一个重要意义是编码对应的最短码字。注意看公式值权重的概率和log中的概率是相对应的。权重的概率表示先验的分布，当log中概率变为q，权重仍然为p时，表示依靠旧的先验分布去cover另外一个未知的情况，那么这时再计算出的值肯定会比原来的最短码长长。他们的差值就是相对熵，写成公式为：
注意权重概率都是p，p对应时更短，所以放在减号右边，经过变换，写成比例关系时位于分子的位置。当然是长的减短的，所以取值范围就是0~正无穷。经过恒等变换，就可以得到我们最常见的KL散度的表达式。这就经常被用来衡量两个信源，或者说两个分布的差异性，因为差异越大，编码的适用性越差，编码长度变化量也越大。需要注意的是该“距离”不具有对称性。
既然KL散度可以衡量两个分布的差异，而机器学习/深度学习的目的就是让模型在训练集和测试集中得分的分布尽可能接近，所以KL散度就可以用来作损失函数。但为什么常见的是交叉熵呢？这是因为KL散度的一部分是恒定不变的，所以交叉熵和相对熵其实是同等变化的。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。
再深究一点，其实最小化交叉熵和最大似然估计也是等价的。因为最大似然的目的其实是最小化取负对数，取对数的目的是防止连乘过程中的溢出。这就造成了二者首先在格式上是相似的。最大似然是求取模型的参数分布，使得输出的值是已知样本的概率最大，本质上也是让二者的分布最接近。
在决策树中，除了使用基于熵的信息增益，常见的还有基尼不纯度。从名字上看，不纯度和熵的混乱程度是类似的；实际上，二者确实也是类似的，基尼不纯度其实是熵的近似值（log泰勒展开，忽略高阶项）。基于近似后得到的新公式，也可以有新的解释：一个随机事件变成它的对立事件的概率/分错的概率。
在网上的资料中提到，熵与基尼不纯度还有一个区别是熵到达峰值的过程相对慢一些，并且由此造成熵对于混乱程度的判罚要重一些。这里我不太明白，基尼不纯度是通过舍弃高阶项来近似熵，所以基尼不纯度是要比熵值低一些的，二者都是在等概时取最大值，所以二者的关系是熵的曲线段在不纯度上方，二者端点相同。因为熵值更大，所以作为损失函数时的惩罚力度更大。
scipy中实现了KL散度的计算，当参数中只有一个序列时，计算的是熵，并且可以指定以e为底还是以2为底：
>>>entropy([1/2, 1/2], base=2)
1.0当有两个序列时，以第一个序列为先验分布计算二者的KL散度：
>>>entropy([1/2, 1/2], qk=[9/10, 1/10])
0.5108256237659907而我在这里计算的时候返回的值是inf，即便输入的是两个完全一致的序列也是这样，问题出在哪里呢？我这里犯了一个错，输入的序列应该是各个事件发生的概率，即应该是一个离散的概率密度序列，而不能直接输入两个取值的集合。尤其是取值可能出现负数，这样把它当做概率进行求对数，就会出错，返回inf。
对应做法是利用scipy中的norm.pdf估计概率密度。还有就是手动统计两个序列在各个区间内数值的频率。比如可以利用np.percentile得到四分位数。
Reference:
https://zhuanlan.zhihu.com/p/59550047
https://www.zhihu.com/question/65288314
https://zhuanlan.zhihu.com/p/40024110
https://www.cnblogs.com/arkenstone/p/10524720.html
https://zhuanlan.zhihu.com/p/76667156
近似https://blog.csdn.net/yingwei13mei/article/details/75452526?utm_source=blogxgwz7
