1. 先验概率,条件概率与后验概率
2. Probability(概率) vs Likelihood(似然)
Probabiity(概率):给定某一参数值,求某一结果的可能性
Likelihood(似然):给定某一结果,求某一参数值的可能性
3. 似然函数
在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。似然函数可以理解为条件概率的逆反。
4. 区别阐释
概率(probability)和似然(likelihood),都是指可能性,都可以被称为概率,但在统计应用中有所区别,不加以区分的话,对于之后的学习认知都会有很大的阻碍。
为了更好的帮助自己和大家理解这二者之间的区别,希望通过三种方法去阐释:
4.1 方法1:图示
假设现在有一组小鼠体重数据。该数据服从正态分布,该分布的均值是32克,标准差为2.5。该组数据的最小值是24g,最大值是40g。
那么概率是什么呢?当我们随机选取一只小鼠,它的体重在32g-34g之间的概率是落在该区间下,概率分布曲线下的面积。具体如下图所示:
讲完了概率,那么什么是似然呢?假设我们已经知道了一只小鼠的体重是34g。如图所示:
4.2 方法2:类比
该方法,是quora上的一个回答。在该回答中,他将概率与似然的关系比作是2b和a2的之间的关系。
我们假设一个函数为ab,该函数包含两个变量。如果你令b=2,这样我们就得到了一个关于a的二次函数,即a2:
4.3 方法3:举例
假设,我们抛一枚匀质硬币,抛10次,6次正面向上的可能性多大?用公式计算的话:
其中,n=10,P=0.5,Q=0.5,计算得:0.205。该方法计算的是概率
那似然呢?似然值就是求某一参数的可能性,放在本例中就是:抛一枚硬币,抛10次,结果是6次正面向上,其是匀质的可能性多大?
抛10次,结果是6次正面向上,这是一个给定的结果。问“匀质”的可能性,即求参数值P=0.5的可能性。计算公式与上面相同。结果相同,只是视角不同。
与似然相关联的概念是最大似然估计(MLE)。在本例中,问题就是:“抛10次,结果是6次正面朝上,那么,参数P的最大可能值是什么?”
我们知道硬币可能是匀质的,也可能是不均匀的,甚至不均匀的程度都各有不同。但是每种情况的概率各不相同。而最大似然估计,就是求出概率最大的那一个。
如果你还记得最大似然估计的计算方法,你会发现P=0.6
5. 最大似然估计(MLE)与最大后验概率(MAP)
最大似然估计是似然函数最初也是最自然的应用。似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发,最大似然估计的做法是:首先选取似然函数(一般是概率密度函数或概率质量函数),整理之后求最大值。实际应用中一般会取似然函数的对数作为求最大值的函数,这样求出的最大值和直接求最大值得到的结果是相同的。似然函数的最大值不一定唯一,也不一定存在。
6.生成式模型与判别式模型
https://www.plob.org/article/23003.html