给定一个数据集(某个概率分布下的一系列采样点,所有的采样都是独立同分布的),我们能求得一个关于模型参数 的估计,而极大似然估计可以通过观察当前数据来估计模型的最佳参数,换句话也就是说在所有的模型参数 取值中,寻找到一个参数使得该数据集样本发生的可能性最大。
现实生活中也经常用到极大似然估计,在这里跟大家分享一下小编的一段亲身经历:
在天气晴朗的某一天,身为大好青年的小编早早的去了图书馆学习。就在小编认真看书的同时,发现一位同班女同学老是偷偷盯着小编看,小编这下坐不住了,仔细回想了最近发生的一系列事件:她老偷偷在我微信下面评论;她老是偷看我空间;她上次请我喝奶茶;她经常约我跑步;她说想请我看复联,我心想: 她会不会喜欢我,喜欢我的概率大不大呢?小编经过分析得出来的结果是她很有可能暗恋小编。请注意,小编在这里不是自恋,而是运用了严谨的数学分析来讨论这个问题的本质,使用的分析方法就是极大似然估计法。因为导致上述事件发生概率最大的模型参数就是该女同学暗恋小编。最后,不同大家动手,我自己能醒过来。
03举例分析下面小编举几个正经的例子,大家熟悉的抛硬币问题,为了严谨起见,我们事先假设硬币的正反面轻重不同,所以抛一次得到正反面的概率不同。 对于一个独立同分布的数据集,总体的似然就是每个样本似然的乘积,对于抛硬币问题,我们可以构造似然函数如下:
在这里我们有三枚硬币A、B、 C, 其中其抛到正面的概率p分别为1/3,1/2,2/3. 我们选择其中一枚去做100次抛硬币实验,最后得到正面朝上的次数为40,反面朝上的次数为60。我们该如何去判断是我们选择的是A、B、C中的那一枚呢?在这里使用极大似然估计,我们分别计算其似然函数结果如下:
我们看到选择A硬币导致似然函数的结果最大,也就是说参数 的时候似然函数取得最大值,所以其就是针对该次实验的最大似然估计参数值。
由于对数函数操作不会改变函数的凹凸性,所以通常为了求解方便,我们会将上述指数函数的形式的似然函数转化为对数似然函数:
这里只是举了一个离散分布的例子,下面举一个连续分布的例子
对于正态分布,其似然函数如下:
转换成对数似然函数:
分别两个参数求一阶偏导,令其等于0求解下列方程:
得到驻点下对应的参数值:
上述求解参数值就是对正态分布的最大似然估计值。
总Lead结最后我们在这里总结一下极大似然估计方法的步骤:
设计并确定似然函数
转换成对数似然函数
求偏导,并令偏导等于0,计算函数取极大值的参数值。
极大似然估计的介绍到这里就告一段落,极大似然估计在机器学习的使用十分广泛,大家可以去看一下逻辑回归参数更新的推导,其就用到了极大似然估计,下方也会给大家推荐一个参考链接。下一次将给大家结束最大后验估计和贝叶斯估计,由于小编的水平有限,所以难免会出错,欢迎大家的批评与指导。
参考连接1. https://zhuanlan.zhihu.com/p/26614750
2. https://blog.csdn.net/star_liux/article/details/39666737
更多精彩推荐,请关注我们 ▼