极大似然估计
(Maximum Likelihood Estimation, MLE)和贝叶斯估计(Bayesian Estimation)是统计学中两种重要的参数估计方法,它们在思想和应用上有着显著的差异。下面我将详细对比这两种方法的思想,并分别举出相应的参考案例。
文章目录
- 极大似然估计(MLE)
- 贝叶斯估计(Bayesian Estimation)
- 对比总结
极大似然估计(MLE)
基本思想:
极大似然估计的核心思想是找到一个参数值,使得给定数据出现的概率最大。具体来说,假设有一个数据集 D D D 和一个参数模型 θ \theta θ,极大似然估计的目标是找到使得数据集 D D D 出现的概率 P ( D ∣ θ ) P(D|\theta) P(D∣θ) 最大的参数值 θ \theta θ。
步骤:
- 构建似然函数: 根据数据集 D D D 和模型 θ \theta θ,构建似然函数 L ( θ ) = P ( D ∣ θ ) L(\theta) = P(D|\theta) L(θ)=P(D∣θ)。
- 求解极大值: 通过求解似然函数的极大值,找到使得 L ( θ ) L(\theta) L(θ) 最大的参数值 θ \theta θ。通常通过求导并令导数为零来实现。
参考案例:
假设有一枚硬币,想要估计这枚硬币的偏倚程度,即正面朝上的概率 p p p。进行了10次投掷,结果是7次正面朝上,3次反面朝上。
- 似然函数: L ( p ) = p 7 ( 1 − p ) 3 L(p) = p^7 (1-p)^3 L(p)=p7(1−p)3
- 求解极大值: 对 L ( p ) L(p) L(p) 取对数并求导,得到 d d p [ 7 log p + 3 log ( 1 − p ) ] = 0 \frac{d}{dp} [7 \log p + 3 \log (1-p)] = 0 dpd[7logp+3log(1−p)]=0,解得 p = 0.7 p = 0.7 p=0.7。
贝叶斯估计(Bayesian Estimation)
基本思想:
贝叶斯估计的核心思想是利用贝叶斯定理,将参数 θ \theta θ 视为一个随机变量,并结合先验信息和数据来更新参数的分布。具体来说,贝叶斯估计的目标是找到参数 θ \theta θ 的后验分布 P ( θ ∣ D ) P(\theta|D) P(θ∣D),然后根据后验分布进行参数估计。
步骤:
- 确定先验分布: 选择一个合适的先验分布 P ( θ ) P(\theta) P(θ),反映对参数 θ \theta θ 的先验知识。
- 计算后验分布: 利用贝叶斯定理,计算后验分布 P ( θ ∣ D ) = P ( D ∣ θ ) P ( θ ) P ( D ) P(\theta|D) = \frac{P(D|\theta)P(\theta)}{P(D)} P(θ∣D)=P(D)P(D∣θ)P(θ)。
- 进行参数估计: 根据后验分布 P ( θ ∣ D ) P(\theta|D) P(θ∣D),选择合适的估计方法(如后验均值、后验众数等)进行参数估计。
参考案例:
同样考虑硬币投掷问题,但现在有一个先验信念,即硬币的偏倚程度 p p p 服从一个 Beta 分布 B e t a ( 2 , 2 ) Beta(2, 2) Beta(2,2)。进行了10次投掷,结果是7次正面朝上,3次反面朝上。
- 先验分布: P ( p ) = B e t a ( 2 , 2 ) P(p) = Beta(2, 2) P(p)=Beta(2,2)
- 后验分布: 根据贝叶斯定理,后验分布 P ( p ∣ D ) P(p|D) P(p∣D) 也是一个 Beta 分布,具体为 B e t a ( 2 + 7 , 2 + 3 ) = B e t a ( 9 , 5 ) Beta(2+7, 2+3) = Beta(9, 5) Beta(2+7,2+3)=Beta(9,5)。
- 参数估计: 后验均值 E ( p ∣ D ) = 9 9 + 5 = 9 14 ≈ 0.643 E(p|D) = \frac{9}{9+5} = \frac{9}{14} \approx 0.643 E(p∣D)=9+59=149≈0.643。
对比总结
- 参数观点: MLE 认为参数是固定的,而贝叶斯估计认为参数是随机的。
- 计算复杂度: MLE 计算相对简单,而贝叶斯估计通常涉及复杂的积分计算。
- 先验信息: 贝叶斯估计可以结合先验信息,而 MLE 仅依赖于数据。
- 结果形式: MLE 提供一个点估计,而贝叶斯估计提供一个参数的分布。
在实际应用中,选择哪种方法取决于问题的具体情况、可用的先验信息以及计算资源的限制。