【数学】什么是最大似然估计?如何求解最大似然估计

背景

最大似然估计(Maximum Likelihood Estimation, MLE)是一种估计统计模型参数的方法。它在众多统计学领域中被广泛使用,比如回归分析、时间序列分析、机器学习和经济学。其核心思想是:给定一个观测数据集,找到一组参数,使得在这些参数下观测到当前数据的可能性(似然)最大。

公式

假设我们有一个参数为 θ \theta θ 的概率分布,观测数据为 X = ( x 1 , x 2 , … , x n ) X = (x_1, x_2, \ldots, x_n) X=(x1,x2,,xn),则似然函数(Likelihood Function)可以表示为:
L ( θ ; X ) = P ( X ∣ θ ) = ∏ i = 1 n P ( x i ∣ θ ) L(\theta; X) = P(X|\theta) = \prod_{i=1}^n P(x_i|\theta) L(θ;X)=P(Xθ)=i=1nP(xiθ)

为了简化计算,我们通常使用对数似然函数(Log-Likelihood Function):
ℓ ( θ ; X ) = log ⁡ L ( θ ; X ) = ∑ i = 1 n log ⁡ P ( x i ∣ θ ) \ell(\theta; X) = \log L(\theta; X) = \sum_{i=1}^n \log P(x_i|\theta) (θ;X)=logL(θ;X)=i=1nlogP(xiθ)

最大似然估计的目标是找到参数 θ \theta θ,使得对数似然函数 ℓ ( θ ; X ) \ell(\theta; X) (θ;X) 达到最大值。即:
θ ^ = arg ⁡ max ⁡ θ ℓ ( θ ; X ) \hat{\theta} = \arg \max_\theta \ell(\theta; X) θ^=argθmax(θ;X)

示例题目

正态分布的概率密度函数(PDF)可以表示为:
f ( x ∣ μ , σ 2 ) = 1 2 π σ 2 exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) f(xμ,σ2)=2πσ2 1exp(2σ2(xμ)2)

假设我们有一组观测数据 X = ( x 1 , x 2 , … , x n ) X = (x_1, x_2, \ldots, x_n) X=(x1,x2,,xn),这些数据都来自于一个正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)。我们希望估计正态分布的参数 μ \mu μ σ 2 \sigma^2 σ2
观测数据为 X = ( x 1 , x 2 , … , x n ) X = (x_1, x_2, \ldots, x_n) X=(x1,x2,,xn)

详细讲解

  1. 写出似然函数:根据正态分布的概率密度函数,似然函数可以写为:
    似然函数 L ( μ , σ 2 ; X ) L(\mu, \sigma^2; X) L(μ,σ2;X) 是在给定参数 μ \mu μ σ 2 \sigma^2 σ2 下,观测数据 X X X 出现的概率。对于独立同分布的数据,这个概率是每个数据点概率密度的乘积,即:
    L ( μ , σ 2 ; X ) = ∏ i = 1 n f ( x i ∣ μ , σ 2 ) L(\mu, \sigma^2; X) = \prod_{i=1}^n f(x_i|\mu, \sigma^2) L(μ,σ2;X)=i=1nf(xiμ,σ2)

    将正态分布的概率密度函数代入似然函数中,得到:
    L ( μ , σ 2 ; X ) = ∏ i = 1 n 1 2 π σ 2 exp ⁡ ( − ( x i − μ ) 2 2 σ 2 ) L(\mu, \sigma^2; X) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) L(μ,σ2;X)=i=1n2πσ2 1exp(2σ2(xiμ)2)

对数似然函数

  1. 取对数:为了简化计算,取对数得到对数似然函数:
    ℓ ( μ , σ 2 ; X ) = ∑ i = 1 n log ⁡ ( 1 2 π σ 2 exp ⁡ ( − ( x i − μ ) 2 2 σ 2 ) ) \ell(\mu, \sigma^2; X) = \sum_{i=1}^n \log \left( \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right) \right) (μ,σ2;X)=i=1nlog(2πσ2 1exp(2σ2(xiμ)2))
    进一步简化:
    ℓ ( μ , σ 2 ; X ) = − n 2 log ⁡ ( 2 π σ 2 ) − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 \ell(\mu, \sigma^2; X) = -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2 (μ,σ2;X)=2nlog(2πσ2)2σ21i=1n(xiμ)2

  2. 求导并解方程:对 μ \mu μ σ 2 \sigma^2 σ2 分别求导并令其等于零,可以得到参数的估计值。
    μ \mu μ 求导:
    ∂ ℓ ∂ μ = 1 σ 2 ∑ i = 1 n ( x i − μ ) = 0 \frac{\partial \ell}{\partial \mu} = \frac{1}{\sigma^2} \sum_{i=1}^n (x_i - \mu) = 0 μ=σ21i=1n(xiμ)=0
    解得:
    μ ^ = 1 n ∑ i = 1 n x i \hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i μ^=n1i=1nxi

    σ 2 \sigma^2 σ2 求导:
    ∂ ℓ ∂ σ 2 = − n 2 σ 2 + 1 2 σ 4 ∑ i = 1 n ( x i − μ ) 2 = 0 \frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum_{i=1}^n (x_i - \mu)^2 = 0 σ2=2σ2n+2σ41i=1n(xiμ)2=0
    解得:
    σ ^ 2 = 1 n ∑ i = 1 n ( x i − μ ) 2 \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2 σ^2=n1i=1n(xiμ)2

Python代码求解

import numpy as np# 观测数据
X = np.array([2.3, 1.9, 3.1, 2.8, 2.4])# 估计参数
mu_hat = np.mean(X)
sigma_squared_hat = np.var(X, ddof=0)print("估计的均值 μ:", mu_hat)
print("估计的方差 σ^2:", sigma_squared_hat)

实际生活中的例子

最大似然估计在实际生活中的应用广泛。例如,在医学研究中,科学家常常需要估计某种疾病的发病率。假设有一个新的传染病,研究人员需要估计其传播率(即,传染给某人的概率)。他们收集了若干病例数据,通过最大似然估计,可以得到传播率的最优估计,从而帮助制定防控策略。

最大似然估计同样可以应用于金融领域,比如估计股票的收益率和风险;在机器学习中,用于训练模型的参数,如线性回归中的回归系数等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/29890.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

git的分支管理

✨前言✨ 📘 博客主页:to Keep博客主页 🙆欢迎关注,👍点赞,📝留言评论 ⏳首发时间:20246月19日 📨 博主码云地址:博主码云地址 📕参考书籍&#x…

【TB作品】MSP430G2553,单片机,口袋板, 单相交流电压、电流计设计

题5 单相交流电压、电流计设计 设计基于MSP430的单相工频交流电参数检测仪。交流有效值0-220V,电流有效值0-40A。电压、电流值经电压、电流传感器输出有效值为0-5V的交流信号,传感器输出的电压、电流信号与被测电压、电流同相位。 基本要求如下 &#xf…

Linux实时查看Java接口数据

1.Linux实时查看Java接口数据的方法 在Linux系统中实时查看Java接口数据通常涉及几个步骤: (1)编写Java应用程序:首先,你需要有一个Java应用程序,它暴露了一个或多个HTTP接口。这些接口应该返回你想要实时…

php百度云账户余额查询API示例

1、官方文档地址&#xff1a;账户余额查询 请求结构 POST /v{version}/finance/cash/balance HTTP/1.1 Host: billing.baidubce.com ContentType: application/json; charsetutf-8 Content-Length: <Content_Length> Authorization: authorization string 请求头域 …

ubuntu安装本地版overleaf并配置Docker

安装Docker 参考https://blog.csdn.net/2201_76100073/article/details/137025119 更新软件包 sudo apt update sudo apt upgradedocker依赖 sudo apt-get install ca-certificates curl gnupg lsb-release添加docker密钥 curl -fsSL http://mirrors.aliyun.com/docker-ce…

05、部署 YUM 仓库及NFS 共享服务

目录 5.1 部署YUM软件仓库 5.1.1 准备网络安装源&#xff08;服务器端&#xff09; 1、准备软件仓库目录 2、安装并启用vsftpd服务 5.1.2 配置软件仓库位置&#xff08;客户端&#xff09; 5.2 使用yum工具管理软件包 5.2.1 查询软件包 1、yum list——查询软件包列表 …

Python 3 函数

Python 3 函数 函数是Python编程语言的核心组成部分&#xff0c;它们允许我们封装代码块&#xff0c;使其可重用&#xff0c;模块化&#xff0c;并易于维护。在Python 3中&#xff0c;函数的使用和定义都有一些特定的语法和规则。本文将详细介绍Python 3中的函数&#xff0c;包…

DGit的使用

将Remix连接到远程Git仓库 1.指定克隆的分支和深度 2.清理&#xff0c;如果您不在工作区上工作&#xff0c;请将其删除或推送至 GitHub 或 IPFS 以确保安全。 为了进行推送和拉取&#xff0c;你需要一个 PAT — 个人访问令牌 当使用 dGIT 插件在 GitHub 上推送、拉取、访问私…

网关助力边缘物联网

网关助力边缘物联网 在探讨网关如何助力边缘物联网&#xff08;IoT&#xff09;的议题时&#xff0c;我们不得不深入分析这一技术交汇点的复杂性与潜力。边缘计算与物联网的融合&#xff0c;通过将数据处理与分析能力推向网络边缘&#xff0c;即数据生成的地方&#xff0c;极大…

高企如何提高通过率?2024年成都市高新技术企业认定条件和申报提前规划

一、知识产权 1.知识产权布局“前置化” 公司申报高新技术企业在知识产权上要注意知识产权数量和质量双达标。 注&#xff1a;知识产权是高企申报的重要条件&#xff0c;同时也是认定评审的主要得分项。总分100分&#xff0c;其中60分与知识产权相关&#xff08;知识产权情况…

【JVM】常⽤的命令⾏性能监控和故障处理⼯具

在Java应用程序的开发和维护过程中&#xff0c;性能监控和故障处理是至关重要的环节。为了更好地进行这些任务&#xff0c;Java生态系统提供了多种命令行工具。以下是一些常用的性能监控和故障处理工具的详细介绍&#xff1a; 1. jps (Java Virtual Machine Process Status To…

接口性能提升秘籍:本地缓存的总结与实践

&#x1f345;我是小宋&#xff0c; 一个只熬夜但不秃头的Java程序员。 &#x1f345;关注我&#xff0c;带你轻松过面试。提升简历亮点&#xff08;14个demo&#xff09; . . &#x1f30f;号&#xff1a;tutou123com。拉你进面试专属群。 优雅的接口调优之本地缓存优化 接口…

Spring中网络请求客户端WebClient的使用详解

Spring中网络请求客户端WebClient的使用详解_java_脚本之家 Spring5的WebClient使用详解-腾讯云开发者社区-腾讯云 在 Spring 5 之前&#xff0c;如果我们想要调用其他系统提供的 HTTP 服务&#xff0c;通常可以使用 Spring 提供的 RestTemplate 来访问&#xff0c;不过由于 …

初识es(elasticsearch)

初识elasticsearch 什么是elasticsearch&#xff1f;&#xff1a; 一个开源的分部署搜索引擎、可以用来实现搜索、日志统计、分析、系统监控等功能。 什么是文档和词条&#xff1f; 每一条数据就是一个文档对文档中的内容进行分词&#xff0c;得到的词语就是词条 什么是正向…

【elementui源码解析】如何实现自动渲染md文档-第四篇

目录 1.前言 2.md-loader - index.js 1&#xff09;md.render() 2&#xff09;定义变量 3&#xff09;while stripTemplate stripScript genInlineComponentText 4&#xff09;pageScript 5&#xff09;return 6&#xff09;demo-block 3.总结 所有章节&#x…

HTML(9)——字体修饰

常用的字体修饰属性 属性描述font-size字体大小 单位&#xff1a;数字pxfont-weight字体粗细 单位&#xff1a;数字font-style 字体倾斜 line-height行高 单位&#xff1a;数字px/数字(当前size的倍数&#xff09;font-family字体族…

微纳米气泡发生器是微纳米气泡产生装置 未来市场需求将不断释放

微纳米气泡发生器是微纳米气泡产生装置 未来市场需求将不断释放 微纳米气泡发生器即微纳米气泡发生设备&#xff0c;是一种将水和气体混合并产生微纳米气泡的设备。微纳米气泡是指直径在100μm以下的气泡&#xff0c;分为纳米气泡和微米气泡。   微纳米气泡发生器主要由发生设…

录屏录音两不误!电脑录屏录音软件推荐(3款)

在数字化时代&#xff0c;电脑录屏录音软件已成为教学、演示、会议记录等领域不可或缺的工具。它们能够捕捉屏幕上的每一个动作&#xff0c;同时录制音频&#xff0c;为用户提供直观、生动的视听材料。本文将详细介绍三种常用的电脑录屏录音软件&#xff0c;帮助读者了解并掌握…

Flink parallelism 和 Slot 介绍

Flink Parallelism介绍 在Apache Flink中&#xff0c;Parallelism&#xff08;并行度&#xff09;是一个核心概念&#xff0c;它决定了Flink任务&#xff08;Task&#xff09;的并行执行程度。Parallelism指的是在Flink应用程序中&#xff0c;一个算子&#xff08;Operator&am…

误删的文件不在回收站如何找回?6个恢复秘诀分享!

“我刚刚误删了一些文件&#xff0c;但是在回收站中没有看到这部分文件&#xff0c;这种情况下还有方法可以找回误删的文件吗&#xff1f;在线等一个答案&#xff01;” 在数字化时代&#xff0c;文件的安全和完整性对于个人和企业都至关重要。然而&#xff0c;有时候由于疏忽或…