ML 系列:第 39 节 - 估计方法:最大似然估计 (MLE)

目录

一、说明

二、什么是最大似然估计 (MLE)?

2.1 理解公式

2.2 MLE 的定义

2.3 我们何时使用 MLE?

三、结论


一、说明

        在统计学领域,我们经常需要根据观察到的数据估计统计模型的参数。为此目的广泛使用的两种关键方法是最大似然估计 ( MLE ) 和最大后验估计 ( MAP )。虽然 MLE 仅关注给定参数的观察数据的可能性,但 MAP 将先验知识纳入估计过程。在这篇博文中,我们将深入探讨 MLE 的概念,并承诺在以下部分中探索 MAP。

二、什么是最大似然估计 (MLE)?

        在之前的讨论中,我们假设概率模型的所有参数 θ 都是已知的。在这里,我们探索如何从数据中学习这些参数。从数据 (D) 估计 θ 的过程称为模型拟合训练,这是机器学习的基础。虽然有很多方法可以产生这样的估计,但大多数都可以构建为以下形式的优化问题:

2.1 理解公式

1. 参数θ

  • θ 表示我们试图估计的统计模型的参数。例如,在线性回归模型中,θ 可能包括斜率和截距。

2. 似然函数L(θ):

  • L(θ) 是似然函数,用于测量对于不同的 θ 值,观察到给定数据的可能性有多大。然而,在argmin ⁡ 的上下文中,L(θ) 更可能是指损失函数负对数似然,用于测量具有参数 θ 的模型与观察到的数据的拟合程度。L(θ) 值越低,拟合度越高。

3. arg⁡min⁡_θ

  • arg⁡min⁡ 运算符用于找到最小化函数 L(θ) 的 θ 值。换句话说,它确定导致损失函数最小可能值的参数值。

4. θ^(西塔帽)

  • θ^ 表示最小化损失函数的估计参数。这是基于观测数据对参数的最佳估计。

2.2 MLE 的定义

        最大似然估计 (MLE) 是一种用于估计统计模型参数的方法。其核心思想是找到最大化观测数据似然性的参数值。MLE 的正式定义为:

在这里:

我们通常假设训练示例是从同一分布中独立采样的,因此(条件)似然变为:

        当我们假设训练样本服从独立同分布(iid)时,(条件)似然可以表示为各个概率的乘积。这一假设简化了似然函数的计算。

        注意:在实践中,我们经常使用对数似然而不是似然本身来简化计算。乘积的对数变成总和,使其更容易用数学方法处理。然而,最大化原则保持不变。其由以下公式给出:

        这分解为项的和,每个示例一个。因此,MLE 由以下公式给出:

        由于大多数优化算法都是为了最小化成本函数而设计的,并且最小化负对数似然NLL)在数学上等同于最大化似然,因此我们可以将目标函数重新定义为(条件)负对数似然或NLL:

最小化该值将得到 MLE。如果模型是无条件的(无监督的),则 MLE 变为

        因为我们有输出 yn 但没有输入 xn 。

2.3 我们何时使用 MLE?

MLE 用于需要参数估计的各种情况。它在以下情况下特别有用:

- 数据可用:我们有一组观察到的数据点,我们相信这些数据点遵循特定的统计模型。
- 模型假设:统计模型及其似然函数定义明确。
- 参数估计:我们需要以使观察到的数据最可能的方式估计模型的参数。

三、结论

        最大似然估计 (MLE) 是一种基于观测数据估计统计模型参数的有效方法。通过最大化似然函数,MLE 提供最能解释观测数据的参数估计值。在下一节中,我们将深入研究最大后验 (MAP) 估计,它通过将先验知识纳入估计过程来扩展 MLE。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/61912.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

文本生成类(机器翻译)系统评估

在机器翻译任务中常用评价指标:BLEU、ROGUE、METEOR、PPL。 这些指标的缺点:只能反应模型输出是否类似于测试文本。 BLUE(Bilingual Evaluation Understudy):是用于评估模型生成的句子(candidate)和实际句子(referen…

Asp.net Mvc在VSCore中如何将增删改查的增改添加数据传输到页面(需配合上一篇Mvc的增删改查一起)

Linq集成查询(关联Lambda) First FirstOrDefault 找到第一个符合条件的元素 First(x >x.Id id) 返回第一个Id等于id的元素,如果都没有符合的,报错FirstOrDefault(x >x.Id id) 返回第一个Id等于id的元素,如果…

vue.js学习(day 19)

自定义创建项目 ESlint 代码规范 代码规范错误 手动修正 自动修正 settings.json {"emmet.triggerExpansionOnTab": true,"editor.fontSize": 25,// 当保存的时候,eslint自动帮我们修复错误"editor.codeActionsOnSave": {&qu…

【springboot】健康检查 监控

文章目录 1. 引言重要性 2. 配置Spring Boot ActuatorSpring Boot Actuator的角色和功能引入必要的依赖启用Actuator的健康检查端点配置安全性和可见性 3. 扩展健康检查指标创建自定义健康指示器示例:数据库连接健康检查示例:自定义缓存健康检查 4. 利用…

考研英语翻译与大小作文

名词动化词 1 持有 harbor2 2 反映 mirror 3 缩短 bridge 4 使用 harness 5 掩饰 mask/veil 6 修改 tailor 7 汇集 pool 8 控制 curb 9 想象 picture 10 激发 trigger 拉丁…

两个畸变矩阵相乘后还是一个2*2的矩阵,有四个畸变元素。1、畸变矩阵吸收了法拉第矩阵。2、畸变矩阵也给法拉第旋转角带来模糊(求解有多种可能)

角度一;恢复畸变的时候也把法拉第旋转恢复了 角度二:求解法拉第旋转角的时候 前面乘的复系数的不同也会带来法拉第旋转角和畸变的不同解 注意:无论多少个畸变矩阵相乘,结果都是2*2的矩阵,也就是畸变参数可以减少…

集合框架(1)

集合框架(1) 1、数组的特点与弊端 (1)特点: 数组初始化以后,长度就确定了。数组中的添加的元素是依次紧密排列的,有序的,可以重复的。数组声明的类型,就决定了进行元素初…

VR眼镜可视化编程:开启医疗信息系统新纪元

一、引言 随着科技的飞速发展,VR 可视化编程在医疗信息系统中的应用正逐渐成为医疗领域的新趋势。它不仅为医疗教育、手术培训、疼痛管理等方面带来了新的机遇,还在提升患者体验、推动医疗信息系统智能化等方面发挥着重要作用。 在当今医疗领域&#xf…

禾川Q1系列PLC控制X3E总线伺服

1、建立链接 2、配置EtherCAT总线 3、添加Cia402轴 4、添加总线设备 5、总线轴控FB建立 代码部分1

股市复盘笔记

复盘是股市投资中非常重要的一个环节,它指的是投资者在股市收盘后,对当天的市场走势、个股表现以及自己的交易行为进行回顾和总结,以便更好地指导未来的投资决策。以下是对复盘的详细解释: 一、复盘的目的 总结市场走势&#xff…

基于TensorFlow框架的线性回归实现

目录 ​编辑 线性回归简介 TensorFlow简介 线性回归模型的TensorFlow实现 1. 安装TensorFlow 2. 导入必要的库 3. 准备数据 4. 定义模型 5. 定义损失函数 6. 定义优化器 7. 训练模型 8. 评估模型 9. 模型参数的可视化 10. 模型预测的准确性评估 结论 在统计学和…

【信息系统项目管理师】第8章:项目整合管理-基础和过程 考点梳理

文章目录 8.1 管理基础8.1.1 执行整合8.1.2 整合的复杂性8.1.3 管理新实践8.1.4 项目管理计划和项目文件 8.2 项目整合管理过程8.2.1 过程概述1、项目整合管理过程2、项目整合管理的输入、工具与技术和输出 8.2.2 裁剪考虑因素8.2.3 敏捷与适应方法 【学习建议】本章节内容属于…

网页端五子棋对战(四)---玩家匹配实现上线下线处理

文章目录 1.游戏大厅用户匹配1.1请求和响应1.2设计匹配页面1.3获取玩家信息1.4玩家信息的样式设置1.5初始化我们的websocket1.6点击按钮和客户端交互1.7点击按钮和服务器端交互 2.服务器端实现匹配功能框架2.1方法重写2.2借用session 3.处理上线下线3.1什么是上线下线3.2实现用…

「Mac畅玩鸿蒙与硬件42」UI互动应用篇19 - 数字键盘应用

本篇将带你实现一个数字键盘应用,支持用户通过点击数字键输入数字并实时更新显示内容。我们将展示如何使用按钮组件和状态管理来实现一个简洁且实用的数字键盘。 关键词 UI互动应用数字键盘按钮组件状态管理用户交互 一、功能说明 数字键盘应用将实现以下功能&…

LaTeX入门 | 超详细讲解

LaTeX入门 什么是LaTeX LaTeX(读作/ˈlɑːtɛx/或/ˈleɪtɛx/)是一个让你的文档看起来更专业的排版系统,而不是文字处理器。它尤其适合处理篇幅较长、结构严谨的文档,并且十分擅长处理公式表达。它是免费的软件,对…

cgo内存泄漏排查

示例程序&#xff1a; package main/* #include <stdlib.h> #include <string.h> #include <stdio.h> char* cMalloc() {char *mem (char*)malloc(1024 * 1024 * 16);return mem; } void cMemset(char* mem) {memset(mem, -, 1024 * 1024 * 16); } int arr…

Django的介绍

Django是一个高级的Python Web框架,用于快速开发安全、可维护的Web应用程序。以下是关于Django的详细介绍: 一、框架特点 高效的开发模式 内置功能丰富:Django提供了大量的内置工具和功能,减少了开发人员在构建Web应用基础部分所花费的时间。例如,它自带了一个功能强大的…

第四届新生程序设计竞赛正式赛(C语言)

A: HNUCM的学习达人 SQ同学是HNUCM的学习达人&#xff0c;据说他每七天就能够看完一本书&#xff0c;每天看七分之一本书&#xff0c;而且他喜欢看完一本书之后再看另外一本。 现在请你编写一个程序&#xff0c;统计在指定天数中&#xff0c;SQ同学看完了多少本完整的书&#x…

红日靶场vulnstack (五)

前言 好久没打靶机了&#xff0c;今天有空搞了个玩一下&#xff0c;红日5比前面的都简单。 靶机环境 win7&#xff1a;192.168.80.150(外)、192.168.138.136(内) winserver28&#xff08;DC&#xff09;&#xff1a;192.168.138.138 环境搭建就不说了&#xff0c;和之前写…

汇编语言简要记录-1

汇编语言与汇编指令 汇编语言的主题是汇编指令 汇编指令与机器指令的差别在于指令的表示方法上 1、汇编指令是机器机器指令便于记忆的书写格式 2、汇编指令是机器指令的助记符 ag&#xff1a;机器指令 1000100111011000操作&#xff1a;将寄存器BX的值送到AX中汇编指令 MOV …