EM(Expectation-Maximum)算法

EM算法

简介

EM算法的核心分为两步

  1. E步(Expection-Step)
  2. M步(Maximization-Step)

因为在最大化过程中存在两个参量 r , θ r,\theta r,θ,其中若知道 r r r,则知道 θ \theta θ;若知道 θ \theta θ,则知道 r r r。且两个量未存在明显的关系,但又互相依存可以采用EM算法

其中主要思想为:

  1. 首先随机初始化参数 r r r
  2. 然后求的在参数 r r r下按照极大似然估计求得参数 θ \theta θ
  3. 然后根据参数 θ \theta θ按照极大似然估计求得参数 r r r
  4. 循环至收敛

算法示例

如下图所示存在A,B两种硬币,其中抛出正反面的概率未知,其中H表示正面,F表示反面

image-20231218003257513

根据统计可得

image-20231218003323615

可得
P ( H ∣ X = A ) = 24 24 + 6 = 0.8 P ( H ∣ X = B ) = 9 9 + 11 = 0.45 P(H|X=A)=\frac{24}{24+6}=0.8\\ P(H|X=B)=\frac{9}{9+11}=0.45 P(HX=A)=24+624=0.8P(HX=B)=9+119=0.45
若更改条件,不知道此时抛出是哪一枚硬币,只知道抛出的结果,即

image-20231218003706672

首先初始化,设
P ( H ∣ X = A ) = 0.6 P ( H ∣ X = B ) = 0.5 P(H|X=A)=0.6\\ P(H|X=B)=0.5 P(HX=A)=0.6P(HX=B)=0.5
若当抛出的第一枚硬币为A时

此时的出现该情况的概率为 P 1 ( A ) = 0. 6 5 ∗ ( 1 − 0.6 ) 5 = 0.0007962624 P_1(A)=0.6^5*(1-0.6)^5=0.0007962624 P1(A)=0.65(10.6)5=0.0007962624

若当抛出的第一枚硬币为B时

此时的出现该情况的概率为 P 1 ( B ) = 0. 5 5 ∗ ( 1 − 0.5 ) 5 = 0.0009765625 P_1(B)=0.5^5*(1-0.5)^5=0.0009765625 P1(B)=0.55(10.5)5=0.0009765625

其中
P 1 ( A ) = P 1 ( A ) P 1 ( A ) + P 1 ( B ) ≈ 0.45 P 1 ( B ) = P 1 ( B ) P 1 ( A ) + P 1 ( B ) ≈ 0.55 P^1(A)=\frac{P_1(A)}{P_1(A)+P_1(B)}\approx0.45\\ P^1(B)=\frac{P_1(B)}{P_1(A)+P_1(B)}\approx0.55 P1(A)=P1(A)+P1(B)P1(A)0.45P1(B)=P1(A)+P1(B)P1(B)0.55
同理可得
P 2 ( A ) ≈ 0.80 , P 2 ( B ) ≈ 0.20 P 3 ( A ) ≈ 0.73 , P 3 ( B ) ≈ 0.27 P 4 ( A ) ≈ 0.35 , P 4 ( B ) ≈ 0.65 P 5 ( A ) ≈ 0.65 , P 5 ( B ) ≈ 0.35 P^2(A)\approx0.80,P^2(B)\approx0.20\\ P^3(A)\approx0.73,P^3(B)\approx0.27\\ P^4(A)\approx0.35,P^4(B)\approx0.65\\ P^5(A)\approx0.65,P^5(B)\approx0.35 P2(A)0.80,P2(B)0.20P3(A)0.73,P3(B)0.27P4(A)0.35,P4(B)0.65P5(A)0.65,P5(B)0.35
计算其数学期望
E 1 ( H ∣ X = A ) = 0.45 ∗ 5 = 2.2 E 1 ( T ∣ X = A ) = 0.45 ∗ 5 = 2.2 E 1 ( H ∣ X = B ) = 0.55 ∗ 5 = 2.75 E 1 ( T ∣ X = B ) = 0.55 ∗ 5 = 2.75 E 2 ( H ∣ X = A ) = 0.80 ∗ 9 = 7.2 E 2 ( T ∣ X = A ) = 0.45 ∗ 5 = 2.2 E 2 ( H ∣ X = B ) = 0.20 ∗ 9 = 1.8 E 2 ( T ∣ X = B ) = 0.20 ∗ 1 = 0.2 E 3 ( H ∣ X = A ) = 0.73 ∗ 8 = 5.8 E 3 ( T ∣ X = A ) = 0.73 ∗ 2 = 1.46 E 3 ( H ∣ X = B ) = 0.27 ∗ 8 = 2.16 E 3 ( T ∣ X = B ) = 0.27 ∗ 2 = 0.54 E 4 ( H ∣ X = A ) = 0.35 ∗ 4 = 1.4 E 4 ( T ∣ X = A ) = 0.35 ∗ 6 = 2.1 E 4 ( H ∣ X = B ) = 0.65 ∗ 4 = 2.6 E 4 ( T ∣ X = B ) = 0.65 ∗ 6 = 3.9 E 5 ( H ∣ X = A ) = 0.65 ∗ 7 = 4.55 E 5 ( T ∣ X = A ) = 0.65 ∗ 3 = 1.95 E 5 ( H ∣ X = B ) = 0.35 ∗ 7 = 2.45 E 5 ( T ∣ X = B ) = 0.35 ∗ 3 = 1.05 \begin{aligned} &E_1(H|X=A)=0.45*5=2.2\\ &E_1(T|X=A)=0.45*5=2.2\\ &E_1(H|X=B)=0.55*5=2.75\\ &E_1(T|X=B)=0.55*5=2.75\\ &E_2(H|X=A)=0.80*9=7.2\\ &E_2(T|X=A)=0.45*5=2.2\\ &E_2(H|X=B)=0.20*9=1.8\\ &E_2(T|X=B)=0.20*1=0.2\\ &E_3(H|X=A)=0.73*8=5.8\\ &E_3(T|X=A)=0.73*2=1.46\\ &E_3(H|X=B)=0.27*8=2.16\\ &E_3(T|X=B)=0.27*2=0.54\\ &E_4(H|X=A)=0.35*4=1.4\\ &E_4(T|X=A)=0.35*6=2.1\\ &E_4(H|X=B)=0.65*4=2.6\\ &E_4(T|X=B)=0.65*6=3.9\\ &E_5(H|X=A)=0.65*7=4.55\\ &E_5(T|X=A)=0.65*3=1.95\\ &E_5(H|X=B)=0.35*7=2.45\\ &E_5(T|X=B)=0.35*3=1.05\\ \end{aligned} E1(HX=A)=0.455=2.2E1(TX=A)=0.455=2.2E1(HX=B)=0.555=2.75E1(TX=B)=0.555=2.75E2(HX=A)=0.809=7.2E2(TX=A)=0.455=2.2E2(HX=B)=0.209=1.8E2(TX=B)=0.201=0.2E3(HX=A)=0.738=5.8E3(TX=A)=0.732=1.46E3(HX=B)=0.278=2.16E3(TX=B)=0.272=0.54E4(HX=A)=0.354=1.4E4(TX=A)=0.356=2.1E4(HX=B)=0.654=2.6E4(TX=B)=0.656=3.9E5(HX=A)=0.657=4.55E5(TX=A)=0.653=1.95E5(HX=B)=0.357=2.45E5(TX=B)=0.353=1.05
并计算其总共的期望
E ( H ∣ X = A ) = ∑ i = 1 5 E i ( H ∣ X = A ) ≈ 21.3 E ( H ∣ X = A ) = ∑ i = 1 5 E i ( T ∣ X = A ) ≈ 8.6 E ( H ∣ X = B ) = ∑ i = 1 5 E i ( H ∣ X = B ) ≈ 11.7 E ( H ∣ X = B ) = ∑ i = 1 5 E i ( T ∣ X = B ) ≈ 8.4 E(H|X=A)=\sum_{i=1}^5E_i(H|X=A)\approx21.3\\ E(H|X=A)=\sum_{i=1}^5E_i(T|X=A)\approx8.6\\ E(H|X=B)=\sum_{i=1}^5E_i(H|X=B)\approx11.7\\ E(H|X=B)=\sum_{i=1}^5E_i(T|X=B)\approx8.4\\ E(HX=A)=i=15Ei(HX=A)21.3E(HX=A)=i=15Ei(TX=A)8.6E(HX=B)=i=15Ei(HX=B)11.7E(HX=B)=i=15Ei(TX=B)8.4

可得
P ( H ∣ X = A ) = 21.3 21.3 + 8.6 = 0.71 P ( H ∣ X = B ) = 11.7 11.7 + 8.4 = 0.58 P(H|X=A)=\frac{21.3}{21.3+8.6}=0.71\\ P(H|X=B)=\frac{11.7}{11.7+8.4}=0.58 P(HX=A)=21.3+8.621.3=0.71P(HX=B)=11.7+8.411.7=0.58
由此循环直至收敛

EM-Figure1-1

得到最终
P ( H ∣ X = A ) = 0.80 P ( H ∣ X = B ) = 0.58 P(H|X=A)=0.80\\ P(H|X=B)=0.58 P(HX=A)=0.80P(HX=B)=0.58

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/231767.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mybatis一级缓存二级缓存和redis的区别

今天读到关于mybatis一级缓存、二级缓存的知识,然后看了一下mybatis一级缓存、二级缓存的应用场景,当时就感觉和redis很像,于是就查看了一下它们两个的区别。 Redis 和 MyBatis 一级缓存二级缓存的主要区别在于缓存的数据结构和存储方式上。…

机器学习之线性回归(Linear Regression)

概念 线性回归(Linear Regression)是机器学习中的一种基本的监督学习算法,用于建立输入变量(特征)与输出变量(目标)之间的线性关系。它假设输入变量与输出变量之间存在线性关系,并试图找到最佳拟合线来描述这种关系。 在简单线性回归中,只涉及两个变量:一个是自变量…

java常用正则表达式验证方法

1、正则表达式来验证验证11位数字格式的中国大陆电话号码 public boolean validatePhoneNumber(String phoneNumber) {String regex "^1[3-9]\\d{9}$";return phoneNumber.matches(regex); }正则表达式“^1[3-9]\d{9}”用于匹配11位数字格式的中国大陆电话号码。其…

Go环境安装

目录 下载地址 安装 macos环境 window及其他环境 GOPROXY 非常重要 Go开发编辑器 下载地址 Go官网下载地址:https://golang.org/dl/ Go官方镜像站(推荐):https://golang.google.cn/dl/ 选择要下载的系统版本: 安装 注意…

Github 2023-12-19开源项目日报 Top10

根据Github Trendings的统计,今日(2023-12-19统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Python项目4Rust项目2非开发语言项目2C#项目1TypeScript项目1 Avalonia: 跨平台UI框架和Avalonia XPF 创建周…

弹幕情感分析可视化

弹幕情感分析可视化 引言1. 弹幕数据爬取2. 弹幕数据处理3. 弹幕数据可视化4. 弹幕情感分析5. 创新点:弹幕情感倾向分布 引言 当今互联网时代,大量的弹幕数据蕴含着丰富的信息,通过对这些数据进行分析和可视化,我们能够深入了解用…

端口占用命令 netstat (centos)+netstat (windows)

linux 1.使用 netstat 命令查看端口占用情况 netstat -tlnp 使用 -p 选项查看进程信息。 使用 -t 选项列出 TCP 协议的连接:类似(使用 -u 选项列出 UDP 协议的连接:) 2.查找占用指定端口号的应用信息 netstat -tlnp | grep 3…

输电线路定位:精确导航,确保电力传输安全

在现代社会中,电力作为生活的基石,其安全稳定运行至关重要。而输电线路作为电力传输的重要通道,其故障定位和修复显得尤为重要。恒峰智慧科技将为您介绍一种采用分布式行波测量技术的输电线路定位方法,以提高故障定位精度&#xf…

windows安装conda小环境 windows安装anaconda python jupyter anaconda

1 如果想体验在线版的jupyter,可以访问anaconda在Anaconda Cloud,需要注册github: 1 下载anaconda ,并安装 1.1 下载 或者去清华镜像下载 Free Download | Anacondahttps://www.anaconda.com/downloadIndex of /anaconda/arch…

C++基础-while和do…while循环语句

目录 while 语句 do-while 语句 区别 水仙花数打印实例 while 语句 while 语句是循环结构的一种。重复执行语句,直到表达式计算结果为零。 语法 while ( ex

Excel只读模式带有密码,怎么办?

打开Excel文件之后发现是只读模式,并且excel只读模式是带有密码的,该如何取消带有密码的excel只读文件呢? 带有密码的只读模式,是设置了excel文件的修改权限,取消修改权限,我们需要先输入密码,…

Android-高效加载大图

Android 高效加载大图 前言读取位图尺寸和类型将按比例缩小的版本加载到内存中 前言 图片有各种形状和大小。在很多情况下,它们的大小超过了典型应用界面的要求。例如,系统“图库”应用会显示使用 Android 设备的相机拍摄的照片,这些照片的分…

windows下wsl(ubuntu)ldconfig报错

错误 sudo ldconfig /sbin/ldconfig.real: Cant link /usr/lib/wsl/lib/libnvoptix_loader.so.1 to libnvoptix.so.1 /sbin/ldconfig.real: /usr/lib/wsl/lib/libcuda.so.1 is not a symbolic link解决: 处理 sudo ldconfig 报错 libcuda.so.1 is not a symbolic …

Python当中x.size()和x.shape有什么区别?

在 PyTorch 中,x.size() 和 x.shape 基本上是等价的,都用于获取 PyTorch 张量的维度信息,但是有一些微小的区别: x.size(): x.size() 是一个函数,调用时不需要加括号,返回一个元组&#xff08…

[linux] ossutil安装及环境配置

一、ossutil安装 apt-get install curl curl https://gosspublic.alicdn.com/ossutil/install.sh | sudo bash ossutil config 可以自定义config-file。 其中ststoken可以直接回车忽略。 二、ossutil上传 ossutil cp -r ./dir_name/ oss://xx/oss_dir_name/dir_name --con…

Postman中raw是什么

Postman 中,"raw" 表示请求体中的数据是原始的、未经过编码的数据。通常,在发送 HTTP 请求时,你可以选择在请求体中发送原始文本数据,而不是通过表单形式或其他编码方式发送。 "Raw" 的选项允许你直接输入或…

简单几步完成SVN的安装

介绍以及特点 SVN:Subversion,即版本控制系统。 1.代码版本管理工具 2.查看所有的修改记录 3.恢复到任何历史版本和已经删除的文件 4.使用简单上手快,企业安全必备 下载安装 SVN的安装分为两部分,第一部分是服务端安装&…

<优化接口设计的思路>:接口安全

前言 一、接口安全的方式   1. 身份认证,鉴别客户端   2. 请求过程鉴权,防止请求被篡改   3. 访问控制,即控制客户端对API的访问权限 前言 某家电商平台上,用户可以通过客户端发起购物请求,并对所选商品进行下…

pytorch文本分类(三)模型框架(DNNtextCNN)

pytorch文本分类(三)模型框架(DNN&textCNN) 原任务链接 目录 pytorch文本分类(三)模型框架(DNN&textCNN)1. 背景知识深度学习 2. DNN2.1 从感知器到神经网络2.2 DNN的基本…

Linux系统常用单词翻译

........................................................................................................................................................... Linux系统常用单词翻译 ............................................................................…