【深度学习】概率图模型(二)有向图模型详解(条件独立性、局部马尔可夫性及其证明)


在这里插入图片描述

  概率图模型(Probabilistic Graphical Model,PGM)是一种用图结构来表示和推断多元随机变量之间条件独立性的概率模型。图模型提供了一种直观且有效的方式来描述高维空间中的概率分布,通过图结构表示随机变量之间的关系,使得模型的参数量得以减少。

  【深度学习】概率图模型(一)概率图模型理论简介

一、有向图模型

  有向图模型(Directed Graphical Models)是概率图模型的一类,其中最为知名的代表是贝叶斯网络。这种模型在处理多变量概率关系方面表现出色,提供了一种直观、清晰的方法来描述随机变量之间的因果关系。

  下面将对贝叶斯网络的定义、条件独立性、局部马尔可夫性质等方面进行深入探讨。

1. 贝叶斯网络的定义

在这里插入图片描述

  1. 有向非循环图 G G G G G G是一个图,其中每个边都有一个方向,而且没有形成循环,每个节点都表示一个随机变量。这种有向图表示了变量之间的因果关系,其中箭头的方向指示了因果关系的方向。

  2. X X X 是一个 K K K 维随机向量:表示随机变量的集合,其中 K K K 是变量的数量。每个节点对应 X X X 中的一个随机变量。

  3. X π k X_{\pi_k} Xπk:表示变量 X k X_k Xk 的所有父节点变量的集合,这是一个关键概念,它表示了图中节点 X k X_k Xk 直接影响的变量。

  4. P ( X k ∣ X π k ) P(X_k | X_{\pi_k}) P(XkXπk):表示每个随机变量的局部条件概率分布,即给定其父节点的条件下,该变量的概率分布,表达了节点之间的因果关系。

  5. 联合概率分布的分解:如果随机向量 X X X 的联合概率分布可以分解为每个随机变量 X k X_k Xk 的局部条件概率的连乘形式(即式子 p ( x ) = ∏ k = 1 K p ( x k ∣ x π k ) p(\mathbf{x}) = \prod_{k=1}^{K} p(x_k | \mathbf{x}_{\pi_k}) p(x)=k=1Kp(xkxπk),那么图 (G) 和随机向量 (X) 构成了一个贝叶斯网络。

  • 重点:有向非循环图的结构和条件概率的定义。

2. 条件独立性及其证明

  贝叶斯网络中的条件独立性关系直接反映了有向边的因果关系。

  • 直接连接的节点通常是非条件独立的,表示了它们之间的直接因果关系。
  • 反之,不直接连接的节点在给定父节点信息下可能是条件独立的。

  下面将详细讨论不同连接关系下的条件独立性关系。

在这里插入图片描述

⊥ \perp 符号说明:markdown没找到与教材相同符号,这里暂使用 ⊥ \perp 替代

  1. 间接因果关系 X 3 → X 2 → X 1 X_3 \rightarrow X_2 \rightarrow X_1 X3X2X1

    • X 2 X_2 X2 已知时, X 1 X_1 X1 X 3 X_3 X3 是条件独立的,即 X 1 ⊥ X 3 ∣ X 2 X_1 \perp X_3 | X_2 X1X3X2
    • 表示给定中间节点 X 2 X_2 X2 的信息, X 1 X_1 X1 X 3 X_3 X3 不再有直接的因果关系。
  2. 间接果因关系 X 1 → X 2 → X 3 X_1 \rightarrow X_2 \rightarrow X_3 X1X2X3

    • X 2 X_2 X2 已知时, X 1 X_1 X1 X 3 X_3 X3 是条件独立的,即 X 1 ⊥ X 3 ∣ X 2 X_1 \perp X_3 | X_2 X1X3X2
    • 类似于上述情况,给定中间节点 X 2 X_2 X2 的信息, X 1 X_1 X1 X 3 X_3 X3 不再有直接的因果关系。
  3. 共因关系 X 1 ← X 2 → X 3 X_1 \leftarrow X_2 \rightarrow X_3 X1X2X3

    • X 2 X_2 X2 未知时, X 1 X_1 X1 X 3 X_3 X3 是不独立的。
    • X 2 X_2 X2 已知时, X 1 X_1 X1 X 3 X_3 X3 是条件独立的,即 X 1 ⊥ X 3 ∣ X 2 X_1 \perp X_3 | X_2 X1X3X2
    • 表示给定中间节点 X 2 X_2 X2 的信息, X 1 X_1 X1 X 3 X_3 X3 之间的关系变得更加独立。
  4. 共果关系 X 1 → X 2 ← X 3 X_1 \rightarrow X_2 \leftarrow X_3 X1X2X3

    • X 2 X_2 X2未知时, X 1 X_1 X1 X 3 X_3 X3 是独立的。
    • X 2 X_2 X2 已知时, X 1 X_1 X1 X 3 X_3 X3不再 是独立的,即 X 1 ⊥̸ X 3 ∣ X 2 X_1 \not\perp X_3 | X_2 X1X3X2
    • 表示给定中间节点 X 2 X_2 X2 的信息, X 1 X_1 X1 X 3 X_3 X3 之间的关系不再是独立的。

声明:下述证明过程为个人所见,不具备权威性……

a. 间接因果关系 X 3 → X 2 → X 1 X_3 \rightarrow X_2 \rightarrow X_1 X3X2X1

在间接因果关系中,考虑 X 1 X_1 X1 X 3 X_3 X3 在给定 X 2 X_2 X2 的条件下是否独立,根据概率链规则:

P ( X 1 , X 3 ∣ X 2 ) = P ( X 1 , X 2 , X 3 ) P ( X 2 ) P(X_1, X_3 | X_2) = \frac{P(X_1, X_2, X_3)}{P(X_2)} P(X1,X3X2)=P(X2)P(X1,X2,X3)

由图中的有向边表示因果关系,我们可以写出联合概率的分解:

P ( X 1 , X 2 , X 3 ) = P ( X 3 ) ⋅ P ( X 2 ∣ X 3 ) ⋅ P ( X 1 ∣ X 2 ) P(X_1, X_2, X_3) = P(X_3) \cdot P(X_2 | X_3) \cdot P(X_1 | X_2) P(X1,X2,X3)=P(X3)P(X2X3)P(X1X2)

将其代入条件概率的计算式中:

P ( X 1 , X 3 ∣ X 2 ) = P ( X 3 ) ⋅ P ( X 2 ∣ X 3 ) P ( X 2 ) ⋅ P ( X 1 ∣ X 2 ) P(X_1, X_3 | X_2) = \frac{P(X_3) \cdot P(X_2 | X_3) }{P(X_2)}\cdot P(X_1 | X_2) P(X1,X3X2)=P(X2)P(X3)P(X2X3)P(X1X2)
因为(条件概率~贝叶斯公式) P ( X 2 , X 3 ) = P ( X 3 ) ⋅ P ( X 2 ∣ X 3 ) = P ( X 2 ) ⋅ P ( X 3 ∣ X 2 ) P(X_2,X_3)=P(X_3) \cdot P(X_2 | X_3) =P(X_2) \cdot P(X_3 | X_2) P(X2,X3)=P(X3)P(X2X3)=P(X2)P(X3X2)

所以 P ( X 1 , X 3 ∣ X 2 ) = P ( X 3 ∣ X 2 ) ⋅ P ( X 1 ∣ X 2 ) P(X_1, X_3 | X_2) = P(X_3 | X_2) \cdot P(X_1 | X_2) P(X1,X3X2)=P(X3X2)P(X1X2)

得证,在 X 3 → X 2 → X 1 X_3 \rightarrow X_2 \rightarrow X_1 X3X2X1的关系下, X 1 X_1 X1 X 3 X_3 X3 在给定 X 2 X_2 X2的条件下是独立的。

b. 间接果因关系 X 1 → X 2 → X 3 X_1 \rightarrow X_2 \rightarrow X_3 X1X2X3

  • 概率链规则:

P ( X 1 , X 3 ∣ X 2 ) = P ( X 1 , X 2 , X 3 ) P ( X 2 ) P(X_1, X_3 | X_2) = \frac{P(X_1, X_2, X_3)}{P(X_2)} P(X1,X3X2)=P(X2)P(X1,X2,X3)

  • 联合概率的分解:

P ( X 1 , X 2 , X 3 ) = P ( X 1 ) ⋅ P ( X 2 ∣ X 1 ) ⋅ P ( X 3 ∣ X 2 ) P(X_1, X_2, X_3) = P(X_1) \cdot P(X_2 | X_1) \cdot P(X_3 | X_2) P(X1,X2,X3)=P(X1)P(X2X1)P(X3X2)

  • 代入条件概率的计算式,得到:
    P ( X 1 , X 3 ∣ X 2 ) = P ( X 1 ) ⋅ P ( X 2 ∣ X 1 ) P ( X 2 ) ⋅ P ( X 3 ∣ X 2 ) P(X_1, X_3 | X_2) = \frac{P(X_1) \cdot P(X_2 | X_1) }{P(X_2)}\cdot P(X_3 | X_2) P(X1,X3X2)=P(X2)P(X1)P(X2X1)P(X3X2)

P ( X 1 , X 3 ∣ X 2 ) = P ( X 1 ∣ X 2 ) ⋅ P ( X 3 ∣ X 2 ) P(X_1, X_3 | X_2) = P(X_1 | X_2) \cdot P(X_3 | X_2) P(X1,X3X2)=P(X1X2)P(X3X2)

  • 得证,在 X 1 → X 2 → X 3 X_1 \rightarrow X_2 \rightarrow X_3 X1X2X3 的关系下, X 1 X_1 X1 X 3 X_3 X3 在给定 X 2 X_2 X2 的条件下是独立的。

c. 共因关系 X 1 ← X 2 → X 3 X_1 \leftarrow X_2 \rightarrow X_3 X1X2X3

  • 联合概率的分解:

P ( X 1 , X 2 , X 3 ) = P ( X 2 ) ⋅ P ( X 1 ∣ X 2 ) ⋅ P ( X 3 ∣ X 2 ) P(X_1, X_2, X_3) = P(X_2) \cdot P(X_1 | X_2)\cdot P(X_3 | X_2) P(X1,X2,X3)=P(X2)P(X1X2)P(X3X2)

  • 将其代入条件概率的计算式中:

P ( X 1 , X 3 ∣ X 2 ) = P ( X 1 ∣ X 2 ) ⋅ P ( X 2 ) ⋅ P ( X 3 ∣ X 2 ) P ( X 2 ) P(X_1, X_3 | X_2) = \frac{P(X_1 | X_2) \cdot P(X_2) \cdot P(X_3 | X_2)}{P(X_2)} P(X1,X3X2)=P(X2)P(X1X2)P(X2)P(X3X2)

P ( X 1 , X 3 ∣ X 2 ) = P ( X 1 ∣ X 2 ) ⋅ P ( X 3 ∣ X 2 ) P(X_1, X_3 | X_2) = P(X_1 | X_2) \cdot P(X_3 | X_2) P(X1,X3X2)=P(X1X2)P(X3X2)

  • 这表明在 X 1 ← X 2 → X 3 X_1 \leftarrow X_2 \rightarrow X_3 X1X2X3 的关系下, X 1 X_1 X1 X 3 X_3 X3 在给定 X 2 X_2 X2 的条件下是独立的。

d. 共果关系 X 1 → X 2 ← X 3 X_1 \rightarrow X_2 \leftarrow X_3 X1X2X3

  • 联合概率的分解:

P ( X 1 , X 2 , X 3 ) = P ( X 1 ) ⋅ P ( X 3 ) ⋅ P ( X 2 ∣ X 1 , X 3 ) P(X_1, X_2, X_3) = P(X_1) \cdot P(X_3) \cdot P(X_2 | X_1, X_3) P(X1,X2,X3)=P(X1)P(X3)P(X2X1,X3)

  • 将其代入条件概率的计算式中:

P ( X 1 , X 3 ∣ X 2 ) = P ( X 1 ) ⋅ P ( X 3 ) ⋅ P ( X 2 ∣ X 1 , X 3 ) P ( X 2 ) P(X_1, X_3 | X_2) = \frac{P(X_1) \cdot P(X_3) \cdot P(X_2 | X_1, X_3)} {P(X_2)} P(X1,X3X2)=P(X2)P(X1)P(X3)P(X2X1,X3)

  • 这里的联合概率不能简化为 P ( X 1 ∣ X 2 ) ⋅ P ( X 3 ∣ X 2 ) P(X_1 | X_2) \cdot P(X_3 | X_2) P(X1X2)P(X3X2),这表明在 X 1 → X 2 ← X 3 X_1 \rightarrow X_2 \leftarrow X_3 X1X2X3 的关系下, X 1 X_1 X1 X 3 X_3 X3 在给定 X 2 X_2 X2的条件下不是独立的。

3. 局部马尔可夫性质

a. 理论

  局部马尔可夫性质是贝叶斯网络中的重要性质,它描述了在给定父节点的条件下,每个随机变量都与其非后代节点条件独立
在这里插入图片描述

局部马尔可夫性质: 对于贝叶斯网络中的每个节点 X k X_k Xk,它在给定其父节点 X π k X_{\pi_k} Xπk 的条件下,条件独立于与 X k X_k Xk 不相关的其他节点 Z Z Z,即

P ( X k ∣ X π k , Z ) = P ( X k ∣ X π k ) . P(X_k | X_{\pi_k}, Z) = P(X_k | X_{\pi_k}). P(XkXπk,Z)=P(XkXπk).

这表示,给定节点 X k X_k Xk 的父节点的信息,节点 X k X_k Xk 与其非后代节点 Z Z Z 之间没有直接的概率依赖关系,这个性质使得贝叶斯网络中的条件独立性关系更加清晰和易于推断。

b. 证明

P ( X k , Z ∣ X π k ) = P ( X k , Z , X π k ) P ( X π k ) P(X_k, Z | X_{\pi_k}) = \frac{P(X_k, Z , X_{\pi_k})}{P( X_{\pi_k})} P(Xk,ZXπk)=P(Xπk)P(Xk,Z,Xπk)
P ( X k , Z ∣ X π k ) = P ( X π k ) ⋅ P ( X k ∣ X π k ) ⋅ P ( Z ∣ X π k , X k ) P ( X π k ) P(X_k, Z | X_{\pi_k}) = \frac{P(X_{\pi_k})\cdot P(X_k|X_{\pi_k}) \cdot P(Z|X_{\pi_k},X_k) }{P( X_{\pi_k})} P(Xk,ZXπk)=P(Xπk)P(Xπk)P(XkXπk)P(ZXπk,Xk)
P ( X k , Z ∣ X π k ) = P ( X k ∣ X π k ) ⋅ P ( Z ∣ X π k , X k ) P(X_k, Z | X_{\pi_k}) = P(X_k|X_{\pi_k}) \cdot P(Z|X_{\pi_k},X_k) P(Xk,ZXπk)=P(XkXπk)P(ZXπk,Xk)
P ( X k , Z ∣ X π k ) = P ( X k ∣ X π k ) ⋅ P ( Z ∣ X π k ) P(X_k, Z | X_{\pi_k}) = P(X_k|X_{\pi_k}) \cdot P(Z|X_{\pi_k}) P(Xk,ZXπk)=P(XkXπk)P(ZXπk)

二、常见的有向图模型

持续更新ing~

1. Sigmoid信念网

2. 朴素贝叶斯分类器

3. 隐马尔可夫模型

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/187610.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java中如何将mysql里面的数据取出来然后通过stream流的方式进行数据处理代码实例?

在 Java 中使用 Stream 流的方式从 MySQL 数据库中取出数据并进行处理,你可以通过 JDBC(Java Database Connectivity)来实现。下面是一个简单的代码示例: import java.sql.*; import java.util.stream.Stream; public class MySQ…

android上架之获取平台公钥、签名 MD5 值

app上架需要用到的两个参数公钥、签名 MD5 步骤 1. 下载jadx-gui 工具,下载 2. 下载成后,解压压缩包,双击 jadx-gui-1.4.7.exe 运行。 3. 运行后,在页面左上方单击文件 > 打开文件,打开 APK 包 4. 打开 APK 包后…

Jvm常见问题

1. 为什么用元空间替换永久代 避免OOM异常:永久代中存放了很多JVM需要的类信息,这些数据大多数是不会被清理的,所以Full GC往往无法回收多少空间。而永久代的空间是有限的,如果经常加载新的类进来或者频繁的创建和删除类&#xf…

前端页面转pdf

首先,需要安装两个库 html2canvasjspdf 先引入这个公用的html转pdf的方法 /**path:src/utils/htmlToPdf.jsname:导出页面为pdf格式 **/ import html2Canvas from "html2canvas1.4.1"; import JsPDF from "jspdf2.5.1";const htmlToPdf {get…

APP功能测试思路

一、首先我们拿到一个app的apk包 或者是在testflight下载的app安装包,需要进行安装测试 1.软件安装前:空间不足是否有相应的提示 2.软件安装中:安装过程中是否可以取消、暂停;安装是否可以正常进行;安装空间不足是否…

将yolov8-face里的模型导出到指定opset11

https://github.com/derronqi/yolov8-face 解决办法: 1. 导出前 1 报错内容 (Tensor input, Tensor weight, Tensor bias, tuple of ints stride, tuple of ints padding, tuple of ints dilation, int groups) didnt match because some of the arguments have invalid typ…

2.Ansible的copy模块,我最常用的模块

1. 简述 先从我自身的情况来说,我不是运维人员,并且对linux操作也不是特别熟悉,所以工作中我使用ansible基本就是在平常的自动化部署中,而使用最多的模块就是copy模块。我使用copy模块也主要是来替换生产环境的配置文件。所以&am…

rabbitMQ镜像队列的使用

在rabbitMQ集群中,默认发送消息时,队列默认时在一个节点上存在的。 我们以node01 node02 node03三节点集群为例,在node01声明队列发送消息后,发现: 测试队列只在节点node01上出现。 我们手动停止node01后&#xff0c…

Tomcat外传

作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO 联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬 本篇开始,我…

vue中data为什么是一个函数

vue中的data是一个对象类型,对象类型的数据是按引用传值的,这就会导致所有组件的实例都共享同一份数据,这是不对的,我们要的是每个组件实例都是独立的 为了解决对象类型数据共享的问题,我们需要将 data 定义成一个函数…

C++11线程以及线程同步

C11中提供的线程类std::thread,基于此类创建一个新的线程相对简单,只需要提供线程函数和线程对象即可 一.命名空间 this_thread C11 添加一个关于线程的命名空间std::this_pthread ,此命名空间中提供四个公共的成员函数; 1.1 get_id() 调用命名空间s…

Python自动化测试——元素定位

1.selenium简介 Selenium是一个用于Web应用程序测试的工具。Selenium是直接运行在浏览器中,模拟用户操作web界面。支持多平台:windows、linux、MAC ,支持多浏览器:ie、firefox、chrome等浏览器。 2. 启动浏览器 # 导入webdrive…

JavaWeb服务器详解和后端分层解耦

JavaWeb HTTP协议请求数据格式响应数据格式协议解析 Web服务器请求响应请求参数的接收响应 分层解耦IOC&DI入门IOC详解 HTTP协议 超文本传输协议,规定了浏览器和服务器之间数据传输的规则 特点: 基于TCP协议:面向连接,安全 …

【Android知识笔记】架构专题(二)

分层架构概论 分层的依据是什么? 关注点分离:自下而上,从机器到用户,从抽象到具体,从通用到业务,每一层,各自关注各自的抽象层次。修改与影响:不同层之间的代码或技术方案修改,彼此互不影响。例如 UI 界面从 xml 布局改成 Jetpack Compose 之后,不应该影响数据层。换…

【android开发-03】android中Intent的用法介绍

1,Intent的作用 在Android开发中,Intent的使用非常广泛,包括启动Activity、启动Service、发送广播等。是各组件间交互的一种重要方式,他不仅可以指明当前组件想要执行的动作,还可以在不同组件间传递数据。 Intent可以…

kafka中的常见问题处理

文章目录 1. 如何防⽌消息丢失2. 如何防⽌重复消费3. 如何做到消息的顺序消费4. 如何解决消息积压问题4.1 消息积压问题的出现4.2 消息积压的解决⽅案 5. 实现延时队列的效果5.1 应用场景5.2 具体方案 1. 如何防⽌消息丢失 ⽣产者:1)使⽤同步发送 2&…

thinkphp 判断当前页 导航条高亮等方法

ACTION_NAME等表示全局变量,表示当前页面的操作方法 APP_NAME // 当前项目名称 MODULE_NAME //当前模块名称 ACTION_NAME // 当前操作名称 当然,也可以在控制器中,自己定义变量,比如 $this->assign(‘nav’, ‘cp’); 用法示例 <li <if condition" (ACTION_NA…

uniapp使用u-checkbox

当使用uni-app开发时&#xff0c;可以使用u-checkbox组件来实现复选框功能。以下是一个更详细的例子&#xff0c;展示如何在uni-app中使用u-checkbox组件&#xff0c;并介绍一些相关的API用法。 首先&#xff0c;确保已经安装并引入了u-checkbox组件。可以通过在页面的<tem…

NetApp EF 系列全闪存存储,为实时分析、HPC 和数据库等性能敏感型工作负载提供助力

NetApp EF 系列全闪存存储 如果您需要为实时分析、HPC 和数据库等性能敏感型工作负载提供强劲动力&#xff0c;NetApp EF 系列全闪存存储的性价比优势不言自明。其可为要求最苛刻的应用程序提供微秒级响应&#xff0c;最大限度地延长正常运行时间并提供 99.9999% 的可靠性。 为…

Maya 2024(3D建模、动画和渲染软件)

Maya 2024是一款非常强大的3D建模、动画和渲染软件&#xff0c;它提供了许多新功能和改进&#xff0c;以帮助建模师、动画师和渲染师更加高效地进行创作。 在建模方面&#xff0c;Maya 2024引入了Symmetry&#xff08;对称&#xff09;功能&#xff0c;可以在网格两侧生成均匀…