RBM/DBN训练中的explaining away概念

可以参照

Stanford大神DaphneKoller的概率图模型,里面贝叶斯网络一节讲到了explaining away。我看过之后试着谈谈自己的理解。

explainingaway指的是这样一种情况:对于一个多因一果的问题,假设各种“因”之间都是相互独立的,如果已经确定了是因为其中一种原因导致了结果,那么因为其他原因导致了该结果的概率就会下降。

单纯看定义似乎很令人费解,因为原因之间应该是相互独立的,怎么会相互影响呢?举个最简单的例子就可以回答这个问题。

考虑三个随机变量ABC,其中C=A | B,AB相互独立。如果写出它们的概率分布就是这样的:

可以看出,只要A与B中的任意一个为1就会导致C为1,这正是一个最简单的多因一果问题。

假设我们观察到C = 1,但不知道是哪种原因导致的,那么根据上面的联合概率分布可以推断,P( A = 1 | C = 1 ) =P( B = 1 | C = 1 ) = 2/3。而且P( B = 1 | C = 1 ) > P( B = 1),即因为观察到了“果”,出现“因”的概率比平常更大,这是符合我们经验的。

但是,如果我们已经确认了A = 1,那么此时不论B取值为多少都会有C=1,即P( B = 1 | C = 1, A = 1 )= 1/2 = P( B = 1 ) < P( B = 1 | C = 1 )。B的取值再一次变得完全无法判断(对比上面,B取值为1的概率减小了),这就是explaining away。

在现实生活中也可以找到这样的例子:假设房子倒塌的可能性包括地震和恐怖袭击,如果我们发现房子倒了,那么很有可能发生了两者中的一个,但如果我们知道是恐怖分子用飞机撞倒的,那么我们就无法判断是不是发生了地震。这时地震的概率就从“很可能”变回了“有可能”,概率降低了,这就是explainingaway。




【转自:】http://blog.csdn.net/huangbo10/article/details/23091083


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/313367.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

.NET Core使用gRPC打造服务间通信基础设施

一、什么是RPCrpc&#xff08;远程过程调用&#xff09;是一个古老而新颖的名词&#xff0c;他几乎与http协议同时或更早诞生&#xff0c;也是互联网数据传输过程中非常重要的传输机制。利用这种传输机制&#xff0c;不同进程&#xff08;或服务&#xff09;间像调用本地进程中…

DBN训练学习-A fast Learning algorithm for deep belief nets

转载自&#xff1a;http://blog.sciencenet.cn/blog-110554-889016.html DBN的学习一般都是从Hinton的论文A Fast Learning Algorithm for Deep Belief Nets开始。如果没有相关的背景知识&#xff0c;不知道问题的来由&#xff0c;这篇论文读起来是相当费劲的。 学习过程中主…

程序员家的大闸蟹:青壳、白底、肉多、爆黄,现在是吃大闸蟹的最佳时期

其实&#xff0c;我跟大家一样&#xff0c;也是dotNET跨平台和张队长的忠实粉丝&#xff0c;也是一名程序员。上上周&#xff0c;我在dotNET跨平台的优选商城买了队长推荐人生果&#xff0c;也是第一次吃这个人生果&#xff0c;味道鲜甜、汁水也特别多&#xff0c;但由于快递的…

环形链表II

1、题目描述 给定一个链表&#xff0c;返回链表开始入环的第一个节点。 如果链表无环&#xff0c;则返回 null。 为了表示给定链表中的环&#xff0c;我们使用整数 pos 来表示链表尾连接到链表中的位置&#xff08;索引从 0 开始&#xff09;。 如果 pos 是 -1&#xff0c;则…

.NET Core Love gRPC

这篇内容主要来自Microsoft .NET团队程序经理Sourabh Shirhatti的博客文章&#xff1a;https://grpc.io/blog/grpc-on-dotnetcore/&#xff0c; .NET Core 3.0现已提供grpc的.NET 托管实现 grpc-dotnet&#xff0c; gRpc 取代WCF成为 .NET的一等公民。自2018年11月以来&#xf…

Magicodes.IE已支持通过模板导出票据

本次更新如下&#xff1a;【重构】重构HTML、PDF导出等逻辑&#xff0c;并修改IExporterByTemplate为&#xff1a;Task ExportListByTemplate(IList dataItems, string htmlTemplate null) where T : class;Task ExportByTemplate(T data, string htmlTemplate null) where T…

complementary prior

Complementary Prior 解决了多层网络中层间参数W无法计算的问题。 多层有向网络如下图&#xff0c;如果计算 W&#xff0c;我们需要知道第一个隐层的后验概率&#xff0c;那么会遇到几个问题&#xff1a;多层sigmoid网络1&#xff09;后验概率几乎不可计算&#xff0c;因为所谓…

Memcached

本文来自 58沈剑&#xff1a;https://mp.weixin.qq.com/s/zh9fq_e2BgdIeR8RKtY6Sg memcache是互联网分层架构中&#xff0c;使用最多的的KV缓存。面试的过程中&#xff0c;memcache相关的问题几乎是必问的&#xff0c;关于memcache的面试提问&#xff0c;你能回答到哪一个层次…

使用FastReport报表工具生成报表PDF文档

在我们开发某个系统的时候&#xff0c;客户总会提出一些特定的报表需求&#xff0c;固定的报表格式符合他们的业务处理需要&#xff0c;也贴合他们的工作场景&#xff0c;因此我们尽可能做出符合他们实际需要的报表&#xff0c;这样我们的系统会得到更好的认同感。本篇随笔介绍…

DXSDK_June10安装错误

今天安装DXSDK_Jun10时&#xff08;下载地址&#xff1a;http://download.microsoft.com/download/A/E/7/AE743F1F-632B-4809-87A9-AA1BB3458E31/DXSDK_Jun10.exe&#xff09;&#xff0c;出现错误Error Code:s1023 错误原因&#xff1a; 计算机上有安装过更新版的Microsoft Vi…

相交链表

1、题目描述 编写一个程序&#xff0c;找到两个单链表相交的起始节点。 如下面的两个链表&#xff1a; 在节点 c1 开始相交。 示例 1&#xff1a; 输入&#xff1a;intersectVal 8, listA [4,1,8,4,5], listB [5,0,1,8,4,5], skipA 2, skipB 3 输出&#xff1a;Refe…

Kullback-Leibler Divergence

本文转自&#xff1a;http://www.cnblogs.com/ywl925/p/3554502.html KL距离&#xff0c;是Kullback-Leibler差异&#xff08;Kullback-Leibler Divergence&#xff09;的简称&#xff0c;也叫做相对熵&#xff08;Relative Entropy&#xff09;。它衡量的是相同事件空间里的两…

Shader 坐标转换

转自&#xff1a;http://www.ownself.org/blog/2010/kong-jian-zuo-biao-zhuan-huan.html 这个比较基础了&#xff0c;不过基础最重要&#xff0c;往往应该理解透彻&#xff0c;并且反复复习。 我们知道在3D画面渲染过程中对于模型的计算的一部分被称为Transforming and Ligh…

致所有.Net者和有梦想的朋友们 - 共勉

这篇文章很早就想写的了&#xff0c;主要是人到了一定的年纪&#xff0c;就想唠叨一些看法&#xff0c;认不认可不重要&#xff0c;重要的是生活给予你的酸甜苦辣&#xff0c;你都想一吐为快。 这里主要基于多年来自己的一个行业感受和以及生活感想&#xff0c;唠叨一下工作以及…

ReLU的起源

论文参考&#xff1a;Deep Sparse Rectifier Neural Networks 网页参考&#xff1a;http://www.mamicode.com/info-detail-873243.html 起源&#xff1a;传统激活函数、脑神经元激活频率研究、稀疏激活性 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数&…

Asp.NET Core 轻松学-项目目录和文件作用介绍

前言上一章介绍了 Asp.Net Core 的前世今生&#xff0c;并创建了一个控制台项目编译并运行成功&#xff0c;本章的内容介绍 .NETCore 的各种常用命令、Asp.Net Core MVC 项目文件目录等信息&#xff0c;通过对命令的学习和操作&#xff0c;对项目结构的认识&#xff0c;进一步理…

Dubbo 常见服务治理策略

1、Dubbo体系结构 2、Dubbo容错机制 Dubbo集群容错架构图 各节点关系&#xff1a; 这里的Invoker是Provider的一个可调用Service的抽象&#xff0c;Invoker封装了Provider地址及Service接口信息。Directory代表多个Invoker&#xff0c;可以把它看成List&#xff0c;但与Lis…

IT技术人员的35个特点,你占几个?

作者&#xff1a;zollty&#xff0c;资深程序员和架构师&#xff0c;私底下是个爱折腾的技术极客&#xff0c;架构师社区合伙人&#xff01;1、价值观对生活的一般看法&#xff1a;追求简单&#xff0c;安定&#xff0c;可控制的生活&#xff0c;但对家庭生活的责任持消极态度草…

asp.net core 腾讯验证码的接入

asp.net core 腾讯验证码的接入Intro之前使用的验证码服务是用的极验验证&#xff0c;而且是比较旧的&#xff0c;好久之前接入的&#xff0c;而且验证码服务依赖 Session&#xff0c;有点不太灵活&#xff0c;后来发现腾讯也有验证码服务&#xff0c;而且支持小程序&#xff0…

ffmpeg加环境变量

转自&#xff1a;http://blog.csdn.net/leixiaohua1020/article/details/19016469 FFMPEG是命令行工具&#xff0c;因此使用起来多少还是会有些不方便。在这记录两点方便使用FFMPEG的方法&#xff1a; 1.任何目录下都可以使用FFMPEG 问题描述&#xff1a;需要转码&#xff08;播…