从朴素贝叶斯到贝叶斯网

回顾

在文章《朴素贝叶斯》中,小夕为大家介绍了朴素贝叶斯模型的基本知识,并且得出了朴素贝叶斯是利用联合概率P(x1,x2,x3...xn,y)来确定某个样本为某个类别的概率,进而利用最大后验概率(MAP)来决策类别。也就是说,朴素贝叶斯的假设函数如下:

 

 

其中,假设有c个类别,则i=1,2,...,c。(补充:argmax大家应该都熟悉了吧,意思就是返回使函数值最大的参数,这里的函数即P(X,yi),参数即yi。)

 

其中,根据朴素贝叶斯的条件独立性假设,联合概率被简化为

 

我们想啊,朴素贝叶斯也是个模型,神经网络也是个模型。然而神经网络的粉丝们就给神经网络画出了图,还画的辣么好看~而作为朴素贝叶斯粉丝的小夕当然也要给朴素贝叶斯模型画个图啊,把我家朴素贝叶斯描述的活灵活现,漂漂亮亮嗒~

画像

如图,小夕将每一个随机变量(即X中的每个维度xi和类别y)画成一个圈圈,这个圈圈就代表这个随机变量。

 

 

然后用一条有向边来表示随机变量之间的条件关系,比如P(x1|y),它表示“如果能观测到y,那么x1的概率分布函数就确定了(当然了,x1的概率分布函数就是x1取各个值时的概率,所组成的函数)”。简单来说就是给定(观测到)y的取值,就知道了x1的情况。所以用箭头表示这个关系:

 

 

所以,朴素贝叶斯的假设函数(准确讲是假设函数的核心)即:

 

 

看~这个图是不是把公式

非常形象的画出来啦~

 

这个图,我们暂且就定义为有向图,反正根据小夕的说法,它描绘了“各个随机变量之间的条件依赖关系”(看起来像推理关系)。

 

想一想这个图还有没有隐含含义呢?

 

机智的宝宝肯定想到了朴素贝叶斯的条件独立性假设!没错!这个图还反映了“每个随机变量的独立性关系”(看起来像每个随机变量的爸爸妈妈是谁,子女是谁)。

 

看,有了独立性关系这个解释,是不是又把朴素贝叶斯的条件独立性假设包含进来啦。回顾一下,朴素贝叶斯假设样本的特征向量的各个维度之间是互相独立的(即x1,x2,...,xn之间是相互独立的),所以在这个图中,它们之间没有连线,表示相互独立。

贝叶斯网

想一想,小夕已经“吐槽”过了,朴素贝叶斯很朴素,因为它做了一个很不靠谱的输入变量xi之间相互独立的这个假设,因此小夕在《NB与LR的战争》中还建议大家去做一个将X的维度原地复制成两倍的实验,以验证这个独立性假设的不靠谱之处。

 

想象一下,假设我们有一个预测某教授会不会给一个学生写一封好的保研推荐信的机器学习任务。

在这个任务中,类别即两个:会,或者不会,给这个学生写推荐信。特征我们选取4个:学生的x1=智商,x2=学生在这个老师的课的考试分数,x3=这个老师的课的考试难度,x4=这个学生的SAT(美国版高考)成绩。

(该例子来自《probablistic graphicalmodel》Kolleretc.)

 

显然啊,x1和x3联合起来会很大程度上决定x2的值,x1会很大程度决定x4的值,而让老师去写推荐信的时候,老师只会看到你在他的课上考了多少分以及老师此刻的心情来决定是否给你写个好推荐信。然而用朴素贝叶斯建模的话,显然这些客观存在的依赖关系全都被忽略掉了,可想而知往往结果很糟糕。

 

那么,我们可不可以保留这些客观存在的依赖关系呢?

 

想想刚才小夕为朴素贝叶斯画的图~我们就按照这个画图规则把进化版的模型画出来吧!

(x1=学生智商, intelligence;

x2=老师课的分数, score;

x3=课程难度, difficulty;

x4=SAT分数, SAT;

y=是否写好推荐信, letter)

 

看!对不对呢~按照前面说的画图原则,这个图是不是将客观存在的信息都描绘进去啦~

 

看起来像这个样子的模型叫什么呢?就是“贝叶斯网”!

 

也就是说:在贝叶斯网中,我们会建模样本的特征向量X内各个维度之间的依赖关系,并且隐含的包含了各个随机变量(X的各个维度以及y)的独立性关系(之所以说隐含,是因为在贝叶斯网络中,好像无法像朴素贝叶斯一样一眼看出变量之间的独立性关系,比如观测到x2时,你能知道此时y和x1是否是相互独立的吗?)

 

将这个模型训练完成之后,它看起来的样子是这样的(跟前面小夕画的图完全对应的):

(直接抠的书上的图\(//∇//)\)

 

于是按照机器学习框架,一大波问题袭来了:

1、这个模型如何训练?

2、这个模型如何对新样本分类?

 

除了这些一般化问题之外,还有前面提到的看似更复杂的问题:

贝叶斯网中隐含的各个随机变量的独立性关系如何描述?

 

小夕会在以后的文章中为大家逐步解开谜团~

 

ps:当然啦,这种画法肯定不是小夕首先提出来的,有兴趣的同学可以去看这篇论文(好像也不是这个论文的作者第一次提出来的):

 

Charles Sutton, Andrew McCallum: An Introduction toConditional Random Fields for Relational Learning.

 

除了这篇论文外,参考资料还有《probablistic graphical model》Koller etc.这本书有中文版~据说翻译的不错。不过要小心1000多页的块头哦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481193.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2022年,谁在数学史上永远留下了姓名

来源:新智元这一年,数学领域有什么大事?Quanta Magazine做了一份全年总结。我们可以把数学家想象成考古学家——他们煞费苦心地拂去世界隐藏结构上的灰尘。起来很吸引人?“你的起点并不重要,但要眼光长远,了…

神经网络激活函数=生物转换器?

啊~昨晚躺了一个小时竟然没有睡着,美容觉泡汤了...于是竟然大半夜起来写了这篇文章在《逻辑回归到神经网络》中,小夕让神经网络冒了个泡。在《一般化机器学习与神经网络》中,将神经网络这一火热的模型强制按回机器学习一般框架里。在《BP算法…

从Encoder到Decoder实现Seq2Seq模型

首发于机器不学习关注专栏写文章从Encoder到Decoder实现Seq2Seq模型天雨粟模型师傅 / 果粉​关注他300 人赞同了该文章更新:感谢Gang He指出的代码错误。get_batches函数中第15行与第19行,代码已经重新修改,GitHub已更新。前言好久没有更新专…

市场增速超20%,国产操作系统“浴火重生” | 解读操作系统的 2022

作者 | 凌敏 本文是“2022 InfoQ 年度技术盘点与展望”系列文章之一,由 InfoQ 编辑部制作呈现,重点聚焦操作系统领域在 2022 年的重要进展、动态,希望能帮助你准确把握 2022 年操作系统领域的核心发展脉络,在行业内始终保持足够的…

线性代数应该这样讲(二)

在《...(一)》中,小夕从映射的角度讲解了矩阵及矩阵运算,这也是机器学习中看待矩阵的非常重要的视角。另一方面说,矩阵当然也是用于存储数据的数据结构,这也是最好理解的形式。另外还可以看做是一个线性方程…

2023将至,Bengio等大佬年度展望!懂理性的AI模型要来了?

来源:新智元【导读】2022年对AI来说注定是不平凡的一年,这不吴恩达、Bengio等一众圈内大佬在接受DeepLearning.ai的采访中都展望了2023年AI的发展趋势,还分享了自己的科研小故事。还有1天,2022年就要过去了。此前我们报道了吴恩达…

【NLP】Attention Model(注意力模型)学习总结

【NLP】Attention Model(注意力模型)学习总结郭耀华发表于郭耀华‘s Blog订阅294在这篇文章中:1. 什么是Attention机制?2. 先了解编码-解码框架:Encoder-Decoder框架3. Attention Model4. Attention机制的本质思想5. S…

杂谈机器学习的几个应用场景

在上一篇文章末尾,小夕提到了“机器学习是实现自然语言处理的正确道路”。其实确实如此,纵观整个自然语言处理的发展史,也是纵观整个人工智能的发展史,从诞生到现在,机器学习不仅是在理论和工程上实现自然语言处理的目…

2022年度十大AI技术盘点:AIGC风暴来袭,自动驾驶后会无期?

来源:AI科技大本营翻译 & 整理:杨阳“科学不能告诉我们应该做什么,只能告诉我们能做什么。”——让-保罗萨特《存在与虚无》这一年,AI又有哪些前沿技术突破呢?通过汇总梳理2022年10大AI技术,AI科技大本…

从逻辑回归到受限玻尔兹曼机

在那很久很久以前,可爱的小夕写了一篇将逻辑回归小题大做的文章,然后在另一篇文章中阐述了逻辑回归的本质,并且推广出了softmax函数。从那之后,小夕又在一篇文章中阐述了逻辑回归与朴素贝叶斯的恩仇录,这两大祖先级人物…

Peacock:大规模主题模型及其在腾讯业务中的应用-2015

Peacock:大规模主题模型及其在腾讯业务中的应用 作者:赵学敏 王莉峰 王流斌 孙振龙 严浩 靳志辉 王益 摘要 如果用户最近搜索了“红酒木瓜汤”,那么应该展示什么样的广告呢?从字面上理解,可能应该返回酒水或者水果类广…

史上最简单的玻尔兹曼机模型讲解

在上一篇文章中,小夕讲述了逻辑回归为了抗衡贝叶斯网,也开始了自己的进化。然而令我们没有想到的是,逻辑回归最终竟然进化成了一个生成式模型——受限玻尔兹曼机(RBM),也就是变成了敌方(生成式模…

从头到尾彻底理解KMP(2014年8月22日版)

从头到尾彻底理解KMP 作者:July 时间:最初写于2011年12月,2014年7月21日晚10点 全部删除重写成此文,随后的半个多月不断反复改进。后收录于新书《编程之法:面试和算法心得》第4.4节中。 1. 引言 本KMP原文最初写于2年多…

解开玻尔兹曼机的封印会发生什么?

在上一篇文章中,小夕讲述了逻辑回归为了抗衡贝叶斯网,也开始了自己的进化。然而令我们没有想到的是,逻辑回归最终竟然进化成了一个生成式模型——受限玻尔兹曼机(RBM),也就是变成了敌方(生成式模…

KMP算法的核心,是一个被称为部分匹配表(Partial Match Table)的数组以及next数组求解

KMP算法的核心,是一个被称为部分匹配表(Partial Match Table)的数组。我觉得理解KMP的最大障碍就是很多人在看了很多关于KMP的文章之后,仍然搞不懂PMT中的值代表了什么意思。这里我们抛开所有的枝枝蔓蔓,先来解释一下这个数据到底是什么。 对…

Softmax(假神经网络)与词向量的训练

今天终于要完成好久之前的一个约定了~在很久很久以前的《如果风停了,你会怎样》中,小夕提到了“深刻理解了sigmoid的同学一定可以轻松的理解用(假)深度学习训练词向量的原理”,今天就来测测各位同学对于sigmoid的理解程度啦~习惯性的交待一下…

二叉树的先序遍历、中序遍历、后序遍历、层次遍历-图文详解

概述 二叉树的遍历是一个很常见的问题。二叉树的遍历方式主要有:先序遍历、中序遍历、后序遍历、层次遍历。先序、中序、后序其实指的是父节点被访问的次序。若在遍历过程中,父节点先于它的子节点被访问,就是先序遍历;父节点被访问…

写给我的女神,一个用灵魂歌唱的小精灵

我对娱乐圈不感兴趣,也很少关注娱乐圈。对于专业的歌唱艺术更是不在行。但我认为,一首歌,不应因为技法的平庸而被认为是烂歌,不应因为曲风的通俗而被认为是俗歌,不应因为声音和唱法的非主流而被认为是“非主流”歌曲。…

完美世界2020编程题-救雅典娜 英雄AB PK

版权声明&#xff1a;本文为博主原创文章&#xff0c;转载请注明出处。 https://blog.csdn.net/u012319493/article/details/82154113 </div><link rel"stylesheet" href"https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-f…

训练神经网络时如何确定batch size?

前言 当我们要训练一个已经写好的神经网络时&#xff0c;我们就要直面诸多的超参数了。这些超参数一旦选不好&#xff0c;那么很有可能让神经网络跑的还不如感知机。因此在面对神经网络这种容量很大的model前&#xff0c;是很有必要深刻的理解一下各个超参数的意义及其对model的…