机器学习笔记(六)——朴素贝叶斯法的参数估计

一、极大似然估计

在上一笔记中,经过推导,得到了朴素贝叶斯分类器的表示形式:

y=argmaxckP(Y=ck)jP(X(j)=x(j)|Y=ck)(1)

也就是说,朴素贝叶斯方法的学习是对概率P(Y=ck)P(X(j)=x(j)|Y=ck)的估计。故可以用极大似然估计法估计上述先验概率和条件概率。


先验概率P(Y=ck)的极大似然估计为:

P(Y=ck)=Ni=1I(yi=ck)N,k=1,2,,K

条件概率P(X(j)=ajl|Y=ck)的极大似然估计是:

P(X(j)=ajl|Y=ck)=Ni=1I(x(j)i=ajl,yi=ck)Ni=1I(yi=ck)

其中, x(j)i是第i个样本的第j个属性; ajl是第j个属性可能取l的值; I是指示函数。


将上述两个极大似然估计的值求出后,根据(1)式确定输入实例的分类。

二、贝叶斯估计

由(1)式可以得知,用极大似然估计可能导致估计出来的概率为0的情况,这会影响后验概率的计算结果,使得后验概率为0,解决这一问题的方法是采用贝叶斯估计。


先验概率Pλ(Y=ck)的贝叶斯估计是:

P(Y=ck)=Ni=1I(yi=ck)+λN+Kλ

条件概率Pλ(X(j)=ajl|Y=ck)的极大似然估计是:

Pλ(X(j)=ajl|Y=ck)=Ni=1I(x(j)i=ajl,yi=ck)+λNi=1I(yi=ck)+Sjλ

上式中,λ0,等价于在随机变量各个取值的频数上加上一个正数λ>0。当λ=0时就是极大似然估计。取λ=1称为拉普拉斯平滑(Laplace smoothing)。

显然对于任何l=1,2,,Sj;k=1,2,,K有:

Pλ(X(j)=ajl|Y=ck)>0

l=1SjP(X(j)=ajl|Y=ck)=1

总结

朴素贝叶斯方法的原理和重点内容到目前用了三节内容就重点学习完了,接下来会进一步学习跟贝叶斯相关的贝叶斯网络的内容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/576653.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ElasticSearch和mysql对比

以员工文档 的形式存储为例:一个文档代表一个员工数据。存储数据到 ElasticSearch 的行为叫做索引,但在索引一个文档之前,需要确定将文档存储在哪里。一个 ElasticSearch 集群可以包含多个 索引,相应的每个索引可以包含多个类型 。…

最优化学习笔记(一)——牛顿法(一维搜索方法)

一、一维搜索方法 讨论目标函数为一元单值函数f:R→R时的最优化问题的迭代求解方法。 二、局部极小点的条件 n元实值函数f的一阶导数Df为: Df≜[∂f∂x1,∂f∂x2,…,∂f∂xn]Df \triangleq \lbrack \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partia…

针对12306.cn网站应用架够的一些看法

临近年终,公司请来一位讲师来给我们作培训,题目记得是设计匠艺。说实话,我做不到像讲师那样,快讲完课时能将自己所讲的内容都有条理整理一遍。我就大致讲讲我所做笔记的一些内容吧。总的来说这位讲师的实践经验很丰富,…

机器学习笔记(七)——决策树模型

引言 决策树(Decision Tree)是一种基本的分类和回归方法。它的扩展方法有GBDT和GBRT 等。决策树模型的学习过程主要有特征选择、决策树生成和剪枝。主要算法有ID3、C4.5和CART等。 一、决策树模型 决策树首先是一个树形结构,它包括两种类型…

ElasticSearch获取多个文档Multi GET API介绍

#■同时获取多个文档信息 #■例子:获职index:bank和shakespeare下面 #. I0为1.2.3.4.15.6.28的文档信息 GET /bank/bank_account/1 GET /bank/bank_account/2 GET /shakespcare/line/3 GET /bank/bank_account/4 GET /shakespeare/line/15 #日数组[] GET /_mget {"docs&qu…

机器学习笔记(八)——决策树模型的特征选择

一、引言 决策树构建过程中的特征选择是非常重要的一步。特征选择是决定用哪个特征来划分特征空间,特征选择是要选出对训练数据集具有分类能力的特征,这样可以提高决策树的学习效率。如果利用某一个特征进行分类与随机分类的结果没有很大的差别&#xf…

Bulk批量操作API的介绍

#多重模式 #批量操作bulk POST /library/books/_bulk {"index": {"_id": 1}} {"title":"Elasticsearch: The Definitive Guide","price":5} {"index": {"_id": 2}} {"title":"The Elast…

[转】:Android调试工具及方法

http://www.cnblogs.com/feisky/archive/2010/01/01/1637566.html--LogcatDump一份系统消息的日志。这些消息包括模拟器抛出错误时的堆栈跟踪。Android Log一个记录日志的类,用来将消息写入模拟器上的日志文件中。如果你在DDMS上运行logcat的话你可以就实时查看消息…

机器学习笔记(九)——决策树的生成与剪枝

一、决策树的生成算法 基本的决策树生成算法主要有ID3和C4.5, 它们生成树的过程大致相似,ID3是采用的信息增益作为特征选择的度量,而C4.5采用信息增益比。构建过程如下: 从根节点开始,计算所有可能的特征的信息增益(信…

apache+webdav的安装配置

原始资料:http://www.howtoforge.com/setting-up-webdav-with-apache2-on-debian-etch apachewebdav的安装配置 需求:1.开启一个web服务,使得客户端能够像操作本地磁盘一样操作服务端某个文件目录下的文件在服务器上安装配置apachewebdav模块…

最优化学习笔记(二)——二分法

二分法是一种一维搜索方法。它讨论的是求解一元单值函数f:R→R在区间[a0,b0]的极小点问题。同时要求函数f在区间[a0,b0]上为单调函数,并且是连续可微的,这里将使用f的一阶导数f′。 二分法的计算过程比较简单,它主要是利用一阶导数来连…

elasticsearch内部版本控制

现在我将这个price价格改为10,看下版本有什么变化? 获取一下 返回结果我们知道价格price已经修改为10,_version已经变成2 我们把参数version改成2试试 我们从执行结果可知,我们已经修改成功,并且版本自增为3

JAVA每个初学者都应该搞懂的问题 还可以比较基础

还可以比较基础 转自http://blog.csdn.net/devillyd/article/details/2486520 对于这个系列里的问题,每个学Java的人都应该搞懂。当然,如果只是学Java玩玩就无所谓了。如果你认为自己已经超越初学者了,却不很懂这些问题,请将你自己…

最优化学习笔记(三)——梯度下降法

本来这周计划写下逻辑回归的学习笔记&#xff0c;但是其中用到了最优化对数似然函数&#xff0c;因此决定先复习下梯度方法和拟牛顿法。本节先从纯数学的角度总结下梯度下降法。 一、柯西-施瓦茨不等式 对于 Rn中的任意两个向量 x和y&#xff0c; 有&#xff1a; |<x,y&g…

ElasticSearch外部版本控制

#外部版本控制机制| PUT /library/books/1?version5&version_typeexternal {"title": "Elosticsearch: The Definitive Guide" ,"name":{"first" : "Zachary","last" : "Tong"},"publish_dat…

最优化学习笔记(四)——最速下降法

一、最速下降法的理念 最速下降法是梯度方法的一种实现&#xff0c;它的理念是在每次的迭代过程中&#xff0c;选取一个合适的步长αk&#xff0c;使得目标函数的值能够最大程度的减小。αk可以认为是函数ϕk(α)f(x(k)−α∇f(x(k)))的极小值点&#xff1a; αkargminf(x(k)−…

关于 win7 远程桌面的多用户问题

关于 win7 远程桌面的多用户问题 [转]系统是 64位WIN7 旗舰版 每当我用其它机器连WIN7的3389远程桌面时&#xff0c;WIN7那台机子就会退出到注销用户后的状态了&#xff0c;后来我新建了个用户&#xff0c;用不同用户登陆还是退出&#xff0c;也就是说不能同时2个人操作电脑&am…

ElasticSearch映射Mapping

1.1 什么是映射 (1) 映射(mapping): 定义index的元数据, 指定要索引并存储的文档的字段类型. 也就是说映射决定了Elasticsearch在建立倒排索引、进行检索时对文档采取的相关策略, 如数字类型、日期类型、文本类型等等. 需要注意的是: 检索时用到的分析策略, 要和建立索引时的分…

机器学习笔记(十)——Logistic Function AND Softmax Function

一、说明 在逻辑回归和一些机器学习算法中&#xff0c; Logistic函数和Softmax函数是常用到的&#xff0c;今天就先讨论下这两个函数。 二、Logistic Function Logistic function一般用于二分类问题&#xff0c;它的函数定义如下&#xff1a; f(x)11e−x(1)f(x) = \frac{1}{1…