【转载】贝叶斯决策论

原文链接(http://www.cnblogs.com/elaron/archive/2012/10/29/2745010.html)

1、什么是行为?

但是,有时候,后验概率本身只能说明具有特征x的样本属于ωi类的可能性有多少,却没能表示如果将样本分到ωi类时的代价有多大。

在此,引入行为的概念

分类器的设计初衷很简单,就是进行“分类”这一动作。假设现在来了一个具有特征x的样本,如果将“把样本分入ωi类”这一行为记为动作ai的话,我们将有不少于类别种类(假设有c类)的行为(因为除了将样本分入不同类别外,还可能拒绝作出判断,因此动作集的大小一般大于类别种类)。

2、什么是风险?

为方便说明,令{ω1,...,ωc}表示有限个类别集,{a1,...,aa}表示有限的a中可能采取的动作集,风险函数λ(aij)描述类别状态为ωj时采取行动ai所产生的风险。(行为导致风险,不同的行为也会使风险的大小不同

3、什么是损失函数?

已知使用【贝叶斯公式】可以通过先验概率P(ωj)、概率密度函数(似然函数)p(x|ωj)以及证据因子p(x)可以求出后验概率P(ωj|x):

假设,样本具有特征值x,并且我们将采取ai行动,而样本的真是归属类别为ωj,那么将可能造成损失λ(aij),而贝叶斯公式求出的后验概率P(ωj|x)表示了特征值为x时,样本属于类别ωj的概率,因此,与行为ai相关的损失为:

R(ai|x)称为与行为ai相关的损失函数。计算损失函数可以展开为以下步骤:

step 1:通过将特征值、似然函数、先验概率带入贝叶斯公式,求出具有特征值x的样本分属各个不同类别的可能性(后验概率)。

step 2:将样本属于各个不同类别的可能性乘上将样本误判到这一类别所需付出的代价。

step 3:将step2的结果相加即可得出对具有特征值x的样本进行ai操作所可能产生的损失。

显然,要计算损失函数,则先验概率、似然函数、风险函数都必须是已知的。

注意,风险函数是λ(aij),损失函数(也称条件风险)是R(ai|x),两者是不同的。

4、什么是贝叶斯决策规则?

     为了最小化总风险,对所有的i=1,...,a计算条件风险R(ai|x),并选择行为ai使R(ai|x)最小化。最小化后的总风险值称为贝叶斯风险,记为R*,它是可获得的最优风险。那么,为什么贝叶斯决策规则所得出的风险是最小的呢?

     假设判决规则为函数a(x),它用来说明对于特征值x应采取哪种行为(即,a1,...,aa中选择哪个行为)。如果有一种规则,使得损失函数R(ai|x)对每个特征值x都尽可能的小,那么对所有可能出现的特征值x,总风险将会降到最小。

     而这一理想的规则就是贝叶斯决策

“对所有的i=1,...,a计算条件风险R(ai|x),并选择行为ai使R(ai|x)最小化”

     通俗的说,就是对特征值x,计算所有行为所导致的损失们(即把R(a1|x),...,R(aa|x)都算出来),然后从中选择损失最小的一个ak作为结果,这样对于每个样本,都可以做的损失最小。假设有一批样本,其中的每一个都做到损失最小的话,对这一批样本而言,总体的损失就是最小的了。

     不过这是一种非常理想的情况,通常是没有那么多已知条件的(实际情况中很少出现如此理想的情况)。不过贝叶斯决策理论倒是为我们提供了一个与其他分类器做对比的评价依据,也就是说贝叶斯决策很多情况下是作为对比对象而存在的。

转载于:https://www.cnblogs.com/stevenbush/articles/3357442.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/493770.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

李彦宏:人工智能会让这个世界变得更美好吗?YES AI DO!

来源:亿欧摘要:李彦宏表示,今天我们让公园充满AI,未来我们会让整个世界充满AI。11月1日,在百度世界大会上,李彦宏围绕人工智能是否能让这个世界变得更美好开展演讲,并且结合系列百度新近推出的产…

听说你盗图都盗绿了?

知乎传送门:https://www.zhihu.com/question/29355920 为什么图片反复压缩后会普遍会变绿而不是其他颜色?这是大神做的模拟迭代压缩的测试:https://m13253.github.io/JPEGreen/。排名第一的回答已经很仔细了,关于图像压缩不是很懂…

邬贺铨院士:十问边缘计算!

来源:通信世界网随着5G、物联网等的发展,边缘计算已经成为通信技术的又一制高点。目前边缘计算技术的研究已经取得了系列的成果,应用推广已逐步开展,但在今日举行的2018边缘计算技术峰会上,中国工程院院士、中国互联网…

图像处理中的通信原理——冈萨雷斯读书笔记(二)

参考伯乐在线的一篇文章,做图像的傅里叶变换。在PyCharm中安装cv2时出错,如下图:根据提示建议在命令行中执行命令pip install cv2也依然是No matching distribution found for cv2.注意到pip可以更新,但这不是问题所在。然而&…

图像处理中的通信原理——冈萨雷斯读书笔记(三)

法国数学家傅里叶男爵在1822年出版的《热分析理论》一书中指出,任何周期函数都可以表示为不同频率的正弦和或余弦和(每个正弦项/余弦项乘不同的系数)的形式,这其实就是无穷级数的一种:傅里叶级数。无穷级数的思想是通过…

腾讯俞栋:定义下一代智能人机交互,从目标、挑战到实现路径

来源:腾讯AI实验室语音识别及深度学习领域专家、腾讯AI Lab副主任及西雅图实验室负责人俞栋博士,在2018年腾讯全球合作伙伴大会上展示了腾讯AI正在推进的跨领域前沿研究:下一代的多模态智能人机交互。以下是有补充的演讲全文,介绍…

图像处理中的通信原理——冈萨雷斯读书笔记(四)

完美重建要求使用无限求和来内插,实践中,不得不寻求某种近似。在图像处理中,二维内插最普通的应用就是调整图像的大小。放大可看成是过取样,缩小是欠取样。无论是过取样还是欠取样,都需要内插,内插有最近邻…

unity3d游戏开发(一)——圈圈叉叉

参考:http://game.ceeger.com/forum/read.php?tid1719 ———————————————————开始————————————— 好吧,吹了那么多我们开始吧,先发个最终截图 当然,你觉得3个格子太少,你还可以扩展成任…

腾讯张正友:攻克可进化机器人,6个研究趋势与7大技术突破点

来源:腾讯AI实验室11月2日,机器人及多媒体技术专家、腾讯Robotics X实验室主任张正友博士,在2018年腾讯全球合作伙伴大会的人工智能分论坛上,展示了腾讯在机器人领域的思考。包括:腾讯将人工智能(AI&#x…

摩拜开锁方式

摩拜作为共享单车中发展得比较好的一个,最近又因为被美团收购和抛弃同龄人的文章上了新闻,我们从技术上看,它的解锁时候的通信方式是怎样的呢? 注意到摩拜的一款车车筐里面装了太阳能电池,所以能源问题容易解释。我们先…

前沿地带:从量子计算到量子互联网

来源:资本实验室当我们进入互联网时代,科技进步和社会发展就建立在了数据与计算能力的基础之上。庞大的数据量与快速的计算能力这两大基本因素决定着我们进入未来社会的速度,而在当前的各种新技术中,量子计算无疑是最具未来感的新…

千万级负载均衡架构设计

负载均衡 (Load Balancing) 负载均衡建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。 大型网站负载均衡的利器 全局负载均衡系统&#xf…

科学为什么重要?马化腾公开信引热议,透露企业未来发展方向

来源:世界科技创新论坛摘要:美国强大的源泉,不是因为它有原子弹,航空母舰,隐性飞机,或者芯片,而在于它牢牢地掌握着基础科学的最前沿。科学一点都马虎不得,没有捷径可走,…

吴恩达斯坦福大学机器学习 CS229 课程学习笔记(二)

终于要开始正式的学习了。看了第一节课最大的印象是Ng老师的优雅,儒雅,偏英式的发音(突然意识到他从小在伦敦长大)。配着字幕看的视频,但还是希望能锻炼一下自己的听力,也只有在自己看过一遍印象才深刻&…

当自动驾驶汽车撞过来的时候,你希望它如何判断?

来源:网易智能 摘要:据报道,当无人驾驶汽车在繁忙的街道上发生碰撞的时候,它该优先避免让谁受伤呢?它该杀死谁,而不杀死谁呢?麻省理工学院的一项研究表明,你的回答将取决于你来自哪里…

细数黑客攻击的七大战术

不计其数的黑客们游荡在因特网中来欺骗那些容易上当的用户。它们多年使用着重复的攻击手段,毫无创新地利用着我们懒惰、误判和一些犯二的行为。 不过每年,恶意软件研究人员总会遇到一些引人侧目的攻击手段。这些攻击手段在不断拓展恶意攻击的范围。新的攻…

人工智能黑暗面

来源:大数据文摘编译:DonFJ、蒋宝尚机器学习是现在大家都打了鸡血想用或者在用的技术。但是,你以为只有好人能用它吗?Too young too simple!接下来,我将揭秘AI技术黑暗的一面——犯罪份子和人工智能的孽缘。…

认识蚁群算法

好像是看罗胖的罗辑思维,看到过一种说法,越是准入门槛高的,难以取代的行业,所需的工具是越简单的。摄影师需要昂贵的镜头,而画家却只需要简单的纸笔,尽管照片比画逼真得多,但是却无法取代绘画的…

薛定谔的猫跳进了生物学界,化学家表示:没有我可能办不到

来源:原理摘要:在生物科学界流传着“物理学家累了就来生物界玩一玩”的调侃。确实,现今学科之间密不可分,生物学的发展对特定物理技术的需求也越大。但是这样化学家却不满意了?1943年,物理学家薛定谔在都柏…

图像配准之特征点匹配的思考

最近赶时髦,看了一些智能优化算法如蚁群算法,还有机器学习的一些东西,就想着怎么把这些先进的东西用在图像配准中。头脑风暴了一下,觉得在已经检测到两幅图像的特征点的基础上,就如何对它们进行匹配似乎有优化的空间。…