理论U2 贝叶斯决策理论

文章目录

  • 一、概率统计理论基础
    • 1、乘法公式
    • 2、全概率公式
    • 3、贝叶斯公式
  • 二、贝叶斯决策理论
    • 1、用处
    • 2、解决问题
    • 3、决策基础
    • 4、一些概念
    • 5、核心公式
  • 三、最小错误率贝叶斯决策
    • 1、目标
    • 2、例题分析
    • 3、问题
      • 1)决策的风险
  • 四、最小风险贝叶斯决策
    • 1、背景
    • 2、基本概念
      • 1)损失函数
      • 2)条件期望损失:
      • 3)期望风险:
    • 3、目标
    • 4、决策
    • 5、算法步骤
    • 6、例题分析
  • 五、两种贝叶斯的关系
  • 六、朴素贝叶斯决策
    • 1、问题
    • 2、概念
    • 3、例题分析

一、概率统计理论基础

1、乘法公式

设A,B为任意事件, P ( A , B ) = P ( A ∣ B ) ∗ P ( B ) = P ( B ∣ A ) ∗ P ( A ) P(A,B) = P(A|B)*P(B)=P(B|A)*P(A) P(A,B)=P(AB)P(B)=P(BA)P(A)

2、全概率公式

A 1 , A 2 , … , A n A_1,A_2,…,A_n A1,A2,,An两两互不相容,且 B B B的发生总是与 A 1 , A 2 , … , A n A_1, A_2,…,A_n A1,A2,,An之一同时发生,则对于事件 B B B,有:
P ( B ) = ∑ k − 1 n P ( A k ) P ( B ∣ A k ) P(B) = \sum_{k-1}^nP(A_k)P(B|A_k) P(B)=k1nP(Ak)P(BAk)

3、贝叶斯公式

知因求果
P ( A k ∣ B ) = P ( A k B ) P ( B ) = P ( A k ) P ( B ∣ A k ) ∑ i − 1 n P ( A i ) P ( B ∣ A i ) P(A_k|B)=\frac{P(A_kB)}{P(B)}=\frac{P(A_k)P(B|A_k)}{\sum_{i-1}^{n}P(A_i)P(B|A_i)} P(AkB)=P(B)P(AkB)=i1nP(Ai)P(BAi)P(Ak)P(BAk)
在这里插入图片描述
贝叶斯公式给出了“结果”事件B已经发生的条件下,“原因”事件A的条件概率,对结果的任何观测都将增加我们对原因事件A的真正分布的知识。

二、贝叶斯决策理论

1、用处

是机器学习/模式分类问题的基本理论之一
用概率统计的观点和方法(基于贝叶斯公式)来解决模式识别问题

2、解决问题

分类问题
给定:m个类、已知类别属性的训练样本和未知类别属性的输入数据
目标:确定每一个输入数据的类别属性

3、决策基础

已知条件:
–类别数一定(决策论中把类别也称为状态) ω i , i = 1 , 2 , … , c ω_i ,i= 1,2,…,c ωi,i=1,2,,c
–已知各类在这d维特征空间的统计分布
各类别 ω i ω_i ωi i = 1 , 2 , … , c i= 1,2,…,c i=1,2,,c的先验概率 P ( x ∣ ω i ) P(x|ω_i) P(xωi), i= 1,2,…,c

决策:根据贝叶斯公式计算后验概率 P ( ω i ∣ x ) P(ω_i|x) P(ωix) ,基于最大后验概率进行判决

4、一些概念

• 样本(sample) x ∈ R d x \in R^d xRd
• 类别/状态(class/state) w i w_i wi
• 先验概率(a priori probability or prior) P ( w i ) P(w_i) P(wi)
• 样本分布密度(sample distribution density) p ( x ) p(x) p(x)
• 类条件概率密度(class-conditional probabilitydensity) p ( x ∣ w i ) p(x|w_i) p(xwi)
• 后验概率(a posteriori probability or posterior ) p ( w i ∣ x ) p(w_i|x) p(wix)
• 错误概率(probability of error):
在这里插入图片描述

• 平均错误率(average probability of error) P ( e ) = ∫ P ( e ∣ x ) p ( x ) d x P(e) = \int P(e|x)p(x)dx P(e)=P(ex)p(x)dx
• 正确率(probability of correctness) P ( c ) P(c) P(c)

5、核心公式

P ( w i ∣ x ) = P ( x ∣ w i ) P ( w i ) P ( x ) = P ( x ∣ w i ) P ( w i ) ∑ i c P ( x ∣ w i ) P ( w i ) P(w_i|x)=\frac{P(x|w_i)P(w_i)}{P(x)}=\frac{P(x|w_i)P(w_i)}{\sum_{i}^{c}P(x|w_i)P(w_i)} P(wix)=P(x)P(xwi)P(wi)=icP(xwi)P(wi)P(xwi)P(wi)
先验概率:由以往历史数据得到的概率
后验概率:利用最新输入数据对先验概率加以修正后的概率
以最大后验概率为判决函数(样本在哪个类别概率大就属于哪个类别)
在这里插入图片描述

三、最小错误率贝叶斯决策

1、目标

m i n P ( e ) = ∫ P ( e ∣ x ) p ( x ) d x min \ \ P(e)=\int P(e|x)p(x)dx min  P(e)=P(ex)p(x)dx
在这里插入图片描述

2、例题分析

在这里插入图片描述
在这里插入图片描述

3、问题

1)决策的风险

不同的决策具有不同的风险或损失。
比如医疗诊断为例:没病判为有病:精神负担、可进一步检查,损失不大。有病判为没病:贻误病情,后果严重。
最小错误率贝叶斯决策以错误率最小为准则,未考虑决策的风险

四、最小风险贝叶斯决策

1、背景

根据最小错误率贝叶斯决策的问题进行改进

2、基本概念

1)损失函数

损失函数:对于特定的x采取决策 α \alpha α的期望损失 λ ( α i , w j ) \lambda(\alpha_i,w_j) λ(αi,wj)

2)条件期望损失:

R ( α i ∣ x ) = E [ λ ( α i , w j ) ] = ∑ j = 1 c λ ( α i , w j ) p ( w j ∣ x ) R(\alpha_i|x)=E[\lambda(\alpha_i,w_j)]=\sum_{j=1}^{c}\lambda(\alpha_i,w_j)p(w_j|x) R(αix)=E[λ(αi,wj)]=j=1cλ(αi,wj)p(wjx)

3)期望风险:

对所有可能的x采取决策 α ( x ) \alpha(x) α(x)所造成的期望损失之和
R ( α ) = ∫ R ( α ∣ x ) p ( x ) d x R(\alpha)=\int R(\alpha|x)p(x)dx R(α)=R(αx)p(x)dx

3、目标

m i n R ( α ) = ∫ R ( α ∣ x ) p ( x ) d x min \ \ \ R(\alpha)=\int R(\alpha|x)p(x)dx min   R(α)=R(αx)p(x)dx
若对每一个决策,都使其条件风险 R ( α i ∣ x ) R(\alpha_i|x) R(αix)最小,则对所有 x 做出决策时,其期望风险 R 也最小

4、决策

如果 R ( α k ∣ x ) = m i n R ( α i ∣ x ) R(\alpha_k|x) = min \ \ R(\alpha_i|x) R(αkx)=min  R(αix) ,则 α = α k \alpha = \alpha_k α=αk

5、算法步骤

在这里插入图片描述

6、例题分析

上题的细胞诊断
在这里插入图片描述
在这里插入图片描述

五、两种贝叶斯的关系

在这里插入图片描述

六、朴素贝叶斯决策

1、问题

贝叶斯决策的问题:类条件概率 P ( x ∣ ω i ) P(x|ω_i) P(xωi) 是所有属性上的联合概率,难以从有限的训练样本直接估计得到。
因此需要用朴素贝叶斯决策

2、概念

属性条件独立性假设:对于已知类别,假设所有属性相互独立;即假设各属性独立地对分类结果发生影响,
P ( X ∣ w ) = P ( x 1 , x 2 , x 3 , x 4 , . . . , x d ∣ w ) = Π i = 1 d P ( x i ∣ w ) P(X|w) = P(x_1,x_2,x_3,x_4,...,x_d|w)=Π_{i=1}^dP(x_i|w) P(Xw)=P(x1,x2,x3,x4,...,xdw)=Πi=1dP(xiw)
在这里插入图片描述

3、例题分析

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/604738.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

西电期末1034.勒让德多项式

一.题目 二.分析与思路 带递推式即可&#xff0c;注意数据类型的使用和转换&#xff01; 三.代码实现 #include<bits/stdc.h>//万能头 int main() {int n;double x;scanf("%d%lf",&n,&x);double ans0;double num[n];num[0]1;num[1]x;//初始化ansnum…

VS2017 CMake编译Opencv

先下载opencv4.2.0源码以及opencv_contrib-4.2.0 地址链接&#xff1a;https://pan.baidu.com/s/1AgFsiH4uMqTRJftNXAqmTw?pwd3663 提取码&#xff1a;3663 先建立一个opencv_debug和opencv_release文件夹这两个都是为了后续存放编译好的debug版本和release版本opencv的&#…

jaeger简单发送---链路追踪

jaeger go发送单个span package mainimport ("fmt""github.com/uber/jaeger-client-go"jaegercfg "github.com/uber/jaeger-client-go/config" )func main() {cfg : jaegercfg.Configuration{Sampler: &jaegercfg.SamplerConfig{ //采样类…

小程序 蓝牙连接与回连过程

小程序蓝牙连接过程包括扫描设备、连接设备和发送数据等步骤 具体步骤如下&#xff1a; 打开蓝牙&#xff1a;在小程序中调用wx.openBluetoothAdapter()函数打开蓝牙适配器。 监听蓝牙适配器状态&#xff1a;使用wx.onBluetoothAdapterStateChange()函数监听蓝牙适配器的状态…

2023年12 月电子学会Python等级考试试卷(一级)答案解析

青少年软件编程(Python)等级考试试卷(一级) 分数:100 题数:37 一、单选题(共25题,共50分) 1. 下列程序运行的结果是?( ) print(hello) print(world) A. helloworld

部署可道云网盘的一个漏洞解决

目录 1漏洞展示 2.防范措施 1漏洞展示 因为可道云网盘的上传文档有保存在 /data/Group/public/home/文档/ 中,当别有用心之人知道个人部署的域名与上次的文件后&#xff0c;可以进行访问拿到uid。例我在我部署的网盘上上次一个aa.php 文件&#xff0c;然后拿来演示 然后通过…

LeetCode刷题笔记之栈与队列

一、队列与栈相互转换 1. 232【用栈实现队列】 题目&#xff1a; 请你仅使用两个栈实现先入先出队列。队列应当支持一般队列支持的所有操作&#xff08;push、pop、peek、empty&#xff09;&#xff1a; 实现 MyQueue 类&#xff1a; void push(int x) 将元素 x 推到队列的末…

Java SE入门及基础(5)

变量的定义与使用 1. 变量的概念 从字面意思看&#xff0c;变量就是会变化的量。 从计算机专业角度看&#xff0c;变量就是一个内存空间地址的表示。 在Java中&#xff0c;内存分为栈内存和堆内存两大块 2. 变量的声明 语法 数据类型 变量名 ; 变量名 变量值…

Python笔记07-异常、模块和包

文章目录 异常及捕获方法python模块python包安装第三方包 异常及捕获方法 当检测到一个错误时&#xff0c;Python解释器就无法继续执行了&#xff0c;反而出现了一些错误的提示&#xff0c;这就是所谓的“异常”, 也就是我们常说的BUG 例如&#xff1a;以r方式打开一个不存在的…

LNMP架构及应用部署

目录 简介 1、构建LNMP网站平台 1.1、安装MySQL数据库 &#xff08;1&#xff09;编译安装MySQL &#xff08;2&#xff09;优化调整 &#xff08;3&#xff09;初始化数据库 &#xff08;4&#xff09;启动mysql服务 1.2、安装PHP解析环境 &#xff08;1&#xf…

【pytorch学习】 深度学习 教程 and 实战

pytorch编程实战博主&#xff1a;https://github.com/lucidrains https://github.com/lucidrains/vit-pytorch

K8S-环境部署

1 基础环境配置 主机名规划 序号主机ip主机名规划110.0.0.12kubernetes-master.sswang.com kubernetes-master210.0.0.15kubernetes-node1.sswang.com kubernetes-node1310.0.0.16kubernetes-node2.sswang.com kubernetes-node2410.0.0.17kubernetes-node3.sswang.com kubern…

【Java】设计模式之两阶段终止

两阶段终止 两阶段终止&#xff0c;即Two Phase Termination。是用来终止线程的套路。 它的思想是&#xff0c;如何在一个线程T1中优雅地终止线程T2&#xff1f;这里的【优雅】指的是给T2一个料理后事的机会。 错误思路&#xff1a; 使用stop方法。stop 方法会真正杀死线程…

uniapp上传文件时用到的api是什么?格式是什么?

在UniApp中&#xff0c;你可以使用uni.uploadFile()方法来上传文件。这是一个异步方法&#xff0c;用于将本地资源上传到服务器。 该方法的基本格式如下&#xff1a; uni.uploadFile({url: 上传接口地址,filePath: 要上传的文件路径,name: 后端接收的文件参数名,formData: {/…

58. 最后一个单词的长度(Java)

题目描述 给你一个字符串 s&#xff0c;由若干单词组成&#xff0c;单词前后用一些空格字符隔开。返回字符串中 最后一个 单词的长度。 单词 是指仅由字母组成、不包含任何空格字符的最大子字符串。 输入&#xff1a; s “luffy is still joyboy” 输出&#xff1a; 6 解释&am…

[足式机器人]Part3 机构运动学与动力学分析与建模 Ch00-1 坐标系与概念基准

本文仅供学习使用&#xff0c;总结很多本现有讲述运动学或动力学书籍后的总结&#xff0c;从矢量的角度进行分析&#xff0c;方法比较传统&#xff0c;但更易理解&#xff0c;并且现有的看似抽象方法&#xff0c;两者本质上并无不同。 2024年底本人学位论文发表后方可摘抄 若有…

“华为杯“第十三届中国研究生数学建模竞赛-A题:关于跳台跳水体型系数设置的建模分析(续)

目录 5.4.1 问题分析与建模 5.4.2 计算与求解 5.5 结论 5.5.2 当空中存在两个动作时

双指针算法,python求解给定数组的三数之和问题

对于双指针算法&#xff0c;一般是用于解决对数组等数据结构进行遍历的问题的一种编程思路&#xff0c;其主要是使用两个指针共同配合工作&#xff0c;对数组等数据结构进行搜索并返回得到想要搜索的结果&#xff0c;针对给定问题&#xff0c;三数之和问题&#xff0c;这是一个…

Java集合框架深度解析:HashSet

Java集合框架是Java编程中不可或缺的一部分&#xff0c;提供了丰富的数据结构和算法&#xff0c;以支持各种场景下的数据存储和操作。在这个系列的深度解析中&#xff0c;我们将聚焦于其中之一的**HashSet**&#xff0c;深入了解它的实现原理、使用场景、可能遇到的问题以及并发…

Vue实现加减法验证码

引入Vue.js 在HTML文件的<head>标签中引入Vue.js的CDN链接&#xff1a; <script src"https://cdn.jsdelivr.net/npm/vue2.6.11/dist/vue.min.js"></script>创建Vue实例 接下来&#xff0c;我们要创建一个Vue实例&#xff0c;并将其挂载到HTML文…