贝叶斯公式中的先验概率、后验概率、似然概率

在这里插入图片描述

欢迎关注博主 Mindtechnist 或加入【智能科技社区】一起学习和分享Linux、C、C++、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和技术。关注公粽号 《机器和智能》 回复关键词 “python项目实战” 即可获取美哆商城视频资源!


博主介绍:
CSDN博客专家,CSDN优质创作者,CSDN实力新星,CSDN内容合伙人;
阿里云社区专家博主;
华为云社区云享专家;
51CTO社区入驻博主,掘金社区入驻博主,支付宝社区入驻博主,博客园博主。


贝叶斯公式中的先验概率、后验概率、似然概率

    • 贝叶斯公式(bayes)
    • 先验概率(prior probability)
    • 后验概率(posterior probability)
    • 似然概率(likelihood)


专栏:《贝叶斯估计》


贝叶斯公式(bayes)

首先给出贝叶斯(bayes)公式

在这里插入图片描述

贝叶斯公式为利用搜集到的信息对原有判断进行修正提供了有效手段。

贝叶斯推断的过程通常是这样的:首先,我们有一个未知随机变量的先验分布。然后,我们需要确定观测数据的分布模型,这是一个基于随机变量的条件概率。一旦我们观察到了数据的一个特定值之后,我们就可以开始运用贝叶斯法则去计算随机变量的后验分布。如果是连续型的随机变量,就把上面的概率质量函数替换成概率密度函数就可以了。

贝叶斯方法的核心就是通过先验知识不断更新后验概率密度来分析参数的可能性分布。如果继续进行实验,之前的后验概率密度就变成了先验知识,这样最终就会越来越接近参数的真实分布。需要注意的是,一般来讲如果当前的样本量比先验知识的样本量大很多,那么先验知识就可以忽略不计。另外还有一种先验知识并不是基于早期试验,而是专家意见,这种情况下也可以将其转换为先验概率密度。

先验概率(prior probability)

先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为“由因求果”问题中的“因”出现的概率。在贝叶斯统计中,某一不确定量p的先验概率分布是在考虑“观测数据”前,能表达p不确定性的概率分布。它旨在描述这个不确定量的不确定程度,而不是这个不确定量的随机性。这个不确定量可以是一个参数,或者是一个隐含变量(latent variable)。

也就是说,先验概率是不依靠观测数据的概率分布,也就是与其他因素独立的分布。或者说,先验概率是先于某个事件发生就知道的概率,可以简单理解为经验丰富的专家所进行的纯主观估计(猜测)。以在黑盒中取球为例,假设盒中有9个白球,1个黑球,随机取一个球,拿到的白球的概率是 P(白)=0.9,拿到黑球的概率是 P(黑)0.1,这就是先验概率。

另外,如果利用过去历史资料计算得到的先验概率,称为客观先验概率;如果历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。 先验概率是通过古典概率模型来定义的,所以也叫做古典概率。古典概率模型要求满足两个条件:试验的所有可能结果是有限的;每一种可能结果出现的可能性(概率)相等。

后验概率(posterior probability)

后验概率(posterior probability)是指在得到“结果”的信息后重新修正的概率,是“执果寻因”问题中的"果"。在贝叶斯统计中,一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。同样,后验概率分布是一个未知量(视为随机变量)基于试验和调查后得到的概率分布。“后验”在本文中代表考虑了被测试事件的相关证据。

也就是说,后验概率是根据贝叶斯(bayes)定理,用先验概率和概率密度函数计算出来的。即”先验概率+观测=后验概率“,通过观测对先验概率更新后即为后验概率。同样以前面提到的黑盒取球为例,后验概率就是在我们已经拿出一个球,以随机变量 x 表示,此时,该球是白球的概率 P(黑|x)就是后验概率。同理,P(黑|观测)和P(白|观测)都是后验概率。

从上面可以看出, 先验概率与后验概率有不可分割的联系,后验概率的计算要以先验概率为基础。事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率。

总结来说,后验概率是在已知”果“的前提下,得到重新修正后的”因“的概率,后验概率也叫做条件概率,可以通过贝叶斯公式来求解。

这里要额外介绍一下最大后验概率(Maximum a posteriori estimation, MAP),最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计(Maximum likelihood estimation, MLE)类似,但是最大的不同时,最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。

似然概率(likelihood)

在统计学中,似然函数(likelihood function)是一种关于统计模型参数的函数,也称作似然。给定输出 x 时,关于参数 θ 的似然函数 L(θ|x)(在数值上)等于给定参数 θ 后变量 X 的概率: L(θ|x)=P(X=x|θ) 。在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性(likelihood)。

似然函数在统计推测中发挥重要的作用,因为它是关于统计参数的函数,所以可以用来评估一组统计的参数,也就是说在一组统计方案的参数中,可以用似然函数做筛选。

似然概率其实很好理解,就是说我们现在有一堆数据,现在需要构建一组参数对这些数据建模,以使得模型能够尽可能地拟合这些数据。所以我们要做的就是从很多组参数中选出一组使得模型对数据的拟合程度最高,所以也常常说最大似然概率。

注意“似然”与“概率”意思相近,都是指某种事件发生的可能性,在非正式的语境下,“似然”会和“概率”混着用。但是严格区分的话,在统计上,二者是不同的。不同就在于,观察值 x 与参数 θ 的不同的角色。概率是用于描述一个函数,这个函数是在给定参数值的情况下的关于观察值的函数。而似然是用于在给定一个观察值时,关于用于描述参数的情况。在统计学中,“似然”和“概率”有着明确的区分:“概率”描述了给定模型参数后,描述结果的合理性,而不涉及任何观察到的数据;“似然”描述了给定了特定观测值后,描述模型参数是否合理。比如说抛掷硬币,我们抛掷一枚”均匀“的硬币,总共抛10,有五次为正面的可能性就是概率;如果已经抛了10次,其中5次为正面,那么这枚硬币”均匀“的可能性就是似然。

这里不得不提一下统计学中的两大学派了

频率派:频率派认为样本信息来自总体,通过对样本信息的研究可以合理地推断和估计总体信息。频率派的核心思想是基于大样本理论,将概率看作频率的极限,以样本观测值的频率为基础进行推断。频率派注重数据的重复抽样和统计量的性质,比如点估计、置信区间和假设检验等。频率派认为参数是客观存在的,不会改变,虽然未知,但却是固定值。最典型的便是极大似然估计(MLE)。

贝叶斯派:贝叶斯派认为任何一个未知量都可以看作是随机的,应该用一个概率分布去描述未知参数,而不是频率派认为的固定值。贝叶斯派的核心思想是先验信息与后验信息相结合,通过贝叶斯公式将先验信息与样本数据进行结合,得到后验分布,并以此作为对未知参数的推断。贝叶斯派强调主观先验信息的引入,因此不同人可能会有不同的先验分布,从而导致不同的推断结果。贝叶斯派注重个体的主观判断和背景信息,更加灵活和主观。最典型的便是最大后验估计(MAP)。


在这里插入图片描述
在这里插入图片描述


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/817718.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Unity - ScrollView被内部的IDragHandler等接口对象阻挡滑动问题

原因&#xff1a;滑动冲突&#xff0c;内部的Image会阻挡Input 解决办法&#xff1a; 在内部的onDrag、onBeginDrag、onEndDrag内主动调用 GameObject.Find("Scroll View").GetComponent<ScrollRect>().OnBeginDrag(eventData); GameObject.Find("Scr…

Jackson 2.x 系列【24】Spring Web 集成之 Jackson2ObjectMapperBuilder

有道无术&#xff0c;术尚可求&#xff0c;有术无道&#xff0c;止于术。 本系列Jackson 版本 2.17.0 源码地址&#xff1a;https://gitee.com/pearl-organization/study-jaskson-demo 文章目录 1. 前言2. Spring Web3. Jackson2ObjectMapperBuilder3.1 成员属性3.2 静态方法3…

实现名校愿望|在站博士后赴英国剑桥大学做访问学者

国内博士后若再有国外名校背景加持&#xff0c;将会提升日后高校就职的准入门槛分量。为此&#xff0c;我们为Y博士申请到世界顶尖名校-英国剑桥大学的邀请函&#xff0c;在斩获学术成果的同时&#xff0c;也为出站后进入国内高校就职积累更丰富的背景。 Y博士背景&#xff1a;…

如何在CentOS本地部署FastDFS文件系统并实现无公网IP远程上传下载内网文件

文章目录 前言1. 本地搭建FastDFS文件系统1.1 环境安装1.2 安装libfastcommon1.3 安装FastDFS1.4 配置Tracker1.5 配置Storage1.6 测试上传下载1.7 与Nginx整合1.8 安装Nginx1.9 配置Nginx 2. 局域网测试访问FastDFS3. 安装cpolar内网穿透4. 配置公网访问地址5. 固定公网地址5.…

在一台恢复测试机器上验证oracle备份有效性

一 目的 定期将生产环境oracle数据库恢复到一台测试环境数据库服务器上&#xff0c;以验证备份是否有效&#xff0c;是否能正常恢复。 二 环境 这里以恢复orcl1库为例&#xff0c;计划在orcl这个实例上进行恢复测试。 三 实验步骤 3.1 在目标端创建和源端一样的备份目录 ①…

Pygame经典游戏:贪吃蛇

------------★Pygame系列教程★------------ Pygame经典游戏&#xff1a;贪吃蛇 Pygame教程01&#xff1a;初识pygame游戏模块 Pygame教程02&#xff1a;图片的加载缩放旋转显示操作 Pygame教程03&#xff1a;文本显示字体加载transform方法 Pygame教程04&#xff1a;dra…

「 网络安全常用术语解读 」软件成分分析SCA详解:从发展背景到技术原理再到业界常用检测工具推荐

软件成分分析&#xff08;Software Composition Analysis&#xff0c;SCA&#xff09;是一种用于识别和分析软件内部组件及其关系的技术&#xff0c;旨在帮助开发人员更好地了解和管理其软件的构建过程&#xff0c;同时可帮助安全人员揭秘软件内部结构的神秘面纱。SCA技术的发展…

大厂基础面试题(之四)

Q1&#xff1a;请先进行自我介绍 Q2&#xff1a;说下你学习前端的详细过程 Q3&#xff1a;一个页面从url输入到显示页面的整个过程 1.URL解析 2.DNS解析 3.建立TCP连接 4.发起HTTP请求 5.服务器处理请求 6.返回HTTP响应 7.下载页面资源 8.解析和渲染页面 9.JavaScript执行 10…

罗芬COHERENT pmb激光电源维修HPC830

Rofin激光电源 PMB高压电源维修:HPC625,HPC520,HPC210,HPC840,HPC830,HPC810,HPC818,HPC818 HPC814 HPC910等型号。 大型设备往往都配有功能较为故障诊断程序&#xff0c;我们可以充分利用软件的提示&#xff0c;缩小故障排查范围&#xff0c;但有时诊断软件提示的受损元件是否…

微信小程序实现全局参数共享,且实现全局参数变化时的页面间通信

首先&#xff0c;微信小程序中并没有提供直接的全局事件系统来监听全局参数的变化。因此&#xff0c;我们需要采用其他方式来达到这一目的。一种常见的方法是使用全局变量和事件监听来模拟全局事件系统。 1. 定义全局变量和事件 在 app.js 中定义全局变量&#xff0c;并提供一…

[ostream_iterator]输出Fibonacci数列

描述 Fibonacci数列指的是数列第一项和第二项为1&#xff0c;之后每一项是之前两项的和所构成的数列。 现有多组数据&#xff0c;每组数据给出一个数字n&#xff0c;请你输出Fibonacci数列的前n-1项。 #include <iostream> #include <iterator> using namespace …

UE5 GAS开发P32,33 初始化状态并绑定在HUD上,拾取物品增加血量和减少蓝量

这节课主要是修改WidgetController和OverlayController,在EffectActor内新增了一个减少蓝量的代码,同时修复了一个bug,并且展示了为什么要写成单独的控制器,因为要考虑多人游戏的情况,每一个控制器都是一个单独的角色 首先修改AuraAttirbuteSet.cpp UAuraAttributeSet::UAura…

【C++】unordered_map unordered_set 底层刨析

文章目录 1. 哈希表的改造2. unordered_map3. unordered_set C STL 库中&#xff0c;unordered_map 和 unordered_set 容器的底层为哈希表&#xff0c;本文将简单模拟哈希表&#xff08;哈希桶&#xff09;&#xff0c;unordered_map 和 unordered_set 只需封装哈希表的接口即可…

C语言中static变量和普通变量有什么区别?

下面将从变量的存储周期和可见性&#xff0c;以及函数的链接属性等方面展开 1. static全局变量和普通全局变量有什么区别? static全局变量和普通全局变量都存储在静态存储区, 生命周期都是整个文件运行结束 但是, 普通全局变量在所有源文件中都是可见的, 如果一个源文件中定…

kylin Firefox Warning: Potential Security Risk Ahead

Warning: Potential Security Risk Ahead &#xfeff; Firefox detected a potential security threat and did not continue to 127.0.0.1. If you visit this site, attackers could try to steal information like your passwords, emails, or credit card details. 警告&…

java实现简单图书管理系统(附带源码)

项目要求 该项目会用到类和对象&#xff0c;封装、继承、多态、接口、等&#xff0c;会帮你巩固并加强这类知识 设计要求及思路 1.要求有两套系统分别给管理员和普通用户使用&#xff0c;经过开始的选择会有两个对应功能不同的菜单&#xff0c;这里两种角色我们可以放一个包…

华为ensp中nat地址转换(静态nat 动态nat NAPT 和Easy IP)配置命令

作者主页&#xff1a;点击&#xff01; ENSP专栏&#xff1a;点击&#xff01; 创作时间&#xff1a;2024年4月15日12点03分 实验拓扑 接下来我会分几个方面初步将静态nat和napt easy ip 首先基本的环境配置 AR1的基本配置 //基本的IP配置和默认路由指向外网 <Huawei&…

神仙级Python入门教程(超级详细),从零基础入门到精通,从看这篇开始

一、初聊Python 1.为什么要学习Python&#xff1f; 在学习Python之前&#xff0c;你不要担心自己没基础或“脑子笨”&#xff0c;我始终认为&#xff0c;只要你想学并为之努力&#xff0c;就能学好&#xff0c;就能用Python去做很多事情。在这个喧嚣的时代&#xff0c;很多技…

linux 数据链路层 socket编程 广播

在Linux系统中&#xff0c;要进行数据链路层的socket编程&#xff0c;并发送广播包&#xff0c;你可以使用原始套接字&#xff08;raw socket&#xff09;&#xff0c;并将IP头设置为广播地址。以下是一个简单的例子&#xff0c;展示如何使用原始套接字在数据链路层发送广播包&…

分布式锁介绍

引言 分布式锁是一种用于协调不同进程或线程对共享资源的访问控制的机制。在分布式系统中&#xff0c;由于多个节点可能同时访问或修改同一资源&#xff0c;因此需要一个中心化的协调机制来确保资源的访问是有序的&#xff0c;避免数据不一致的问题。 分布式锁的特性&#xf…