贝叶斯统计——入门级笔记

绪论

1.1 引言

全概率公式

贝叶斯公式

三种信息

总体信息

当把样本视为随机变量时,它有概率分布,称为总体分布. 如果我们已经知道总体的分布形式这就给了我们一种信息,称为总体信息

样本信息

从总体中抽取的样本所提供的信息

先验信息

在抽样之前,有关统计推断问题中未知参数的一些信息 一股先验信息来自经验和历史资料。先验信息是存在的且可被人们利用

经典(古典)统计学 v.s. 贝叶斯统计学

样本信息+总体信息=抽样信息

基千总体信息和样本信息进行统计推断的理论和方法称为经典(古典)统计学(classical statistics)

基千上述3种信息进行统计推断的方法和理论称为贝叶斯统计学它与经典统计学的主要区别在于是否利用先验信息.在使用样本上也是存在差别的贝 叶斯方法重视巳出现的样本,对尚未发生的样本值不予考虑.

1.2 贝叶斯统计推断的若干基本概念

1.2.1 先验分布与后验分布

1.2.2 点估计问题
1.2.3 假设检验问题

1.2.4 区间估计问题

1.3 贝叶斯统计决策的若干基本概念

1.3.1 统计判决三要素

  • 样本空间和样本分布族
    •  样本分布族指的是用来描述观测数据的可能分布形式的一组概率分布。样本分布族可能包括多种常见的概率分布,比如正态分布、泊松分布、指数分布等,也可以是更为复杂的分布形式。在贝叶斯统计中,我们使用样本分布族来表示参数的不确定性,并通过先验概率分布来表达这种不确定性。在观测到数据后,我们通过贝叶斯更新的过程得到后验分布,从而更新了对参数的认知。
  • 行动空间

决策者对某个统计决策问题可能采取的行动所构成的非空集合,被称为行动空间(action space)或决策空间(decision space),记为D,常取D=\Theta

  • 损失函数

损失越小,决策函数越好损失。函数的类型很多,常用的有 “平方损失”“绝对值损失” 和 "线性损失” 等

1.3.2 风险函数和一致最优决策函数

风险函数是用来衡量决策的好坏程度的函数。在统计决策理论中,我们通常根据决策的结果和真实情况之间的差异来定义风险函数。常见的风险函数有均方误差、绝对误差等。它们可以帮助我们评估决策的风险和效果。

一致最优决策函数:一致最优决策函数是指在给定的风险函数下,能够最小化平均风险的决策函数。换句话说,一致最优决策函数是能够使整体风险最小化的决策规则。

1.3.3 贝叶斯期望损失和贝叶斯风险

贝叶斯期望损失是一种用于衡量决策的风险或损失程度的概念。贝叶斯期望损失通过考虑这些不确定性和损失,帮助我们评估不同决策的好坏。具体而言,贝叶斯期望损失是通过将损失函数与后验概率分布进行组合,计算出在给定的决策下,所期望的平均损失。贝叶斯期望损失的计算需要考虑到先验概率和损失函数。先验概率是我们对不同结果发生概率的主观或客观估计。损失函数定义了对不同结果的损失或代价。通过结合先验概率和损失函数,我们可以计算出在每种决策下的期望损失,然后我们可以根据这些期望损失进行决策选择。贝叶斯期望损失的目标是选择能够使期望损失最小化的决策,即选择具有最小风险或损失的决策。

贝叶斯风险是用于评估决策的整体风险。贝叶斯风险通过将不同决策的损失函数与先验概率加权结合起来,用来量化每个决策的期望风险。具体而言,贝叶斯风险可以通过对所有可能的决策下的期望损失进行求和或积分得到。这里的期望损失是通过将损失函数与后验概率分布进行组合,计算出在给定决策下的平均损失。贝叶斯风险是所有决策下的期望损失的加权平均,其中权重是根据先验概率分布计算的。通过比较不同决策的贝叶斯风险,我们可以确定风险最小的最优决策。通过考虑先验信息、不确定性和损失函数,贝叶斯风险能够提供一个综合的决策评估,帮助我们选择在整体风险最小的情况下做出的最佳决策。

风险函数的确与损失函数类似,但它们并不完全相同。

一个简单的例子来说明:

假设你是一个农场主,你需要决定在明天种植作物的数量。你可以选择种植的面积,这个面积将决定你的产量和收益。然而,天气是不确定的,可能会对作物产量产生影响。你想通过建立风险函数来评估不同种植面积的风险和预期收益。

在我们的例子中:

风险函数描述了在不同种植面积下预期收益与实际收益之间的差异的风险;

损失函数是用来衡量预期产量与实际产量之间的差异。

1.3.4 贝叶斯解

贝叶斯解(Bayes solution)指的是在统计决策理论中使用贝叶斯方法来解决判决问题的方法。贝叶斯解决方案通过考虑先验概率、似然函数和损失函数,利用贝叶斯定理来计算后验概率,从而为判定问题提供一个统计学上的最佳解决方案。具体来说,贝叶斯解决方案涉及以下几个步骤:

  1. 确定概率模型:首先需要建立一个包括先验概率和似然函数的概率模型,先验概率描述我们在观测到数据之前的主观信念,而似然函数则描述了观测到数据的发生概率。

  2. 观测数据:观测到实际数据后,我们需要使用贝叶斯定理来更新我们的先验信念,计算出后验概率,即在考虑到观测到的数据后对各种决策的可能性进行估计。

  3. 判决准则:基于后验概率以及所设定的损失函数,选择一个最优的判决准则,以最小化整体的期望损失。

1.4 一些基本统计方法及理论的简单回顾

1.4.1 充分统计量及因子分解定理

  • 充分统计量:对于一个统计模型中的参数,如果样本的条件分布在已知充分统计量的情况下不依赖于参数,则称该统计量是充分统计量。充分统计量包含了样本中关于参数的所有信息,使得我们可以只用充分统计量来做出关于参数的推断。
  • 因子分解定理:因子分解定理指出,对于一个充分统计量,似然函数可以被分解成两个函数的乘积:一个仅包含参数相关信息,另一个仅包含充分统计量相关信息。这个定理提供了一种简化推断的方法,将参数的估计与充分统计量联系起来。

1.4.2 一致最小方差无偏估计与C-R不等式

  • 一致最小方差无偏估计:指在估计某个参数时,既要估计准确(无偏),又要保证估计的方差尽可能小(最小方差)。如果一个估计量在样本量逐渐增加的情况下,趋向于估计准确的参数值且其方差趋近于零,那么这个估计被称为一致最小方差无偏估计。
  • C-R不等式:Cramér-Rao不等式是一个标准的统计理论结论,它指出对于任何无偏估计,估计量的方差下界由信息矩阵的逆矩阵和费舍尔信息不等式给出。这个不等式告诉我们,即使估计量是无偏的,其方差也受到一定的下界限制,我们不能通过简单的方法无限制地减小方差。

1.4.3 似然比检验方法

似然比检验是一种经典的假设检验方法,它使用似然函数的比值来比较两个假设的相对支持程度。

更多内容

贝叶斯统计-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_52505631/article/details/136198570

贝叶斯统计——2. 先验分布的选取-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_52505631/article/details/136199285?spm=1001.2014.3001.5501

贝叶斯统计——3. 常用统计模型参数的后验分布-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_52505631/article/details/136200182?spm=1001.2014.3001.5501

贝叶斯统计——4. 贝叶斯统计推断-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_52505631/article/details/136200809?spm=1001.2014.3001.5501

贝叶斯统计——5. 贝叶斯统计决策-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_52505631/article/details/136207470?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22136207470%22%2C%22source%22%3A%22weixin_52505631%22%7D 贝叶斯统计——6. 贝叶斯统计计算方法-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_52505631/article/details/136207793?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22136207793%22%2C%22source%22%3A%22weixin_52505631%22%7D

参考文献

贝叶斯统计,韦来生著,国家十二五重点出版教程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/694920.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【PX4学习笔记】13.飞行安全与炸机处理

目录 文章目录 目录使用QGC地面站的安全设置、安全绳安全参数在具体参数中的体现安全绳 无人机炸机处理A:无人机异常时控操作B:无人机炸机现场处理C:无人机炸机后期维护和数据处理D:无人机再次正常飞行测试 无人机飞行法律宣传 使…

22. 【Linux教程】Linux 结束进程

前面小节介绍了如何启动一个程序进程,还介绍了如何查看系统进程信息,本小节来介绍如何通过 kill 命令结束进程。 1. Linux 进程信号介绍 下面列举出 Linux 进程信号的描述: 信号名称描述1HUP挂起2INT中断3QUIT结束运行9KILL无条件终止11SEG…

STM32CubeIDE开发(二), 全面解析cubeMX图形配置工具

STM32CubeIDE开发(二), 全面解析cubeMX图形配置工具 已于 2023-03-15 10:31:13 修改1374 收藏 29 分类专栏: ​编辑STM32CubeIDE开发实践案例专栏收录该内容 36 篇文章43 订阅 订阅专栏 目录 一、cubeIDE 集成cubeMX 二、STM32CubeMX…

Python format函数

在Python编程中,format()函数是一个非常重要且常用的字符串格式化方法,用于将各种数据类型插入到字符串中,并指定其格式。这个函数可以动态地生成各种格式的字符串,包括文本、数字、日期等。本文将深入探讨Python中的format()函数…

【Vuforia+Unity】AR04-地面、桌面平面识别功能

不论你是否曾有过相关经验,只要跟随本文的步骤,你就可以成功地创建你自己的AR应用。 官方教程Ground Plane in Unity | Vuforia Library 这个功能很棒,但是要求也很不友好,只能支持部分移动设备,具体清单如下&#xf…

微服务开发工具及环境搭建

后端 安装jdk a. 官网下载b. 安装c. 配置环境变量参考: 博客 安装IDEA a. 官网下载社区版(免费) IntelliJ IDEA Community b. 安装 下载链接 前端 安装node 及 npm 下载链接 安装vscode 下载链接 安装Hbuilderx 下载链接 虚拟机环境 …

猜拳游戏(java)

猜拳游戏 import java.util.Random; import java.util.Scanner; /* 请编写一个猜拳游戏 有个人 Tom ,设计他的成员变量,成员方法,可以让电脑猜拳 电脑每次都会随机生产0,1,2 0表示石头 1表示剪刀 2表示布 并要可以显示…

samber/lo 库的使用方法: condition

samber/lo 库的使用方法: condition samber/lo 是一个 Go 语言库,使用泛型实现了一些常用的操作函数,如 Filter、Map 和 FilterMap。汇总目录页面 这个库函数太多,因此我决定按照功能分别介绍,本文介绍的是 samber/l…

Socket通信---Python发送数据给C++程序

0. Problems 很多时候实现某种功能,需要在不同进程间发送数据,目前有几种主流的方法,如 让python和C/C程序互相发送数据,其实有几种方法: 共享内存共享文件Socket通信 在这里只提供Socket通信的例程,共享…

面试复盘——10——一面全答了,二面全挂了...

前言 跨越了两年的一场面试hhhh,一面答的很不错,但可惜二面,基本一个没说上来…很离谱。 一面(23.12.29) 妈的,一面录音没录上。。。不管他了 二面(24.1.2) 为什么想从(当前实习的地方)离职 实习项目…

挑战30天学完Python:Day16 日期时间

📘 Day 16 🎉 本系列为Python基础学习,原稿来源于 30-Days-Of-Python 英文项目,大奇主要是对其本地化翻译、逐条验证和补充,想通过30天完成正儿八经的系统化实践。此系列适合零基础同学,或仅了解Python一点…

shell脚本用法小记

shell脚本用法小记 1. 参数含义1.1 参数"-z"的含义 2. 语法小记if语法 1. 参数含义 1.1 参数"-z"的含义 在shell 脚本中, -z 是一个选项,用于判断字符串是否为空。 if [ -z $2 ]; thenros2 run workspace_name node_name --ros-a…

奇异递归模板模式应用5-静态多态

动态多态:C动态多态是利用虚函数特性实现的,即基类指针(引用)指向派生类指针(引用)。由于虚函数的实现是在运行期进行的,因而会产生运行期开销(虚表指针偏移,与分支预测器和CPU指令流水线相关)。…

AI推介-大语言模型LLMs论文速览(arXiv方向):2024.02.10-2024.02.15

2024.02.10–2024.02.15: arXiv中发表的关于大语言模型(LLMs)相关的文章,已经筛选过一部分,可能有的文章质量并不是很好,但是可以看出目前LLM的科研大方向! 后续我会从中选择出比较有意思的文章…

【关于深度学习的一些资料】

曾梦想执剑走天涯,我是程序猿【AK】 目录 动手学深度学习Awesome Deep LearningTensorFlow Official ModelsPyTorch Image ModelsDeep Reinforcement LearningNeural Style Transfer 动手学深度学习 动手学深度学习 https://zh.d2l.ai/chapter_installation/index.…

Java Web(七)__Tomcat(二)

Tomcat工作模式 Tomcat作为Servlet容器,有以下三种工作模式。 1)独立的Servlet容器,由Java虚拟机进程来运行 Tomcat作为独立的Web服务器来单独运行,Servlet容器组件作为Web服务器中的一部分而存在。这是Tomcat的默认工作模式。…

Java开发中计算金额时使用什么数据类型?(企业真题)

Java开发中计算金额时使用什么数据类型? 不能使用float或double,因为精度不高。不容许舍入误差 使用BigDecimal类替换,可以实现任意精度的数据的运算。

Java Web(七)__Tomcat(一)

JavaWeb 服务器 介绍 为什么需要? Web服务器是一个应用程序(软件),对HTTP协议的操作进行封装,使得程序员不必直接对协议进行操作,让Web开发更加便捷。主要功能是"提供网上信息浏览服务"。Web服…

Web安全之浅见

备注:这是我在2017年在自己的网站上写的文章,今天迁移过来。 昨天去参加了公司组织的一个关于网络安全的培训,了解了很多关于网络安全方面的知识,也才意识到网络安全是一项极其重要的领域。 本篇文章主要聊聊Web安全。不过我对于网…

【 OpenGL 教程06 】 关于着色器(01)

一、说明 着色器是目前做3D图形最流行的方式。而对应的OpenGL操作晦涩难懂,本篇试图参照一些相关解释文档,以及一个代码案例进行分解说明。 二、OpenGL的渲染管线流程 数据传输到显示环节的数据流程。 OpenGL—>顶点处理器—>细分着色—>几何处…