关于大数定律的讨论(转)

科普一下所谓“大数定律的四种证法”

作者 :  王若度

最近网上总是调侃数学、统计博士知道所谓“大数定律的四种证法”,本身是模仿《孔乙己》的桥段,用以调侃数学、统计博士学一些没什么用的东西。其实我是从来没听说过大数定律的四种证法这回事的,我相信大多数同学也都没有听说过。因此这件事引起了我的兴趣,也顺便为“大数定律”正个名。(顺便说一下,百度百科的大数定律页面逊毙了,今天(2012/11/25)我去看,历史介绍里竟然介绍的是中心极限定理的发展过程。)

 

对于一般人来说,大数定律的非严格表述是这样的:X_1,...,X_n是独立同分布随机变量序列,均值为u,S_n=X_1+...+X_n,则S_n/n收敛到u. 

 

如果说“弱大数定律”,上述收敛是指依概率收敛(in probability),如果说“强大数定律”,上述收敛是指几乎必然收敛(almost surely/with probability one)。

 

大数定律通俗一点来讲,就是样本数量很大的时候,样本均值和真实均值充分接近。这一结论与中心极限定理一起,成为现代概率论、统计学、理论科学和社会科学的基石之一,重要性在本人看来甚至不弱于微积分。(有趣的是,虽然大数定律的表述和证明都依赖现代数学知识,但其结论最早出现在微积分出现之前。而且在生活中,即使没有微积分的知识也可以应用。例如,没有学过微积分的学生也可以轻松利用excel或计算器计算样本均值等统计量,从而应用于社会科学。)

 

最早的大数定律的表述可以追朔到公元1500年左右的意大利数学家Cardano。1713年,著名数学家James (Jacob) Bernouli正式提出并证明了最初的大数定律。不过当时现代概率论还没有建立起来,测度论、实分析的工具还没有出现,因此当时的大数定律是以“独立事件的概率”作为对象的。后来,历代数学家如Poisson(“大数定律”的名字来自于他)、Chebyshev、Markov、Khinchin(“强大数定律”的名字来自于他)、Borel、Cantelli等都对大数定律的发展做出了贡献。直到1930年,现代概率论奠基人、数学大师Kolgomorov才真正证明了最后的强大数定律。

 

下面均假设X, X_1,...,X_n是独立同分布随机变量序列,均值为u。独立同分布随机变量和的大数定律常有的表现形式有以下几种。

 

初等概率论

(1). 带方差的弱大数定律:若E(X^2)小于无穷,则S_n/n-u依概率收敛到0。

证明方法:Chebyshev不等式即可得到。这个证明是Chebyshev给出的。

(2). 带均值的弱大数定律:若u存在,则S_n/n-u依概率收敛到0。

证明方法:用Taylor展开特征函数,证明其收敛到常数,得到依分布收敛,然后再用依分布收敛到常数等价于依概率收敛。

 

现代概率论

(3). 精确弱大数定律:若xP(|X|>x) 当x趋于无穷时收敛到0,则S_n/n-u_n依概率收敛到0,其中u_n=E[X 1_{|X|<n}]. (在这个定理里,不需要u存在。)

证明方法:需要用到截断随机变量 X 1_{|X|<n}. 然后要用的三角阵列的依概率收敛定理和Fubini定理分析积分变换。

(4). 带4阶矩的强大数定律:若E(X^4)小于无穷,则S_n/n-u几乎必然收敛到0.

证明方法:与(1)类似,先用Chebyshev不等式。然后因为4阶矩的存在,得到P(S_n>nt)对任意常数t的收敛速度足够快,满足Borel-Cantelli的要求,用Borel-Cantelli引理得到大数定律。

(5). 带方差的强大数定律:若E(X^2)小于无穷,则S_n/n-u几乎必然收敛到0.

证明方法:用Kolgoromov三级数定理和Kronecker引理。

(6). 精确强大数定律:若u存在,则S_n/n-u几乎必然收敛到0.

证明方法:这个大数定律的证明确实有几种不同的方法。最早的证明是由数学大师Kolgoromov给出的。现在Durrett (2010)的书上用的是Etemadi (1981)的方法,需要截断X,用到现代概率论的知识如Borel-Cantelli引理、Kolgomorov三级数定理、Fubini定理等。(感谢读者指出,Durrett的书在倒向鞅一章中给出了大数定律的倒向鞅方法证明,只需要用到倒向鞅的知识和Hewitt-Savage 0-1律,不过这也是现代概率论的知识。)

 

此外,还有很多不同的大数定律,不同分布的,不独立的序列等。定律也不一定是关于随机变量的,也可以是关于随机函数的,甚至随机集合的等等。以数学家命名的也有Khinchin大数定律(不独立序列的强大数定律)、Chebyshev大数定律(弱大数定律(1))、Poisson大数定律(不同概率的随机事件序列的大数定律)、Bernoulli大数定律(随机事件的大数定律)、Kolgomorov大数定律(强大数定律(6))等等……

 

以上(1-6)是常见的独立同分布序列的大数定律。其中,(3)和(6)是最严格也是最精妙的结果,证明所涉及的高等概率论知识也最多。它们成立的条件不仅是充分条件,也是必要条件,因此它们算是完结了大数定律的发展。大数定律的发展符合数学的一般规律:想证明某一结论,条件越弱(弱大数定律:2阶矩条件->1阶矩条件->没矩条件;强大数定律:4阶矩条件->2阶矩条件->1阶矩条件),证明也就变得越难。

 

虽然只有(3)和(6)是最精确的结果,但是必须认识到,数学的发展是一个循序渐进的过程,如果没有前面那些更强条件下的定理,也无法得到最后的大数定律。从最开始的自然界观察到大数定律的存在,到最后证明最终形式,历时数百年,现代概率论也在这个过程中建立起来。此外,虽然(3)和(6)比前面的(1)和(5)强很多,但是(1)和(5)的条件仅仅是2阶矩(或方差)的存在,因此他们在几百年间早就被广泛使用,对于一般的社会科学问题、统计问题等已经足足够用了。

 

总之,大数定律包含概率论里核心的知识。“大数定律的四种证法”尽管表述模糊,原意也充满调侃,但并不是真如《孔乙己》里"回字四种写法"所暗示的那样迂腐或毫无价值。作为概率或统计专业的研究生,弄懂这些定理表述的区别和证明方法的区别和联系,了解前代数学家的工作,对于深刻理解现代概率论是很有好处的。当然,任何人也不应去死记硬背这些证法(我自己也记不住这些证法),只要能理解、弄清其中微妙即可。

转载于:https://www.cnblogs.com/gongdiwudu/p/6137887.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/253859.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DM365 u-boot 启动分析

第一阶段&#xff1a;汇编语言启动 先看u-boot/board/davinci/dm365_ipnc/下的文件。 u-boot.lds OUTPUT_FORMAT("elf32-littlearm", "elf32-littlearm", "elf32-littlearm") OUTPUT_ARCH(arm) ENTRY(_start) SECTIONS { . 0x0000000…

[Luogu1821][USACO07FEB]银牛派对Silver Cow Party

由题意可知&#xff0c;我们需要求的是很多个点到同一个店的最短距离&#xff0c;然后再求同一个点到很多个点的最短距离。 对于后者我们很好解决&#xff0c;就是很经典的单源最短路径&#xff0c;跑一边dijkstra或者SPFA即可。 然而对于前者&#xff0c;我们应该怎么解决呢&a…

CMOS组合逻辑

1. 静态互补CMOS 实际上就是静态CMOS反相器扩展为具有多个输入。更反相器一样具有良好的稳定性&#xff0c;性能和功耗。 静态的概念&#xff1a;每一时刻每个门的输出通过低阻抗路径连到VDD或VSS上。任何时候输出即为布尔函数值。动态电路通常依赖把信号暂存在高阻抗节点的电…

绘制泰森多边形

使用到的数据文件&#xff0c;内容如图&#xff1a; 代码&#xff1a; clc; clear; close all; % 导入需要的坐标数据成矩阵 a load(test.txt); x a(:,1); y a(:,2); x x;%获取坐标的横坐标 y y;%获取坐标的纵坐标 %根据点 绘制泰森多边形 voronoi(x,y); %设定x轴的边界 x…

(八)限定某个目录禁止解析php、限制user_agent和PHP相关配置

2019独角兽企业重金招聘Python工程师标准>>> 限定某个目录禁止解析php 对于使用php语言编写的网站&#xff0c;有一些目录是有需求上传文件的。如果网站代码有漏洞&#xff0c;让黑客上传了一个用PHP写的木马&#xff0c;由于网站可以执行PHP程序&#xff0c;最终会…

静态时序分析——多周期、半周期和伪路径

一、多周期 multicycle paths 在一些情况下&#xff0c;如下图所示&#xff0c;两个寄存器之间的组合电路传输的逻辑延时超过一个时钟周期。在这样的情况下&#xff0c;这个组合路径被定义为多周期路径&#xff08;multicycle path&#xff09;。尽管后一个寄存器会在每一个的…

微信头像单张图片上传

后台配置 public function upload_img($img){import(ORG.Tencent.Weixin);$wx new Weixin(get_app_config());$media_data$wx->getMedia($img);$path./Uploads/.uniqid()..jpg;if(!file_put_contents($path,$media_data)){$this->error(图片上传失败);}return $path;}前…

u-boot nand flash read/write cmd

支援的命令函數說明1. nand info/nand device功能&#xff1a;顯示當前nand flash晶片資訊。函數調用關係如下(按先後順序)&#xff1a;static void nand_print(struct nand_chip *nand) ;2. nand erase 功能&#xff1a;擦除指定塊上的數據。 函數調用關係如下(按先後順序)&am…

APP测试瞎话

APP测试 一、功能性 1、APP的安装、卸载 2、APP中业务功能 二、性能测试 1、高、中、低端机上运行效果 2、APP安装过程、卸载过程的耗时 3、APP运行时&#xff0c;手机的CPU、内存、耗电量、流量、FPS&#xff08;画面每…

网络七层协议之物理层

我们以一个非常简单的例子开始&#xff1a; 两服务器通讯问题 如上图&#xff0c;有两台服务器&#xff0c;分别是 Server 1 和 Server 2 。 我们先做一个假设&#xff1a;计算机网络现在还没有被发明出来&#xff0c; 作为计算机科学家的你&#xff0c;想在这两台服务器间传递…

静态时序分析——On-chip Variation

OCV&#xff08;on-chip variation&#xff09;是指在同一个芯片上, 由于制造工艺和环境等原因导致芯片上各部分特征不能完全一样&#xff0c;从而造成偏差&#xff0c;对时序分析造成影响。这些偏差对互联线和cell的延时都是有影响的。 由于OCV对延时有影响&#xff0c;那么我…

Exception和RuntimeException的区别

1.Exception表示程序运行过程中可能出现的非正常状态 RuntimeException表示虚拟机的通常操作中可能遇到的异常&#xff0c;是一种常见运行错误。 Java编译器要求方法必须声明抛出可能发生的费运行异常&#xff0c;但是并不要求必须声明抛出未被捕获的运行时异常&#xff0c; 即…

[转载]IIS7报500.23错误的解决方法

原文出处&#xff1a; 原文作者&#xff1a;pizibaidu 原文链接&#xff1a;http://pizibaidu.blog.51cto.com/1361909/1794446 背景&#xff1a;今天公司终端上有一个功能打开异常&#xff0c;报500错误&#xff0c;我用Fiddler找到链接&#xff0c;然后在IE里打开&#xff0c…

关于用户空间和内核空间

当一个任务&#xff08;进程&#xff09;执行系统调用而陷入内核代码中执行时&#xff0c;我们就称进程处于内核运行态&#xff08;内核态&#xff09;。在内核态下&#xff0c;CPU可执行任何指令。当进程在执行用户自己的代码时&#xff0c;则称其处于用户运行态&#xff08;用…

kaggle中zillow比赛中模型融合的方法及其代码

在机器学习这个领域&#xff0c;尤其是做多媒体&#xff08;声音、图像、视频&#xff09;相关的机器学习方法研究&#xff0c;会涉及很多特征、分类模型&#xff08;分类任务&#xff09;的选择。以声音识别为例&#xff0c;常见的特征有MFCC、LPCC、spectrogram-like feature…

静态时序分析——Timing borrow

Timing Borrow技术又称为cycle stealing技术&#xff0c;主要是利用latch的电平敏感特性&#xff0c;通过有效电平获取数据&#xff0c;通过无效电平保持被锁存的数据&#xff0c;主要用于解决路径时序不满足电路要求的情况。 通过TimingBorrow可以对电路进行加速,当路径延迟较…

homebrew 常用命令

安装&#xff08;需要 Ruby&#xff09;&#xff1a;ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/Go/install)" 搜索&#xff1a;brew search MySQL 查询&#xff1a;brew info mysql 主要看具体的信息&#xff0c;比如目前的版本&#xff0c…

从Mysql某一表中随机读取n条数据的SQL查询语句

若要在i ≤ R ≤ j 这个范围得到一个随机整数R &#xff0c;需要用到表达式 FLOOR(i RAND() * (j – i 1))。例如&#xff0c; 若要在7 到 12 的范围&#xff08;包括7和12&#xff09;内得到一个随机整数, 可使用以下语句&#xff1a; SELECT FLOOR(7 (RAND() * 6)); 以上摘…

基于MTD的NAND驱动开发(二)

基于MTD的NAND驱动开发(二) 基于MTD的NAND驱动开发(三) http://blog.csdn.net/leibniz_zsu/article/details/4977853 http://blog.csdn.net/leibniz_zsu/article/details/4977869 四、基于MTD的NAND 驱动架构 1 、platform_device 和platform_driver 的定义和注册 对于我们的…

静态时序分析——Data to data check

setup和hold的检查也有可能发生在任意两个数据端口&#xff0c;其中不包括时钟端口。 我们将其中一个端口&#xff08;pin&#xff09;设置为约束端口&#xff08;constrainted pin&#xff09;&#xff0c;就像触发器中的数据端口&#xff1b;将另一个一个端口&#xff08;pin…