系列文章目录

统计计算一|非线性方程的求解
统计计算二|EM算法（Expectation-Maximization Algorithm，期望最大化算法）
统计计算三|Cases for EM
统计计算四|蒙特卡罗方法（Monte Carlo Method）
统计计算五|MCMC（ Markov Chain Monte Carlo）

---

一、Bootstrap（自助法）

（一）基本思想

设 $X_1,X_2,...,X_n$ 为来自总体分布 $F(x;\theta )$ 的样本，对于感兴趣参数 $\theta$，通常可采用极大似然估计或者矩估计等估计方法得到 $\theta$ 的估计 $\hat{\theta }(X_1,X_2,...,X_n)$。但是一般情况下很难推导出$\hat{\theta }(X_1,X_2,...,X_n)$的分布，进而得到估计量的均值和方差。

• 如果 $F(x;\theta )$ 分布形式已知，可以通过蒙特卡洛方法模拟出与$\hat{\theta }(X_1,X_2,...,X_n)$同分布的样本，进而根据样本的信息估计$\hat{\theta }(X_1,X_2,...,X_n)$的分布以及分布特征。

蒙特卡洛步骤：

• 从总体分布$F(x;\theta )$中独立产生$n$个数据$X_{11},X_{12},...,X_{1n}$，得到的$\theta$的估计，记为$\widehat{{\theta }_1}=:{\hat{\theta }}_1(X_{11},X_{12},..,X_{1n})$
• 重复上述步骤$m$次，得到的估计分别为${\hat{\theta }}_1,{\hat{\theta }}_2,...,{\hat{\theta }}_m$
• 基于样本${\hat{\theta }}_1,{\hat{\theta }}_2,...,{\hat{\theta }}_m$推断${\hat{\theta }}_1(X_{11},X_{12},..,X_{1n})$的分布，$E(\hat{\theta })$和$Var(\hat{\theta })$可以分别用该样本的均值和方差估计，即$\hat{E}(\hat{\theta })=m^{-1}{\sum }_{i=1}^m{\hat{\theta }}_i$，$\widehat{Var}(\hat{\theta })=m^{-1}{\sum }_{i=1}^m({\hat{\theta }}_i-\hat{E}(\hat{\theta }){)}^2$

• 如果 $F(x;\theta )$ 分布形式未知，唯一的信息只有样本$X_1,X_2,...,X_n$。不能利用蒙特卡洛方法从总体$F(x;\theta )$中产生数据，进而不能近似$\hat{\theta }(X_1,X_2,...,X_n)$的分布及其相关特征。Bootstrap方法是利用样本分布$X_1,X_2,...X_n$代替总体分布，从分布$X_1,X_2,...,X_n$中有放回的产生数据，进而近似$\hat{\theta }(X_1,X_2,...,X_n)$的分布

Bootsrap方法的步骤：

• 从样本$X_1,X_2,...,X_n$中有放回的产生数据$X_{11}^{\ast },X_{12}^{\ast },...,X_{1n}^{\ast }$，得到的$\theta$的估计，记为${\hat{\theta }}_1^{\ast }=:{\hat{\theta }}_1^{\ast }(X_{11}^{\ast },X_{12}^{\ast },...,X_{1n}^{\ast })$
• 重复上述步骤m次， 得到的估计分别为${\hat{\theta }}_1^{\ast },{\hat{\theta }}_2^{\ast },...,{\hat{\theta }}_m^{\ast }$
• 利用${\hat{\theta }}_1^{\ast },{\hat{\theta }}_2^{\ast },...,{\hat{\theta }}_m^{\ast }$近似$\hat{\theta }$的分布及其特征

用 Bootstrap 方法抽取到样本 $X_1^{\ast },X_2^{\ast },...,X_n^{\ast }$的经验分布$F_n^{\ast }$是 $F_n$ 的逼近，$F_n$ 是总体分布 $F$ 的逼近。这两种逼近可以表示为 $F_n^{\ast }\to F_n\to F$。如果经验分布函数 $F_n(x)$ 没有靠近总体分布函数 $F(x)$，则重复抽样下的分布也不会靠近 $F(x)$。

（二）偏差的自助估计

1、参数$\theta$的估计

估计量$\hat{\theta }$的偏差：$Bias(\hat{\theta })=E(\hat{\theta })-\theta$；估计量$\hat{\theta }$偏差的自助估计：$\widehat{Bias}(\hat{\theta })$

• 对于$\theta$的估计$\hat{\theta }$：基于观察到的样本数据直接得到
• 对于$E(\hat{\theta })$的估计$\hat{E}(\hat{\theta })$：利用自助法获得的${\hat{\theta }}_1^{\ast },{\hat{\theta }}_2^{\ast },...,{\hat{\theta }}_m^{\ast }$的均值来估计，即$\hat{E}(\hat{\theta })=m^{-1}{\sum }_{i=1}^m{\hat{\theta }}_i^{\ast }$
  $$\widehat{Bias}(\hat{\theta })=m^{-1}\sum _{i=1}^m{\hat{\theta }}_i^{\ast }-\hat{\theta }$$

如果偏差大于0，说明$\hat{\theta }$平均来看过高估计了$\theta$；偏差小于0则说明$\hat{\theta }$平均来看过低估计了$\theta$。因此，经过偏差修正的参数$\theta$的估计量为：
$$\tilde{\theta }=\hat{\theta }-\widehat{Bias}(\hat{\theta })$$

2、参数${\sigma }^2$的估计

设数据$X_1,X_2,...,X_n$来自方差为${\sigma }^2$的分布，则${\sigma }^2$的估计为$\hat{\sigma }=n^{-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$。${\sigma }^2$的偏差$Bias({\hat{\sigma }}^2)=E({\hat{\sigma }}^2)-{\sigma }^2=-{\sigma }^2/n$。

此时${\hat{\sigma }}^2$偏差的自助估计$\widehat{Bias}({\hat{\sigma }}^2)=m^{-1}{\sum }_{i=1}^m{\hat{\sigma }}_i^{2\ast }-{\hat{\sigma }}^2$是否为$-{\sigma }^2/n$的无偏估计？
因此${\hat{\sigma }}^2$偏差的自助估计$\widehat{Bias}({\hat{\sigma }}^2)=m^{-1}{\sum }_{i=1}^m{\hat{\sigma }}_i^{2\ast }-{\hat{\sigma }}^2$不是$-{\sigma }^2/n$的无偏估计。

（三）估计量标准差的 Bootstrap 估计

估计量$\hat{\theta }$的标准差$\widehat{SE}(\hat{\theta })$的自助估计就是采用$\hat{\theta }$分布Bootstrap估计的标准差。
$$\widehat{SE}(\hat{\theta })={\left(\frac{1}{m}\sum _{i=1}^m({\hat{\theta }}_i^{\ast }-{\bar{\hat{\theta }}}^{\ast }{)}^2\right)}^{1/2}$$

自助法得到的估计$\widehat{Var}(\hat{\theta })$和$Var(\hat{\theta })$之间的关系是什么？

因此，自助法得到的估计$\widehat{Var}(\hat{\theta })$的条件期望为$\frac{m-1}{mn}{\hat{\sigma }}^2$，是方差$Var(\hat{\theta })=n^{-1}{\sigma }^2$的估计。

二、基于 Jackknife 法的估计

（一）基本思想

Jackknife 估计的基本思想是，对于给定样本 $X_1,X_2,...,X_n$，每次删除其中一个 (或者几个) 样本点，基于剩下的样本采用相同的估计量公式得到 $\theta$ 的估计，经过逐个删除并分别计算估计之后，便可以得到一系列估计值，基于这些估计值进而估计 $\hat{\theta }$的分布特征。

Jackknife 方法的步骤：

• 从观测样本$X_1,X_2,...,X_n$中去掉第$i$个数据$X_i$之后的剩余样本定义为第$i$个Jackknife样本，记为：$X_{(-i)}=(X_1,...,X_{i-1},X_{i=1},...,X_n)$
• 基于第$i$个Jackknife样本$X_{(-i)},i=1,2,...,n$，得到相应的估计${\hat{\theta }}_{(-i)}=\hat{\theta }(X_{(-i)}),i=1,...,n$

（二）估计量偏差的 Jackknife 估计

基于$\widehat{{\theta }_{(-i)}}$，$\hat{\theta }$的偏差$Bias(\hat{\theta })=E(\hat{\theta })-\theta$的Jackknife估计为：
$$\widehat{Bias}(\hat{\theta })=(n-1)\left(\frac{1}{n}\sum _{i=1}^n{\hat{\theta }}_{(-i}{)}^{-}\hat{\theta }\right)=\frac{n-1}{n}\sum _{i=1}^n({\hat{\theta }}_{(-i)}-\hat{\theta })$$

设数据$X_1,X_2,...,X_n$来自方差为${\sigma }^2$的分布，则${\sigma }^2$的估计为$\hat{\sigma }=n^{-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$。${\sigma }^2$的偏差$Bias({\hat{\sigma }}^2)=E({\hat{\sigma }}^2)-{\sigma }^2=-{\sigma }^2/n$。此时，对于每一个Jackknife估计${\hat{\theta }}_{(-i)}$，基于样本量n-1的样本$X_{(-i)}=(X_1,...,X_{i-1},X_{i=1},...,X_n)$构造，因此：

（三）估计量标准差的 Jackknife 估计

估计量$\hat{\theta }$的标准差的Jackknife估计定义为：
$${\widehat{SE}}_{Jack}(\hat{\theta })={\left(\frac{n-1}{n}\sum _{i=1}^n({\hat{\theta }}_{(-i)}-{\bar{\hat{\theta }}}_{(\cdot )}{)}^2\right)}^{1/2}$$

三、Permutation Test 置换检验

置换检验（permutation test）是统计学上一种基于反证法、重抽样原则的非参数性检验。

• H0 : F = G, 即所有样本都服从同一分布
• H1 : F $\ne$ G, 即样本不服从同一分布

置换检验通过对比样本置换后的检验统计量与置换前的检验统计量来决定是否拒绝零假设。p 值为假设检验中假设零假设为真时观测到的至少与实际观测样本相同的样本的概率。很小的 p 值说明在零假设下观测到的概率很小。

置换检验的步骤：

• 首先计算两样本（样本容量设为 $n_A$ 和 $n_B$）之间原本的检验统计量。检验统计量可以是两样本间平均数之差 $({\bar{X}}_A-{\bar{X}}_B)$、方差之差 $(S_A^2-S_B^2)$，或 t 值 $(t)$、卡方检验中的卡方值 $({\chi }^2)$ 等。
• 将两个样本打乱后再重新选出两组容量等于之前两样本的新样本（即两个样本容量同样为 nA 和 nB 的样本），并计算新的检验统计量。
• 如接受零假设 H0 : F = G，即样本源于同一分布，则随机抽样计算出的新检验统计量应不难大于最初置换前算出的两样本间检验统计量（如为双侧检验，则是其绝对值应不难大于置换前算出的两样本间检验统计量），即这个概率应大于设定的 I 型错误（假阳性）概率 α。