大数定理、切比雪夫不等式及其推导

大数定律

弱大数定律（Weak Law of Large Numbers, WLLN）

弱大数定律指出，当试验次数 (n) 趋向无穷大时，样本平均值 (\bar{X_n}) 与期望值 (\mu) 之间的差异以概率收敛于0。数学上表示为：

$$\forall ϵ>0,\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|\ge ϵ\right)=0$$

其中，$\overline{X_n}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$，$X_i$ 是独立同分布的随机变量，其期望值为 (\mu)。

强大数定律（Strong Law of Large Numbers, SLLN）

强大数定律更强一些，它指出样本平均值 $\overline{X_n}$ 几乎必然地收敛于期望值 (\mu)。数学上表示为：

$$P\left(\underset{n\to \infty }{\lim }\overline{X_n}=\mu \right)=1$$

这意味着随着试验次数 $n$ 的增加，样本平均值 $\overline{X_n}$ 会以概率1收敛于期望值 $\mu$。

切比雪夫不等式

切比雪夫不等式（Chebyshev’s Inequality）是概率论中的一个重要工具，用于描述随机变量偏离其期望值的概率界限。它不依赖于随机变量的具体分布，因此非常广泛和强大。

切比雪夫不等式的定义

切比雪夫不等式适用于任何具有有限期望值和方差的随机变量。具体来说，设 $X$ 是一个随机变量，具有期望值 $\mathbb{E}[X]=\mu$ 和方差 $\text{Var}(X)={\sigma }^2$。那么，对于任意正数 $ϵ>0$，切比雪夫不等式表示为：

$$P\left(|X-\mu |\ge ϵ\right)\le \frac{{\sigma }^2}{{ϵ}^2}$$

切比雪夫不等式的推导

我们可以从 Markov 不等式出发推导切比雪夫不等式。Markov 不等式是：

$$P(|X|\ge a)\le \frac{\mathbb{E}[|X|]}{a}$$

对于非负随机变量 $Y=(X-\mu {)}^2$，我们有：

$$P\left((X-\mu {)}^2\ge {ϵ}^2\right)\le \frac{\mathbb{E}[(X-\mu {)}^2]}{{ϵ}^2}$$

由于 $\mathbb{E}[(X-\mu {)}^2]={\sigma }^2$，得到：

$$P\left((X-\mu {)}^2\ge {ϵ}^2\right)\le \frac{{\sigma }^2}{{ϵ}^2}$$

注意到 $P\left((X-\mu {)}^2\ge {ϵ}^2\right)=P\left(|X-\mu |\ge ϵ\right)$，所以：

$$P\left(|X-\mu |\ge ϵ\right)\le \frac{{\sigma }^2}{{ϵ}^2}$$