集中不等式（concentration inequalities）是在概率论和统计学中用于描述随机变量（尤其是随机变量的和或函数）的集中程度的一类不等式。它们为随机变量偏离其期望值的概率提供了上界。这些不等式在很多领域都有应用，包括机器学习、统计学习理论、组合数学和随机过程等。下面介绍几种常见的集中不等式：

1.马尔可夫不等式（Markov’s Inequality）

马尔可夫不等式（Markov’s Inequality）是概率论中的一个基本不等式，用于估计随机变量大于某个正数的概率。它适用于任何非负随机变量，提供了一个简单而有用的上界。下面是马尔可夫不等式的正式陈述及其证明。

设$X$是一个非负随机变量，且$a>0$，则：
$$P(X\ge a)\le \frac{\mathbb{E}[X]}{a}$$

证明

1. 考虑事件 { X ≥ a } \{X \geq a\} {X≥a}，引入指示函数 I { X ≥ a } I_{\{X \geq a\}} I{X≥a}​，其取值为：
   I { X ≥ a } = { 1 , 如果  X ≥ a , 0 , 如果  X < a . I_{\{X \geq a\}} = \begin{cases} 1, & \text{如果 } X \geq a, \\ 0, & \text{如果 } X < a. \end{cases} I{X≥a}​={1,0,​如果 X≥a,如果 X<a.​

2. 由于 X ≥ a ⋅ I { X ≥ a } X \geq a \cdot I_{\{X \geq a\}} X≥a⋅I{X≥a}​，我们有：
   X ⋅ I { X ≥ a } ≥ a ⋅ I { X ≥ a } . X \cdot I_{\{X \geq a\}} \geq a \cdot I_{\{X \geq a\}}. X⋅I{X≥a}​≥a⋅I{X≥a}​.

3. 对两边取期望值，得到：
   E [ X ⋅ I { X ≥ a } ] ≥ E [ a ⋅ I { X ≥ a } ] . \mathbb{E}[X \cdot I_{\{X \geq a\}}] \geq \mathbb{E}[a \cdot I_{\{X \geq a\}}]. E[X⋅I{X≥a}​]≥E[a⋅I{X≥a}​].

4. 由于 I { X ≥ a } I_{\{X \geq a\}} I{X≥a}​是指示函数，它的期望就是事件 { X ≥ a } \{X \geq a\} {X≥a}发生的概率，因此：
   E [ a ⋅ I { X ≥ a } ] = a ⋅ P ( X ≥ a ) . \mathbb{E}[a \cdot I_{\{X \geq a\}}] = a \cdot P(X \geq a). E[a⋅I{X≥a}​]=a⋅P(X≥a).

5. 因此，不等式变为：
   E [ X ⋅ I { X ≥ a } ] ≥ a ⋅ P ( X ≥ a ) . \mathbb{E}[X \cdot I_{\{X \geq a\}}] \geq a \cdot P(X \geq a). E[X⋅I{X≥a}​]≥a⋅P(X≥a).

6. 由于 X ⋅ I { X ≥ a } ≤ X X \cdot I_{\{X \geq a\}} \leq X X⋅I{X≥a}​≤X，我们有：
   E [ X ⋅ I { X ≥ a } ] ≤ E [ X ] . \mathbb{E}[X \cdot I_{\{X \geq a\}}] \leq \mathbb{E}[X]. E[X⋅I{X≥a}​]≤E[X].

7. 结合以上两点，我们得到：
   $$\mathbb{E}[X]\ge a\cdot P(X\ge a).$$

8. 最终，马尔可夫不等式成立：
   $$P(X\ge a)\le \frac{\mathbb{E}[X]}{a}.$$

应用

马尔可夫不等式在各种情况下都有广泛的应用，尤其是在对随机变量进行估计和给出尾部概率上界时。它的简单形式使得它成为其他更复杂不等式（如切尔诺夫不等式和霍夫丁不等式）的基础。

例如，假设有一个随机变量$X$，其期望值为10，我们想知道$X$大于或等于50的概率。应用马尔可夫不等式，有：
$$P(X\ge 50)\le \frac{\mathbb{E}[X]}{50}=\frac{10}{50}=\mathrm{0.2.}$$
因此，$X$大于或等于50的概率最多为0.2。

2.切尔诺夫不等式（Chernoff Bound）

切尔诺夫不等式（Chernoff Inequality）是一种强有力的集中不等式，用于估计独立随机变量的和偏离其期望值的概率。它通常用于分析独立二项随机变量和泊松随机变量的尾部概率。切尔诺夫不等式的两个常见形式是针对上尾和下尾概率的估计。

切尔诺夫不等式（上尾）

设$X_1,X_2,\dots ,X_n$是独立的伯努利随机变量，且每个$X_i$满足$P(X_i=1)=p_i$，定义$S_n={\sum }_{i=1}^n{X}_i$，则对于任意$0<\delta <1$，有：
$$P(S_n\ge (1+\delta )\mu )\le \exp \left(-\frac{{\delta }^2\mu }{2+\delta }\right),$$
其中$\mu =\mathbb{E}[S_n]={\sum }_{i=1}^n{p}_i$。

切尔诺夫不等式（下尾）

同样的设定，对于任意$0<\delta <1$，有：
$$P(S_n\le (1-\delta )\mu )\le \exp \left(-\frac{{\delta }^2\mu }{2}\right).$$

一般形式的切尔诺夫不等式

设$X_1,X_2,\dots ,X_n$是独立同分布的随机变量，且取值范围为$[0,1]$，定义$S_n={\sum }_{i=1}^n{X}_i$，则对于任意$t>0$，有：
$$P(S_n\ge \mathbb{E}[S_n]+t)\le \exp \left(-\frac{2t^2}{n}\right).$$
类似地，对于下尾，有：
$$P(S_n\le \mathbb{E}[S_n]-t)\le \exp \left(-\frac{2t^2}{n}\right).$$

证明思想（简要）

切尔诺夫不等式的证明通常基于矩母函数（moment generating function）和鞅（martingale）的方法。以下是一个简要的证明思路：

1. 矩母函数法：

   • 定义矩母函数$M_X(t)=\mathbb{E}[\exp (tX)]$。
   • 利用独立性和随机变量的特性，构造矩母函数的上界。
   • 通过选择合适的参数$t$，优化上界以得到所需的不等式。

2. 鞅法：

   • 构造鞅序列并应用阿兹马尔-海涅不等式（Azuma-Hoeffding Inequality）。
   • 使用鞅的性质和差值的界限来推导出尾部概率的不等式。

切尔诺夫不等式的强大之处在于它不仅适用于独立同分布的随机变量，还可以扩展到一些更复杂的情况。它在计算机科学、统计学、机器学习和组合优化中具有广泛的应用，用于分析算法性能和随机过程的行为。

3.霍夫丁不等式（Hoeffding’s Inequality）

霍夫丁不等式（Hoeffding’s Inequality）是概率论中的一种重要集中不等式，它提供了独立随机变量和偏离其期望值的概率的上界。霍夫丁不等式特别适用于处理取值范围有限的独立随机变量，广泛应用于统计学和机器学习中。

设$X_1,X_2,\dots ,X_n$是独立随机变量，每个$X_i$的取值范围为$[a_i,b_i]$。定义$S_n=X_1+X_2+\cdots +X_n$，则对于任意的$ϵ>0$，有：

$$P(S_n-\mathbb{E}[S_n]\ge t)\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}\right)$$

类似地，对于下尾，我们有：

$$P(S_n-\mathbb{E}[S_n]\le -t)\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}\right)$$

结合这两个不等式，可以得到：

$$P(|S_n-\mathbb{E}[S_n]|\ge t)\le 2\exp \left(-\frac{2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}\right)$$

证明思路

霍夫丁不等式的证明基于切尔诺夫界和对鞅的应用。以下是一个简要的证明思路：

1. 鞅的构造：

   • 考虑鞅差序列 { Y i } \{Y_i\} {Yi​}，其中$Y_i=X_i-\mathbb{E}[X_i]$，则$S_n-\mathbb{E}[S_n]={\sum }_{i=1}^n{Y}_i$。

2. 应用切尔诺夫界：

   • 对于每个$Y_i$，利用矩母函数$\mathbb{E}[\exp (\lambda Y_i)]$，并利用独立性将矩母函数分解为每个$Y_i$的矩母函数的乘积。
   • 由于$Y_i$的取值范围为$[a_i-\mathbb{E}[X_i],b_i-\mathbb{E}[X_i]]$，我们可以对每个$Y_i$的矩母函数进行上界估计。

3. 选择合适的参数：

   • 通过选择合适的$\lambda$，优化上界得到最紧的不等式。

4. 综合结果：

   • 将上界进行汇总，得到霍夫丁不等式的形式。

应用

霍夫丁不等式在许多领域都有广泛的应用，包括：

• 机器学习：用于评估学习算法的泛化误差和验证模型的稳定性。
• 统计学：用于估计样本均值与总体均值之间的偏差。
• 算法分析：用于分析随机算法的性能，特别是算法的运行时间和误差估计。

例如，在机器学习中，假设我们有一个包含独立同分布随机变量的数据集，我们可以用霍夫丁不等式来确定某个参数估计值与其真实值偏离的概率上界，从而为模型的性能提供置信区间。

4.阿兹马尔-海涅不等式（Azuma-Hoeffding Inequality）

阿兹马尔-海涅不等式（Azuma-Hoeffding Inequality）是鞅（martingale）理论中的一种重要集中不等式。它给出了鞅序列在每一步变化受到限制时，其偏离期望的概率的上界。这一不等式对于分析具有鞅性质的随机过程非常有用，特别是在算法分析和随机过程研究中。

设 { X i } i = 0 n \{X_i\}_{i=0}^n {Xi​}i=0n​是一个鞅序列，即满足$\mathbb{E}[X_{i+1}\mid X_1,X_2,\dots ,X_i]=X_i$对所有$i$成立。同时假设对每个$i$，$|X_{i+1}-X_i|\le c_i$，则对于任意$t>0$，有：

$$P(X_n-X_0\ge t)\le \exp \left(-\frac{t^2}{2{\sum }_{i=1}^n{c}_i^2}\right)$$

类似地，对于下尾，亦有：

$$P(X_n-X_0\le -t)\le \exp \left(-\frac{t^2}{2{\sum }_{i=1}^n{c}_i^2}\right)$$

结合这两个不等式，可以得到：

$$P(|X_n-X_0|\ge t)\le 2\exp \left(-\frac{t^2}{2{\sum }_{i=1}^n{c}_i^2}\right)$$

证明思路

阿兹马尔-海涅不等式的证明通常基于鞅的矩母函数和鞅差序列的性质。以下是一个简要的证明思路：

1. 构造鞅差序列：

   • 设$Y_i=X_i-X_{i-1}$，则 { Y i } i = 1 n \{Y_i\}_{i=1}^n {Yi​}i=1n​是一个鞅差序列，并且满足$\mathbb{E}[Y_i\mid X_1,X_2,\dots ,X_{i-1}]=0$。

2. 应用鞅的性质：

   • 利用鞅差序列的独立性和有界性，构造鞅序列的矩母函数。

3. 利用切尔诺夫界：

   • 对于每个$Y_i$，利用切尔诺夫界得到它们和的偏离概率的上界。

4. 优化参数：

   • 选择合适的参数$t$，优化上界，最终得到阿兹马尔-海涅不等式。

应用

阿兹马尔-海涅不等式在很多领域都有重要应用，特别是：

• 算法分析：用于分析随机算法的性能，特别是在随机过程中的误差估计。
• 随机过程：用于研究随机过程的偏离行为，如布朗运动和随机游走。
• 机器学习：用于分析学习算法的收敛性和稳定性。

例如，在分析一个随机算法的运行时间时，可以将运行时间建模为一个鞅序列，通过应用阿兹马尔-海涅不等式，得到其偏离期望时间的概率上界，从而评估算法的效率和可靠性。

5.贝尔斯坦不等式（Bernstein Inequality）

贝尔斯坦不等式（Bernstein Inequality）是概率论中的一种重要集中不等式，用于给出独立随机变量和偏离其期望值的概率的上界。它在处理随机变量的方差已知且具有一定界限的情况下非常有用。贝尔斯坦不等式特别适合于处理那些变量范围已知且方差较小的情形。

设$X_1,X_2,\dots ,X_n$是独立的零均值随机变量，且满足$|X_i|\le M$。定义$S_n={\sum }_{i=1}^n{X}_i$，则对于任意$t>0$，有：

$$P\left(S_n\ge t\right)\le \exp \left(-\frac{t^2}{2\left({\sum }_{i=1}^n\mathrm{Var}(X_i)+\frac{Mt}{3}\right)}\right)$$

下界形式

类似地，对于下界，我们有：

$$P\left(S_n\le -t\right)\le \exp \left(-\frac{t^2}{2\left({\sum }_{i=1}^n\mathrm{Var}(X_i)+\frac{Mt}{3}\right)}\right)$$

结合形式

结合这两个不等式，可以得到：

$$P\left(|S_n|\ge t\right)\le 2\exp \left(-\frac{t^2}{2\left({\sum }_{i=1}^n\mathrm{Var}(X_i)+\frac{Mt}{3}\right)}\right)$$

证明思路

贝尔斯坦不等式的证明一般基于切尔诺夫界和矩母函数的方法。以下是一个简要的证明思路：

1. 矩母函数法：

   • 考虑$S_n$的矩母函数$\mathbb{E}[\exp (\lambda S_n)]$，其中$\lambda$是一个任意实数参数。
   • 由于$X_i$是独立的，矩母函数可以分解为每个$X_i$的矩母函数的乘积。

2. 利用独立性和界限条件：

   • 利用$X_i$的独立性和有界性$|X_i|\le M$，对矩母函数进行上界估计。
   • 应用泰勒展开和一些不等式（如拉格朗日乘数法）来处理矩母函数。

3. 优化参数：

   • 选择合适的参数$\lambda$，使得上界最小化，从而得到最紧的集中不等式。

应用

贝尔斯坦不等式在许多领域都有广泛的应用，特别是在以下几个方面：

• 算法分析：用于分析随机算法的性能，特别是算法的运行时间和误差估计。
• 统计学：用于估计样本均值和总体均值之间的偏差。
• 机器学习：用于评估学习算法的泛化误差，特别是在有限样本情况下。

例如，在分析一个机器学习算法的泛化误差时，可以将训练误差建模为独立随机变量的和，通过应用贝尔斯坦不等式，得到其偏离期望误差的概率上界，从而评估算法的稳定性和可靠性。