延森不等式(Jensen’s Inequality)是凸函数理论中的一个重要结果,广泛应用于概率论、统计学和优化理论等领域。这个不等式的基本形式是:
对于一个凸函数 f f f和一个随机变量 X X X,如果 E [ X ] \mathbb{E}[X] E[X]存在,那么有:
f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] f(E[X])≤E[f(X)]
证明这个不等式的一般步骤如下:
-
凸函数的定义:
函数 f : R → R f: \mathbb{R} \rightarrow \mathbb{R} f:R→R是凸函数,当且仅当对于任意的 x 1 , x 2 ∈ R x_1, x_2 \in \mathbb{R} x1,x2∈R和 λ ∈ [ 0 , 1 ] \lambda \in [0, 1] λ∈[0,1],有:
f ( λ x 1 + ( 1 − λ ) x 2 ) ≤ λ f ( x 1 ) + ( 1 − λ ) f ( x 2 ) f(\lambda x_1 + (1 - \lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2) f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2) -
证明步骤:
-
步骤1:利用凸函数的定义,我们首先对于简单情形 λ = 1 2 \lambda = \frac{1}{2} λ=21给出不等式。
-
步骤2:将凸函数定义扩展到一般情况,对于任意的有限个数 x i x_i xi和权重 λ i \lambda_i λi(权重非负且和为1),有:
f ( ∑ i = 1 n λ i x i ) ≤ ∑ i = 1 n λ i f ( x i ) f\left( \sum_{i=1}^n \lambda_i x_i \right) \leq \sum_{i=1}^n \lambda_i f(x_i) f(∑i=1nλixi)≤∑i=1nλif(xi) -
步骤3:利用这一步骤得到的结果,证明对任意随机变量 X X X和其概率分布的期望的情形。
-
详细证明:
步骤1:首先考虑两个点的情况,设 x 1 x_1 x1和 x 2 x_2 x2是实数, λ ∈ [ 0 , 1 ] \lambda \in [0, 1] λ∈[0,1]。根据凸函数的定义,有:
f ( λ x 1 + ( 1 − λ ) x 2 ) ≤ λ f ( x 1 ) + ( 1 − λ ) f ( x 2 ) f(\lambda x_1 + (1 - \lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2) f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2)
步骤2:将这个不等式扩展到有限个点的情况。设 x 1 , x 2 , … , x n x_1, x_2, \ldots, x_n x1,x2,…,xn是实数, λ 1 , λ 2 , … , λ n \lambda_1, \lambda_2, \ldots, \lambda_n λ1,λ2,…,λn是非负权重,且 ∑ i = 1 n λ i = 1 \sum_{i=1}^n \lambda_i = 1 ∑i=1nλi=1。利用凸函数的定义,可以通过数学归纳法证明:
f ( ∑ i = 1 n λ i x i ) ≤ ∑ i = 1 n λ i f ( x i ) f\left( \sum_{i=1}^n \lambda_i x_i \right) \leq \sum_{i=1}^n \lambda_i f(x_i) f(∑i=1nλixi)≤∑i=1nλif(xi)
步骤3:考虑随机变量 X X X和凸函数 f f f,对于离散情形,我们可以写成:
X = x i with probability p i X = x_i \quad \text{with probability} \quad p_i X=xiwith probabilitypi
这里 ∑ i p i = 1 \sum_i p_i = 1 ∑ipi=1。
因此:
E [ X ] = ∑ i p i x i \mathbb{E}[X] = \sum_i p_i x_i E[X]=∑ipixi
E [ f ( X ) ] = ∑ i p i f ( x i ) \mathbb{E}[f(X)] = \sum_i p_i f(x_i) E[f(X)]=∑ipif(xi)
根据步骤2的结果,有:
f ( ∑ i p i x i ) ≤ ∑ i p i f ( x i ) f\left( \sum_i p_i x_i \right) \leq \sum_i p_i f(x_i) f(∑ipixi)≤∑ipif(xi)
即:
f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] f(E[X])≤E[f(X)]
对于连续情形,可以通过类似的方法,考虑连续随机变量的概率密度函数,使用积分形式得到同样的结果。具体地,可以考虑随机变量的积分表示:
设 X X X是一个连续随机变量,其概率密度函数为 p ( x ) p(x) p(x),则:
E [ X ] = ∫ x p ( x ) d x \mathbb{E}[X] = \int x p(x) \, dx E[X]=∫xp(x)dx
E [ f ( X ) ] = ∫ f ( x ) p ( x ) d x \mathbb{E}[f(X)] = \int f(x) p(x) \, dx E[f(X)]=∫f(x)p(x)dx
根据凸函数定义的积分形式,也可以证明:
f ( ∫ x p ( x ) d x ) ≤ ∫ f ( x ) p ( x ) d x f\left( \int x p(x) \, dx \right) \leq \int f(x) p(x) \, dx f(∫xp(x)dx)≤∫f(x)p(x)dx
因此,对于连续随机变量同样有:
f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] f(E[X])≤E[f(X)]
综上所述,延森不等式对于离散和连续情形都成立。