Jensen不等式及其应用

2021-08-12 本文已影响0人 Boye0212

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。

1 Jensen不等式

Jensen不等式：已知函数 $\phi: \mathbb{R}\to\mathbb{R}$ 为凸函数，则有 $\phi[\text{E}(X)]\leq \text{E}[\phi(X)]$ 。

有时候，需要用到离散形式的Jensen不等式： $\{a_j\}$ 是一系列非负权重，满足 $\sum_{j=1}^m a_j=1$ ， $\{x_j\}$ 是一系列任意实数，对于凸函数 $\phi: \mathbb{R}\to\mathbb{R}$ ，有
$\phi\left(\sum_{j=1}^m a_j x_j\right) \leq \sum_{j=1}^m a_j \phi(x_j)$
只需将原期望形式的Jensen不等式中的随机变量取成离散的，并令 $P(X=x_j)=a_j$ ，即可得到上式。

2 条件Jensen不等式

将不等式两边的期望都取为条件期望的形式，不等式依然成立。

条件Jensen不等式：已知函数 $\phi: \mathbb{R}\to\mathbb{R}$ 为凸函数，则有 $\phi[\text{E}(X|Y)]\leq \text{E}[\phi(X)|Y]$ 。

来看一个应用：在 $\text{Var}(X)<\infty$ 的条件下，利用条件Jensen不等式，可以证明 $\text{Var}[\text{E}(X|Y)]\leq \text{Var}(X)$ 。

证明如下：
$\begin{aligned} &[\text{E}(X|Y)-\text{E}(X)]^2 \\ =& [\text{E}(X|Y)]^2+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X)\\ \leq & \text{E}(X^2|Y)+[\text{E}(X)]^2 - 2\text{E}(X|Y)\text{E}(X) \end{aligned}$

两边取期望后，可得
$\begin{aligned} &\text{E}\left\{\left\{\text{E}(X|Y)-\text{E}[\text{E}(X|Y)]\right\}^2\right\} \\ (= & \text{Var}[\text{E}(X|Y)])\\ \leq & \text{E}[\text{E}(X^2|Y)]+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{E}(X^2)+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{Var}(X) \end{aligned}$

得证。

3 Jensen不等式的应用

许许多多不等式，都可以利用Jensen不等式得出，这里整理一些例子。

3.1 套用简单函数

将 $\phi$ 直接取为简单的凸函数或凹函数，就可以得到许多不等式：

$[\text{E}(X)]^2 \geq \text{E}(X^2)$
$|\text{E}(X)|\leq \text{E}|X|$ ；
$\exp[\text{E}(X)]\leq \text{E}[\exp(X)]$ ；
$\text{E}[\log(X)]\leq \log[\text{E}(X)]$ ；
$\text{E}[X^{1/2}]\leq [\text{E}(X)]^{1/2}$ 。

3.2 Lyapunov不等式

Lyapunov不等式：对于任意 $0\leq p \leq q$ ，有
$[\text{E}(|X|^{p})]^{1/p} \leq [\text{E}(|X|^{q})]^{1/q}$

证明过程，只需利用凸函数 $\phi(x)=x^{q/p}$ ，和随机变量 $Y=|X|^q$ 即可。

3.3 几何均值不等式

几何均值不等式（Geometric Mean Inequality）： $\{a_j|$ 是一系列非负权重，满足 $\sum_{j=1}^m a_j=1$ ， $\{x_j\}$ 是一系列任意的非负实数，则有
$x_1^{a_1}x_2^{a_2}\cdots x_m^{a_m}\leq \sum_{j=1}^m a_j x_j$

证明要用到离散形式的Jensen不等式，将 $\phi$ 取为对数函数即可，由于对数函数是凹函数，不等式需反向。

如果取 $m=2$ ， $a_1=a_2=\dfrac{1}{2}$ ，就是在中学阶段熟悉的 $\sqrt{x_1 x_2}\leq \dfrac{x_1+x_2}{2}$ ，即几何均值小于等于代数均值。

3.4 Loeve’s $C_r$ Inequality

对于一系列的任意实数 $x_j$ ，有
$\left| \sum_{j=1}^m x_j \right|^r \leq \begin{cases} \sum\limits_{j=1}^m |x_j|^r&,0\lt r\leq 1\\ m^{r-1} \sum\limits_{j=1}^m |x_j|^r&, r\gt 1 \end{cases}$

当 $m=2$ 时，记 $C_r=\max\{1,2^{r-1}\}$ ，该不等式可写为
$|a+b|^r\leq C_r \left(|a|^r+|b|^r\right)$
因此也叫 $C_r$ 不等式。

证明同样需用到离散形式Jensen不等式。若 $r\gt 1$ ，取 $a_j=1/m$ ， $\phi(x)=|x|^r$ ，即可得证。若 $r\leq 1$ ，记 $\sum_{j=1}^m |x_j|=A$ ，取 $b_j=|x_j|/A$ ，则 $b_j\in [0,1]$ ，因此有 $b_j\leq b_j^r$ ，因此
$1=\sum_{j=1}^m b_j\leq \sum_{j=1}^m b_j^r=\dfrac{\sum_{j=1}^m |x_j|^r}{A^r}$
再利用 $|\sum_{j=1}^m x_j |\leq \sum_{j=1}^m |x_j|=A$ ，即可得证。