UA MATH567 高維統(tǒng)計I 概率不等式4 亞高斯分布

上一講我們介紹了Hoeffding不等式與Chernoff不等式，這兩個不等式的共性是它們的上界關于$t$的遞減階數(shù)都是$e^{?c{t}^2}$，它們具有非常好的性質(zhì)，這一講我們試圖將這種尾部概率性質(zhì)的分布抽象化，并推導出一些更普遍的結(jié)果，我們稱這些結(jié)果為亞高斯性 (sub-Gaussian property)，$K_1,?,K_5$指的是一些常數(shù)。

尾部概率條件：$P(|X|\ge t)\le 2\exp (?t^2/K_1^2),?t\ge 0$

矩條件: ${\Vert X\Vert }_{L^p}\le K_2\sqrt{p},?p\ge 1$

矩母函數(shù)條件: $E{e}^{{\lambda }^2{X}^2}\le \exp (K_3^2{\lambda }^2),?|\lambda |\le 1/K_3$

矩母函數(shù)上界: $E{e}^{X^2/K_4^2}\le 2$

矩母函數(shù)又一個條件: $E{e}^{\lambda X}\le \exp (K_5^2{\lambda }^2),?\lambda \in \mathbb{R},EX=0$

并且稱滿足這五個等價條件中任一條的分布為亞高斯分布 (sub-Gaussian distribution)。下面我們來簡單證明一下它們的等價性。另外就是第一個和第四個中的2并不一定是非得是2，是任何一個大于1的常數(shù)就可以。

---

1推2
假設性質(zhì)1成立，取$K_1=1$（即使$K_1==1$，我們也可以考慮對$X/K_1$進行分析），因為期望等于生存函數(shù)的積分，于是
$$E|X{|}^p={\int }_0^{\infty }P(|X{|}^p\ge u)du={\int }_0^{\infty }P(|X{|}^p\ge t^p)p{t}^{p?1}dt$$

第二個等號是用的積分換元，$u=t^p$，根據(jù)性質(zhì)1，
$$P(|X{|}^p\ge t^p)=P(|X|\ge t)\le 2\exp (?t^2),?t\ge 0$$

于是
$${\int }_0^{\infty }P(|X{|}^p\ge t^p)p{t}^{p?1}dt\le {\int }_0^{\infty }2e^{?t^2}p{t}^{p?1}dt$$

右邊這個積分可以通過湊Gamma函數(shù)積出來，
$${\int }_0^{\infty }2e^{?t^2}p{t}^{p?1}dt=p\int (t^2{)}^{\frac{p}{2}?1}{e}^{?t^2}d{t}^2=p\Gamma (p/2)$$

根據(jù)Gamma函數(shù)的上界，當$x\ge 1/2$時，$\Gamma (x)\le 3x^x$，
$$\Gamma (p/2)\le 3p(p/2{)}^{p/2}$$

因此
$${\Vert X\Vert }_{L^p}=(E|X{|}^p{)}^{1/p}\le (3p{)}^{1/p}\sqrt{p/2}\le 3\sqrt{p}$$也就是比較合適的$K_2$的取值是$K_2\le 3$。

---

2推3
假設性質(zhì)2成立，不妨取$K_2=1$，考慮Taylor展開，
$$E\exp ({\lambda }^2{X}^2)=E\left[1+\sum _{p=1}^{\infty }\frac{({\lambda }^2{X}^2{)}^p}{p!}\right]=1+\sum _{p=1}^{\infty }\frac{{\lambda }^{2p}E{X}^{2p}}{p!}$$

性質(zhì)2說明
$$E{X}^{2p}\le (2p{)}^p$$

根據(jù)Stirling公式，
$$p!\ge (p/e{)}^p$$

所以
$$E\exp ({\lambda }^2{X}^2)\le 1+\sum _{p=1}^{\infty }\frac{(2{\lambda }^{2}p{)}^p}{(p/e{)}^p}=\sum _{p=0}^{\infty }(2e{\lambda }^2{)}^p=\frac{1}{1?2e{\lambda }^2}$$

上式當且僅當$2e{\lambda }^2<1$時收斂。根據(jù)不等式
$$\frac{1}{1?x}\le e^{2x},?x\in [0,1/2]$$

我們可以進一步得到
$$E\exp ({\lambda }^2{X}^2)\le e^{4e{\lambda }^2},?|\lambda |\le \frac{1}{2\sqrt{e}}$$

也就是說性質(zhì)3在$K_3=2\sqrt{e}$時成立。

---

3推4
假設性質(zhì)3成立，取$K_3=1$，則
$$E{e}^{{\lambda }^2{X}^2}\le e^{{\lambda }^2},?|\lambda |\le 1$$

取$\lambda =1/\sqrt{2}$，則
$$E{e}^{X^2/2}\le e^{1/2}<2$$

也就是說性質(zhì)4對$K_4=\sqrt{2}$成立。

---

4推1
假設性質(zhì)4成立，取$K_4=1$，根據(jù)Markov不等式，
$$P(|X|\ge t)=P(e^{X^2}\ge e^{t^2})\le e^{?t^2}E{e}^{X^2}\le 2e^{?t^2}$$

因此$K_1=1$性質(zhì)1成立。

---

假設$X$零均值。

3推5
假設性質(zhì)3成立，取$K_3=1$，則
$$E{e}^{{\lambda }^2{X}^2}\le e^{{\lambda }^2},?|\lambda |\le 1$$

因為性質(zhì)5是對任意$\lambda$都成立的，但性質(zhì)3對$\lambda$的取值有限制，于是我們做分類討論。

Case 1: $|\lambda |\le 1$，根據(jù)不等式
$$e^x\le x+e^{x^2},?x\in \mathbb{R}$$

我們可以估計
$$E{e}^{\lambda x}\le E(\lambda X+e^{{\lambda }^2{X}^2})=E{e}^{{\lambda }^2{X}^2}\le e^{{\lambda }^2}$$

Case 2: $|\lambda |>1$，根據(jù)不等式
$$2\lambda x\le {\lambda }^2+x^2,?x\in \mathbb{R}$$

我們可以估計
$$E{e}^{\lambda x}\le E{e}^{\frac{{\lambda }^2+X^2}{2}}=e^{\frac{{\lambda }^2}{2}}E{e}^{\frac{X^2}{2}}\le e^{\frac{{\lambda }^2}{2}}{e}^{\frac{1}{2}}\le e^{\frac{{\lambda }^2}{2}}{e}^{\frac{{\lambda }^2}{2}}=e^{{\lambda }^2}$$

綜上，性質(zhì)5對$K_5=1$成立。

---

5推1
假設性質(zhì)5成立，取$K_5=1$，考慮
$$\begin{gathered} P(|X|\ge t)=P(X\ge t)+P(X\le ?t) \\ =P(e^{\lambda X}\ge e^{\lambda t})+P(e^{?\lambda X}\ge e^{\lambda t}) \end{gathered}$$

先考慮前半個概率，根據(jù)Markov不等式，
$$P(e^{\lambda X}\ge e^{\lambda t})\le e^{?\lambda t}E{e}^{\lambda X}\le e^{?\lambda t}{e}^{{\lambda }^2}=e^{?t^2/4}(\lambda =t/2)$$

然后考慮后半個概率，同樣根據(jù)Markov不等式，我們可以得到
$$P(e^{?\lambda X}\ge e^{\lambda t})\le e^{?t^2/4}$$

這樣我們就說明了$K_1=2$時性質(zhì)1成立。

---

現(xiàn)在我們就完成了所有亞高斯性等價的證明，但大家應該也發(fā)現(xiàn)了，每一條亞高斯性都有一個常數(shù)，不同的常數(shù)可以有不同的取值，每次使用性質(zhì)前還需要選取一下常數(shù)的值，于是我們不由得發(fā)問，有沒有一種統(tǒng)一亞高斯性中常數(shù)的方法？

這就要回到上一講的定義了，亞高斯范數(shù)（sub-Gaussian norm）：
$${\Vert X\Vert }_{{\psi }_2}=\inf \{t>0:E{e}^{X^2/t^2}\le 2\}$$就是能夠統(tǒng)一亞高斯性中常數(shù)的結(jié)構(gòu)，后續(xù)會介紹為什么要這樣定義亞高斯范數(shù)，因為它的本質(zhì)是一種Orlicz范數(shù)。我們已經(jīng)證明了亞高斯范數(shù)的確是一個范數(shù)，下面我們用幾個例子說明如何計算隨機變量的亞高斯范數(shù)。

例 正態(tài)分布
假設$X～N(0,\sigma )$，則${\Vert X\Vert }_{{\psi }_2}=\sqrt{\frac{8}{3}}\sigma$
如果$\sigma =1$，我們直接計算
$$E{e}^{X^2/t^2}={\int }_{?\infty }^{\infty }{e}^{\frac{x^2}{t^2}}\frac{1}{\sqrt{2\pi }}{e}^{?\frac{x^2}{2}}dx={\int }_{?\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{\frac{x^2}{t^2}?\frac{x^2}{2}}dx$$

顯然我們可以通過湊正態(tài)分布的概率密度的方法做積分，
$$e^{\frac{x^2}{t^2}?\frac{x^2}{2}}=e^{?\frac{x^2}{2[t^2/(t^2?2)]}}$$

這是正態(tài)分布$N(0,\sqrt{\frac{t^2}{t^2?2}})$的密度核，于是
$$\begin{gathered} {\int }_{?\infty }^{\infty }\frac{1}{\sqrt{2\pi }}{e}^{\frac{x^2}{t^2}?\frac{x^2}{2}}dx \\ =\sqrt{\frac{t^2}{t^2?2}}{\int }_{?\infty }^{\infty }\frac{1}{\sqrt{2\pi }\sqrt{\frac{t^2}{t^2?2}}}{e}^{\frac{x^2}{t^2}?\frac{x^2}{2}}dx=\sqrt{\frac{t^2}{t^2?2}} \end{gathered}$$

考慮
$$\sqrt{\frac{t^2}{t^2?2}}\le 2?|t|\ge \sqrt{\frac{8}{3}}$$

因此${\Vert X\Vert }_{{\psi }_2}=\sqrt{\frac{8}{3}}$，如果$\sigma =1$，操作方法與之類似。

例 對稱Bernoulli分布
假設$X$服從對稱Bernoulli分布，$P(X=1)=1/2,P(X=?1)=1/2$，則
$$E{e}^{X^2/t^2}=\frac{1}{2}{e}^{1/t^2}+\frac{1}{2}{e}^{1/t^2}=e^{1/t^2}\le 2?|t|\ge 1/\sqrt{\ln 2}$$

于是${\Vert X\Vert }_{{\psi }_2}=1/\sqrt{\ln 2}$

例 有界的分布
假設$X^2\le {\Vert X\Vert }_{\infty }^2=(\max X{)}^2,a.s.$，則
$$E{e}^{X^2/t^2}\le E{e}^{{\Vert X\Vert }_{\infty }^2/t^2}\le 2?|t|\ge {\Vert X\Vert }_{\infty }/\sqrt{\ln 2}$$

于是${\Vert X\Vert }_{{\psi }_2}={\Vert X\Vert }_{\infty }/\sqrt{\ln 2}$。

前兩個例子介紹了準確計算亞高斯范數(shù)的方法，如果$E{e}^{X^2/t^2}$關于$t$的表達式可以明確寫出來，我們就可以通過最小化$t$計算亞高斯范數(shù)；第三個例子介紹了當$E{e}^{X^2/t^2}$的表達式無法求出來的時候，可以通過找$E{e}^{X^2/t^2}$的上界來估計亞高斯范數(shù)。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式4 亚高斯分布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。