UA MATH567 高維統(tǒng)計I 概率不等式7 亞指數(shù)分布與亞指數(shù)范數(shù)

第三講到第六講討論了亞高斯分布，這類分布的尾部概率滿足
$$P(|X|\ge t)?e^{?t^2/2}$$

隨著$t$增長，尾部概率下降的速率是非常大的，另一個與之類似的分布族是亞指數(shù)分布，這類分布的尾部概率滿足
$$P(|X|\ge t)?e^{?t}$$

這個尾部概率下降的概率比亞高斯分布尾部概率下降得更慢，所以亞指數(shù)分布族包含的分布比亞高斯分布族包含的分布更多。這一講我們討論亞指數(shù)性。

亞指數(shù)性 (sub-exponential property)

尾部概率條件：$P(|X|\ge t)\le 2\exp (?t/K_1),?t\ge 0$

矩條件: ${\Vert X\Vert }_{L^p}\le K_{2}p,?p\ge 1$

矩母函數(shù)條件: $E{e}^{\lambda |X|}\le \exp (K_3\lambda ),?0<\lambda \le 1/K_3$

矩母函數(shù)上界: $E{e}^{|X|/K_4}\le 2$

矩母函數(shù)又一個條件: $E{e}^{\lambda X}\le \exp (K_5^2{\lambda }^2),?\lambda ,|\lambda |\le 1/K_5,EX=0$

稱滿足這五條性質(zhì)的分布叫亞指數(shù)分布(sub-exponential distribution)與亞高斯性類似，前四個性質(zhì)等價性的證明與亞高斯分布類似（1推2，2推3，3推4，4推1），這里介紹一下第五條性質(zhì)與其他性質(zhì)的等價性（亞高斯性是3推5，5推1；亞指數(shù)性我們用5推2，2推5）。

2推5
假設(shè)性質(zhì)2成立，取$K_2=1$，考慮$E{e}^{\lambda X}$，假設(shè)$EX=0$，做Taylor展開，
$$E{e}^{\lambda X}=E\left[1+\lambda X+\sum _{p=2}^{\infty }\frac{(\lambda X{)}^p}{p!}\right]=1+\sum _{p=2}^{\infty }\frac{{\lambda }^{p}E[X^p]}{p!}$$

性質(zhì)2說明
$$E[X^p]\le p^p,?p\ge 1$$

根據(jù)Stirling公式，
$$p!\ge (p/e{)}^p$$

于是，當(dāng)$|e\lambda |<1$時
$$E{e}^{\lambda X}\le 1+\sum _{p=2}^{\infty }\frac{{\lambda }^p{p}^p}{(p/e{)}^p}=1+\sum _{p=2}^{\infty }(e\lambda {)}^p=1+\frac{(e\lambda {)}^2}{1?e\lambda }$$

當(dāng)$|e\lambda |<1/2$時，
$$1+\frac{(e\lambda {)}^2}{1?e\lambda }\le 1+2(e\lambda {)}^2\le e^{2e^2{\lambda }^2}$$

于是

$$E{e}^{\lambda X}\le e^{2e^2{\lambda }^2},?|\lambda |<1/2e$$

5推2 假設(shè)性質(zhì)5成立，取$K_5=1$，根據(jù)不等式
$$|x{|}^p\le p^p(e^x+e^{?x}),?x\in \mathbb{R},p>0$$

我們可以得到期望的估計：
$$E|X{|}^p\le p^p(E{e}^X+E{e}^{?X})$$

性質(zhì)5說明
$$E{e}^X\le e,E{e}^{?X}\le e$$

所以
$$E|X{|}^p\le 2e{p}^p$$

這就驗證了$K_2=2e$時性質(zhì)2成立。

---

例 亞指數(shù)分布的應(yīng)用
在判別分析、特征選擇等統(tǒng)計學(xué)習(xí)模型中，我們總是需要對特征$X=(X_1,?,X_p{)}^T$的協(xié)方差矩陣$\Sigma$進(jìn)行估計，記估計量為$\hat{\Sigma }$，目標(biāo)是這個估計量與真實的協(xié)方差不要差別太大，也就是二者之差的某個范數(shù)$\Vert \hat{\Sigma }?\Sigma \Vert$需要足夠小。

但$\hat{\Sigma }$并不是一個確定的值，它是一個隨機變量，所以一種保證$\Vert \hat{\Sigma }?\Sigma \Vert$足夠小的充分條件是$\hat{\Sigma }$的每一個元素${\hat{\sigma }}_{ij}$的分布都盡量集中在對應(yīng)的真實值${\sigma }_{ij}$附近，也就是
$$P(|{\hat{\sigma }}_{ij}?{\sigma }_{ij}|)$$

這個概率要足夠的小。

一種非常常用的協(xié)方差的估計是
$${\hat{\sigma }}_{ij}=\frac{X_i^T{X}_j}{n}$$

這里$n$表示樣本量，如果$X$是高斯的，則我們下一講會證明，$X_i^T{X}_j$是亞指數(shù)分布，于是我們可以用亞指數(shù)性來研究概率$P(|{\hat{\sigma }}_{ij}?{\sigma }_{ij}|)$的大小。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。