UA MATH567 高維統(tǒng)計(jì) 專題0 為什么需要高維統(tǒng)計(jì)理論？——以線性判別分析為例

• • 線性判別分析基礎(chǔ)
  • • 理論
    • 算法

線性判別分析基礎(chǔ)

理論

我們回顧一下二元假設(shè)檢驗(yàn)問題，它的目標(biāo)是判斷某一個(gè)observation $x\in {\mathbb{R}}^d$到底屬于總體$P_1$還是$P_2$，在統(tǒng)計(jì)理論中，Neyman-Pearson引理說明了似然比檢驗(yàn)是最優(yōu)檢驗(yàn)，也就是基于$\log \frac{P_2(x)}{P_1(x)}$導(dǎo)出的檢驗(yàn)統(tǒng)計(jì)量與拒絕域是最優(yōu)的。現(xiàn)在我們考慮線性判別分析的設(shè)定，假設(shè)兩個(gè)總體分別是$N({\mu }_1,\Sigma ),N({\mu }_2,\Sigma )$，則給定某個(gè)observation $x\in {\mathbb{R}}^d$，對(duì)數(shù)似然比為（多元正態(tài)分布的概率密度參考我之前這一篇）
$$\begin{gathered} \log \frac{P_1(x)}{P_2(x)}=\log \frac{(2\pi {)}^{?d/2}|\Sigma {|}^{?1/2}\exp \left(?\frac{1}{2}(x?{\mu }_1{)}^{\prime }{\Sigma }^{?1}(x?{\mu }_1)\right)}{(2\pi {)}^{?d/2}|\Sigma {|}^{?1/2}\exp \left(?\frac{1}{2}(x?{\mu }_2{)}^{\prime }{\Sigma }^{?1}(x?{\mu }_2)\right)} \\ =\frac{1}{2}(x?{\mu }_2{)}^{\prime }{\Sigma }^{?1}(x?{\mu }_2)?\frac{1}{2}(x?{\mu }_1{)}^{\prime }{\Sigma }^{?1}(x?{\mu }_1) \\ =\frac{1}{2}(x?{\mu }_1+({\mu }_1?{\mu }_2){)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2}+\frac{{\mu }_1+{\mu }_2}{2}?{\mu }_2) \\ ?\frac{1}{2}(x?{\mu }_1{)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2}+\frac{{\mu }_1+{\mu }_2}{2}?{\mu }_1) \\ =\frac{1}{2}(x?{\mu }_1{)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2})+\frac{1}{2}({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2}) \\ +\frac{1}{4}(x?{\mu }_1{)}^{\prime }{\Sigma }^{?1}({\mu }_1?{\mu }_2)+\frac{1}{4}({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}({\mu }_1?{\mu }_2) \\ ?\frac{1}{2}(x?{\mu }_1{)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2})?\frac{1}{4}(x?{\mu }_1{)}^{\prime }{\Sigma }^{?1}({\mu }_1?{\mu }_2) \\ =\frac{1}{2}({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2})+\frac{1}{4}({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}({\mu }_1?{\mu }_2) \\ \propto \Psi (x)=({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2}) \end{gathered}$$

如果$\Psi (x)>0$，我們認(rèn)為$x$是來自$P_1$的樣本；如果$\Psi (x)\le 0$，我們認(rèn)為$x$是來自$P_2$的樣本；所以判別分析出錯(cuò)的概率是
$$Err(\Psi )=\frac{1}{2}{P}_1[\Psi (x)\le 0]+\frac{1}{2}{P}_2[\Psi (x)>0]$$

定義
$$\gamma =\sqrt{({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}({\mu }_1?{\mu }_2)}$$

先計(jì)算第一個(gè)概率，如果$x～N({\mu }_1,\Sigma )$，則
$$\begin{gathered} E\Psi (x)=({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}({\mu }_1?\frac{{\mu }_1+{\mu }_2}{2})=\frac{{\gamma }^2}{2} \\ Var(\Psi (x))=({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}\Sigma {\Sigma }^{?1}({\mu }_1?{\mu }_2)={\gamma }^2 \end{gathered}$$

所以$\Psi (x){|}_{P_1}～N(\gamma /2,\gamma )$，于是
$$P_1[\Psi (x)\le 0]=P_1(\frac{\Psi (x)?\frac{{\gamma }^2}{2}}{\gamma }\le ?\frac{\gamma }{2})=\Phi (?\gamma /2)$$

接下來計(jì)算第二個(gè)概率，如果$x～N({\mu }_2,\Sigma )$，則
$$\begin{gathered} E\Psi (x)=({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}({\mu }_2?\frac{{\mu }_1+{\mu }_2}{2})=?\frac{{\gamma }^2}{2} \\ Var(\Psi (x))=({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}\Sigma {\Sigma }^{?1}({\mu }_1?{\mu }_2)={\gamma }^2 \end{gathered}$$

所以$\Psi (x){|}_{P_2}～N(\gamma /2,\gamma )$，于是
$$P_2[\Psi (x)\le 0]=P_2(\frac{\Psi (x)+\frac{{\gamma }^2}{2}}{\gamma }>\frac{\gamma }{2})=\Phi (?\gamma /2)$$

綜上，
$$Err(\Psi )=\Phi (?\gamma /2)$$

算法

我們看一下理論部分的判別規(guī)則：如果$\Psi (x)>0$，我們認(rèn)為$x$是來自$P_1$的樣本；如果$\Psi (x)\le 0$，我們認(rèn)為$x$是來自$P_2$的樣本；要使用這個(gè)規(guī)則進(jìn)行判別，我們需要計(jì)算出
$$\Psi (x)=({\mu }_1?{\mu }_2{)}^{\prime }{\Sigma }^{?1}(x?\frac{{\mu }_1+{\mu }_2}{2})$$

為此，我們需要樣本均值與協(xié)方差矩陣的估計(jì)。假設(shè)我們有$n_1+n_2$個(gè)樣本，前$n_1$個(gè)來自總體$P_1$，后$n_2$個(gè)來自總體$P_2$，引入樣本均值
$${\hat{\mu }}_1=\frac{1}{n_1}\sum _{i=1}^{n_1}{x}_i,{\hat{\mu }}_2=\frac{1}{n_2}\sum _{i=n_1+1}^{n_1+n_2}{x}_i$$

Pooled sample covariance matrix，
$$\hat{\Sigma }=\frac{{\sum }_{i=1}^{n_1}(x_i?{\hat{\mu }}_1)(x_i?{\hat{\mu }}_1{)}^T+{\sum }_{i=1}^{n_2}(x_i?{\hat{\mu }}_2)(x_i?{\hat{\mu }}_2{)}^T}{n_1+n_2?2}$$

把這三個(gè)估計(jì)量代入$\Psi (x)$，我們就可以得到Fisher線性判別函數(shù)(Fisher linear determinant function)：
$$\hat{\Psi }(x)=({\hat{\mu }}_1?{\hat{\mu }}_2{)}^{\prime }{\hat{\Sigma }}^{?1}(x?\frac{{\hat{\mu }}_1+{\hat{\mu }}_2}{2})$$

基于Fisher線性判別函數(shù)的判別錯(cuò)誤概率為
$$Err(\hat{\Psi })=\frac{1}{2}{P}_1[\hat{\Psi }(x)\le 0]+\frac{1}{2}{P}_2[\hat{\Psi }(x)>0]$$

一個(gè)重要的問題是，基于Fisher線性判別函數(shù)的判別錯(cuò)誤概率能不能等于判別分析出錯(cuò)的理論概率，或者說只比判別分析出錯(cuò)的理論概率大一點(diǎn)點(diǎn)？概統(tǒng)祖師爺Kolmogorov分析過這個(gè)問題，如果$d/n_i\to \alpha ,?i=1,2$，${\Vert {\hat{\mu }}_1?{\hat{\mu }}_2\Vert }_2{\to }_p\gamma$，協(xié)方差矩陣為單位陣，則
$$Err(\hat{\Psi }){\to }_p\Phi (?\frac{{\gamma }^2}{2\sqrt{{\gamma }^2+{\alpha }^2}})$$

我們來簡(jiǎn)單看一下下面的實(shí)證結(jié)果：

左圖：Mean shrift越大，說明這兩個(gè)總體分得越開，越不容易判別出錯(cuò)；實(shí)驗(yàn)結(jié)果略大于理論結(jié)果，所以還是比較可信的；

右圖：$\alpha$越大說明$d/n_i$越大，也就是這個(gè)問題的維度越高，這時(shí)實(shí)驗(yàn)的結(jié)果就會(huì)越差，但經(jīng)典理論的結(jié)果是不變，因此我們需要建立新的理論來解釋高維統(tǒng)計(jì)問題。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计 专题0 为什么需要高维统计理论？——以线性判别分析为例的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。