UA MATH567 高維統計 專題1 Supervised PCA Regression概述

• • 相關結果
  • Supervised PCA Regression

相關結果

考慮經典的回歸問題$y=X\beta +?,X\in {\mathbb{R}}^p,?～N(0,{\sigma }^2{I}_n)$，根據Gauss-Markov定理，在滿足定理的假設時，OLS估計量具有非常好的漸近性質，但是當$p$與$n$非常接近或者模型存在比較強的多重共線性時，OLS是nonstable估計。

PCA Regression是一種改進OLS不穩定性的模型，它分為下面幾個步驟：

計算$X$的principle component（PC），選擇前幾個主成分作為新的regressor

用新的regressor做OLS

PCA方法使得PC互相正交，這樣新的OLS就沒有多重共線性的；OLS的另一種不穩定性主要來自$(X^{T}X{)}^{?1}$的計算，但因為正交性，PC的這一步計算只需要計算對角陣的逆，所以從計算上講PCA Regression更穩定。PCA Regression的缺陷是PCA是非監督學習，是對特征$X$進行降維的；而我們最終目標是要用$X$對$Y$回歸，這是一種監督學習，直接把這兩步串起來我們沒有辦法確保特征$X$的PC與$Y$之間的dependence與$X$與$Y$之間的dependence仍然是完全一致的。

另一種改進多重共線性的方法是Penalized Regression，比如Ridge Regression：
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{n}\sum _{i=1}^n(y_i?x_i^T\beta {)}^2+\lambda {\Vert \beta \Vert }_2^2$$

這個方法的優點是我們能拿到嶺回歸估計量的表達式，
$${\hat{\beta }}_{ridge}=(X^{T}X/n+\lambda I{)}^{?1}{X}^{T}y$$

即使$p$與$n$接近，因為$\lambda I$的存在，計算矩陣的逆時也不會不穩定（不會是non-singular矩陣）；需要注意的是嶺回歸是有偏的，它只能做proportional shrinkage，不能處理sparsity的問題。作為另一種常用的shrinkage estimation，LASSO可以把一些系數shrink到0，因此它能處理sparsity。
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{n}\sum _{i=1}^n(y_i?x_i^T\beta {)}^2+\lambda {\Vert \beta \Vert }_1$$

它在計算上比嶺回歸更復雜，但這二十年來，統計學家開發了許多用來計算LASSO，所以現在已經不是個問題了。關于sparsity，通常用的假設是$|\{j:{\beta }_j=0\}|<<p$，但是如果$p>n$，并且沒有sparsity，那就沒有能處理的方法了。

Supervised PCA Regression

綜合PCA Regression與Penalized Regression的特點，我們可以設計Supervised PCA Regression，假設$X$是centered design matrix，引入$\hat{\Sigma }=X^{T}X/n$，$\hat{\delta }=X^{T}y/n$，定義
$${\hat{\Sigma }}_{\rho }=\hat{\Sigma }+\rho \hat{\delta }{\hat{\delta }}^T$$

這個值形式上與樣本協方差類似，但他包含了feature與label共同的信息，我們提取它的主成分，然后用來做PCA，這就是Supervised PCA Regression。如果$\rho \to 0$，這就是一個PCA regression，如果$\rho \to \infty$，這就是一個marginal regression。Marginal Regression的含義是分別對每一個feature做一元回歸：
$$\begin{gathered} y_1=x_1{\beta }_1+{?}_1 \\ {y}_2=x_2{\beta }_2+{?}_2 \\ ? \\ {y}_p=x_p{\beta }_p+{?}_p \end{gathered}$$

這種模型在variable screening中有一些應用，并且在需要初值的迭代算法中可以作為系數的初始值。

下面我們再介紹一些Supervised PCA Regression的特點。假設
$$\Sigma =E{X}^{T}X,\delta =E{X}^{T}y$$

則
$$\beta ={\Sigma }^{?1}\delta$$

如果$\Sigma$的特征值為${\lambda }_1\ge ?\ge {\lambda }_k>{\lambda }_{k+1}=?={\lambda }_d$，那么做譜分解
$$\Sigma =\sum _{i=1}^k({\lambda }_i?{\lambda }_d){\xi }_i{\xi }_i^T+{\lambda }_d{I}_d$$

根據${\Sigma }^{?1}\Sigma =I_d$，我們可以得到$?a_i,a_0$，
$${\Sigma }^{?1}=\sum _{i=1}^k{a}_i{\xi }_i{\xi }_i^T+a_0{I}_d$$

于是
$$\beta ={\Sigma }^{?1}\delta =\sum _{i=1}^k{a}_i({\xi }_i^T\delta ){\xi }_i+{\lambda }_d\delta \in span({\xi }_1,?,{\xi }_k,\delta )$$

而${\Sigma }_{\rho }=\Sigma +\rho \delta {\delta }^T$的前$k+1$個主成分張成的子空間就是$span({\xi }_1,?,{\xi }_k,\delta )$，這說明用${\Sigma }_{\rho }$的前$k+1$個主成分對特征空間進行降維是不存在信息損失的。而Davis-Kahan定理又能保證${\hat{\Sigma }}_{\rho }$與${\Sigma }_{\rho }$是足夠接近的，所以在以上的理論分析支撐下，我們可以認可Supervised PCA Regression。但關于這個模型的統計理論還有一些問題需要解決：

Supervised PCA Regression系數估計量的統計性質；

關于特征值的假設${\lambda }_1\ge ?\ge {\lambda }_k>{\lambda }_{k+1}=?={\lambda }_d$，如果不成立是否還有降維沒有信息損失的性質？

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计 专题1 Supervised PCA Regression概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。