多元线性回归模型的特征压缩：岭回归和Lasso回归
多元線性回歸模型中，如果所有特征一起上，容易造成過擬合使測(cè)試數(shù)據(jù)誤差方差過大；因此減少不必要的特征，簡(jiǎn)化模型是減小方差的一個(gè)重要步驟。除了直接對(duì)特征篩選，來也可以進(jìn)行特征壓縮，減少某些不重要的特征系數(shù)，系數(shù)壓縮趨近于0就可以認(rèn)為舍棄該特征。
嶺回歸（Ridge Regression）和Lasso回歸是在普通最小二乘線性回歸的基礎(chǔ)上加上正則項(xiàng)以對(duì)參數(shù)進(jìn)行壓縮懲罰。
首先，對(duì)于普通的最小二乘線性回歸，它的代價(jià)函數(shù)是：
通過擬合系數(shù)β來使RSS最小。方法很簡(jiǎn)單，求偏導(dǎo)利用線性代數(shù)解方程組即可。
根據(jù)線性代數(shù)的理論可知，只要樣本量合適，它就存在唯一解，也就是該模型的最優(yōu)解。
這么做盡管使RSS達(dá)到了最小，它還是把所有的特征看作同樣重要的程度來求解，并沒有做任何特征選擇，因此存在過擬合的可能。
嶺回歸在OLS回歸模型的RSS上加上了懲罰項(xiàng)（l2范數(shù)），這樣代價(jià)函數(shù)就成為：
λ是一個(gè)非負(fù)的調(diào)節(jié)參數(shù)，可以看到：當(dāng)λ=0時(shí)，此時(shí)它與RSS一致，沒有起到任何懲罰作用；當(dāng)λ -> ∞時(shí)，它的懲罰項(xiàng)也就是無窮大，而為了使代價(jià)函數(shù)最小，只能壓縮系數(shù)β趨近于0。
但是因?yàn)棣瞬豢赡転闊o窮大，二次項(xiàng)求偏導(dǎo)時(shí)總會(huì)保留變量本身，所以事實(shí)上它也不可能真正地將某個(gè)特征壓縮為0。盡管系數(shù)較小可以有效減小方差，但依然留著一大長串特征會(huì)使模型不便于解釋。這是嶺回歸的缺點(diǎn)。
lasso回歸的正項(xiàng)則就把二次項(xiàng)改成了一次絕對(duì)值（l1范數(shù)），具體為：
一次項(xiàng)求導(dǎo)可以抹去變量本身，因此lasso回歸的系數(shù)可以為0。這樣可以起來真正的特征篩選效果。
無論對(duì)于嶺回歸還是lasso回歸，本質(zhì)都是通過調(diào)節(jié)λ來實(shí)現(xiàn)模型誤差vs方差的平衡調(diào)整。
訓(xùn)練構(gòu)建嶺回歸模型
> library(ISLR)
> Hitters = na.omit(Hitters)
> x = model.matrix(Salary~., Hitters)[,-1] # 構(gòu)建回歸設(shè)計(jì)矩陣
> y = Hitters$Salary
>
> library(glmnet)
> grid = 10^seq(10,-2,length = 100) # 生成100個(gè)λ值
> ridge.mod = glmnet(x,y,alpha = 0,lambda = grid) # alpha為0表示嶺回歸模型，為1表示lasso回歸模型
>
> dim(coef(ridge.mod)) # 20*100的系數(shù)矩陣。20是19個(gè)特征+截距項(xiàng)，100是λ值
[1] 20 100
>
> # 顯然可見l2范數(shù)越大，系數(shù)就越小
> ridge.mod$lambda[50]
[1] 11497.57
> coef(ridge.mod)[,50]
(Intercept) AtBat Hits HmRun Runs
407.356050200 0.036957182 0.138180344 0.524629976 0.230701523
RBI Walks Years CAtBat CHits
0.239841459 0.289618741 1.107702929 0.003131815 0.011653637
CHmRun CRuns CRBI CWalks LeagueN
0.087545670 0.023379882 0.024138320 0.025015421 0.085028114
DivisionW PutOuts Assists Errors NewLeagueN
-6.215440973 0.016482577 0.002612988 -0.020502690 0.301433531
> ridge.mod$lambda[60]
[1] 705.4802
> coef(ridge.mod)[,60]
(Intercept) AtBat Hits HmRun Runs
54.32519950 0.11211115 0.65622409 1.17980910 0.93769713
RBI Walks Years CAtBat CHits
0.84718546 1.31987948 2.59640425 0.01083413 0.04674557
CHmRun CRuns CRBI CWalks LeagueN
0.33777318 0.09355528 0.09780402 0.07189612 13.68370191
DivisionW PutOuts Assists Errors NewLeagueN
-54.65877750 0.11852289 0.01606037 -0.70358655 8.61181213
>
> # 輸入一個(gè)新的λ，比如50，來預(yù)測(cè)系數(shù)
> predict(ridge.mod,s=50,type="coefficients")[1:20,]
(Intercept) AtBat Hits HmRun Runs
4.876610e+01 -3.580999e-01 1.969359e+00 -1.278248e+00 1.145892e+00
RBI Walks Years CAtBat CHits
8.038292e-01 2.716186e+00 -6.218319e+00 5.447837e-03 1.064895e-01
CHmRun CRuns CRBI CWalks LeagueN
6.244860e-01 2.214985e-01 2.186914e-01 -1.500245e-01 4.592589e+01
DivisionW PutOuts Assists Errors NewLeagueN
-1.182011e+02 2.502322e-01 1.215665e-01 -3.278600e+00 -9.496680e+00
>
> # 劃分訓(xùn)練集和測(cè)試集
> set.seed(1)
> train = sample(1:nrow(x),nrow(x)/2)
> test = (-train)
> y.test = y[test]
>
> # 訓(xùn)練模型，并計(jì)算λ=4時(shí)的MSE
> ridge.mod = glmnet(x[train,],y[train],alpha = 0,lambda = grid,thresh = 1e-12)
> ridge.pred = predict(ridge.mod,s=4,newx = x[test,])
> mean((ridge.pred - y.test)^2)
[1] 101036.8
>
> # 增大λ為10的10^10，此時(shí)可視為各個(gè)特征都被壓縮趨近為0，基本只剩截距項(xiàng)起作用
> ridge.pred = predict(ridge.mod,s=1e10,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE更大
[1] 193253.1
>
> # 計(jì)算當(dāng)λ=0也就是不加懲罰的最小二乘回歸
> ridge.pred = predict(ridge.mod,s=0,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 114723.6
>
> ## 以上結(jié)果說明，如果λ選得不合適，結(jié)果不一定就比最小二乘回歸模型更優(yōu)。至于怎么選擇λ，就用交叉驗(yàn)證法。
>
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha=0)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為212
[1] 211.7416
>
> ridge.pred = predict(ridge.mod,s=bestlam,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 96015.51
>
> # 基于整個(gè)數(shù)據(jù)集構(gòu)建嶺回歸模型
> out = glmnet(x,y,alpha = 0)
> predict(out,type = "coefficients",s=bestlam)[1:20,]
(Intercept) AtBat Hits HmRun Runs
9.88487157 0.03143991 1.00882875 0.13927624 1.11320781
RBI Walks Years CAtBat CHits
0.87318990 1.80410229 0.13074381 0.01113978 0.06489843
CHmRun CRuns CRBI CWalks LeagueN
0.45158546 0.12900049 0.13737712 0.02908572 27.18227535
DivisionW PutOuts Assists Errors NewLeagueN
-91.63411299 0.19149252 0.04254536 -1.81244470 7.21208390
>
> ## 可見嶺回歸模型還是19個(gè)特征，沒有舍棄任何特征！
cv.out的圖如下：
當(dāng)log(λ)為5.+時(shí)（log(bestlam)=5.3），MSE最小。
訓(xùn)練構(gòu)建lasso回歸模型
> lasso.mod = glmnet(x[train,],y[train],alpha = 1,lambda = grid)
> plot(lasso.mod) # 可見有些特征的系數(shù)確實(shí)可以為0
>
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha =1)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為16
[1] 16.78016
> lasso.pred = predict(lasso.mod,s=bestlam,newx = x[test,])
> mean((lasso.pred-y.test)^2)
[1] 100743.4
>
> ## 可見lasso回歸模型與嶺回歸模型MSE差不多，甚至嶺回歸模型的MSE更小一些。
>
> out = glmnet(x,y,alpha = 1,lambda = grid)
> lasso.coef = predict(out,type="coefficients",s=bestlam)[1:20,]
> lasso.coef
(Intercept) AtBat Hits HmRun Runs
18.5394844 0.0000000 1.8735390 0.0000000 0.0000000
RBI Walks Years CAtBat CHits
0.0000000 2.2178444 0.0000000 0.0000000 0.0000000
CHmRun CRuns CRBI CWalks LeagueN
0.0000000 0.2071252 0.4130132 0.0000000 3.2666677
DivisionW PutOuts Assists Errors NewLeagueN
-103.4845458 0.2204284 0.0000000 0.0000000 0.0000000
>
> ## 可見lasso回歸模型中，有12個(gè)特征系數(shù)被壓縮至0。相對(duì)于嶺回歸模型，這里的lasso回歸模型以犧牲一部分的準(zhǔn)確度為代價(jià)，換取更簡(jiǎn)潔的模型，增加模型的可解釋性。這是lasso回歸的優(yōu)勢(shì)。
總結(jié)
以上是生活随笔為你收集整理的多元线性回归模型的特征压缩：岭回归和Lasso回归的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【案例】舒邑:一个女装品牌的奇葩打法-@
- 下一篇： 学而思xPad2ProMax测评：价值不