1 嶺回歸（ridge regression）介紹

????????L2正則化的目的就是要讓權(quán)重衰減到更小的值，在一定程度上減少過(guò)擬合的問(wèn)題。

?

L2正則化可以使參數(shù)趨近于0，函數(shù)更加平滑?

2 L2正則化的求解過(guò)程

?

?半正定矩陣加上對(duì)角矩陣λI一定是可逆的，可以解決可能不可逆帶來(lái)的問(wèn)題。

3 從貝葉斯的角度看嶺回歸

和機(jī)器學(xué)習(xí)筆記：線性回歸_UQI-LIUWJ的博客-CSDN博客中一樣，我們?nèi)匀徽J(rèn)為實(shí)際值和估計(jì)值之間的差距是高斯噪聲，即y和f(w)滿足：

另外，我們假設(shè)參數(shù)ω的分組服從以下先驗(yàn)分布（這里補(bǔ)充說(shuō)明一下為什么線性回歸里面不用假設(shè)ω的分布，但是嶺回歸里面需要：因?yàn)槲覀儙X回歸【L2正則化】的作用是限制參數(shù)ω的范圍，也就是將他壓縮到0附近的一個(gè)區(qū)間內(nèi)，所以要限制他滿足的范圍內(nèi)）

?

3.1 用最大后驗(yàn)法求解參數(shù)ω?

找概率最大的w

可以看到正則化的最小二乘法與噪聲為高斯噪聲且參數(shù)先驗(yàn)也是高斯分布時(shí)的最大后驗(yàn)估計(jì)法是等價(jià)的。

4 總結(jié)

最小二乘法（線性回歸）<——>噪聲是高斯分布的 最大先驗(yàn)估計(jì)

正則化最小二乘法（帶正則項(xiàng)的線性回歸）<——>噪聲是高斯分布，且參數(shù)先驗(yàn)也是高斯分布的 最大先驗(yàn)估計(jì)

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：岭回归（L2正则化）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。