嶺回歸是帶二范數懲罰的最小二乘回歸。
ols方法中，
<img src="https://pic1.zhimg.com/716fd592b5b8cb384bd687710942dbc8_b.jpg" data-rawwidth="253" data-rawheight="50" class="content_image" width="253">
X‘X不能為0。當變量之間的相關性較強時，X‘X很小，甚至趨于0。
嶺回歸是一種專用于共線性數據分析的有偏估計回歸方法，實質上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法，對病態數據的擬合要強于OLS。本質是在自變量信息矩陣的主對角線元素上人為地加入一個非負因子。即：
<img src="https://pic2.zhimg.com/f6656562c1a9e16a344eea4e09be25e1_b.jpg" data-rawwidth="369" data-rawheight="54" class="content_image" width="369">
當λ=0時，b（λ）=b。b(λ)中各元素bi(λ)的絕對值均趨于不斷變小(由于自變數間的相關，個別bi(λ)可能有小范圍的向上波動或改變正、負號)，它們對bi的偏差也將愈來愈大；如果λ->∞，則b(λ)->0。b(λ)隨λ的改變而變化的軌跡，就稱為嶺跡。
應用場景就是處理高度相關的數據。畫出嶺跡圖，選取穩定的那一段的lambda就好了。

此圖alpha對應公式中的lamda,b對應weights

病態矩陣：

判別分析的一個假設是用來判定組別的變量不能是完全冗余的變量。判別分析的計算過程中，要求模型中的變量方差/協方差矩陣的逆矩陣。如果變量是與另一個變量完全冗余的，這個矩陣稱為病態矩陣，即矩陣不能求逆。例如，有一個變量是其他三個變量之和，這個變量也存在于模型中，這個矩陣就是病態矩陣。

轉載于:https://www.cnblogs.com/zhangshilin/p/7257840.html

總結

以上是生活随笔為你收集整理的从最小二乘到岭回归(Ridge Regression)的深刻理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。