偏差與方差

在機器學習中，偏差（bias） 反映了模型無法描述數據規律，而 方差（variance） 反映了模型對訓練集過度敏感，而丟失了數據規律，高偏差和高方差都會造成新數據到來時，模型給出錯誤的預測。

通過 診斷（Diagnose） 模型是出現了高偏差問題還是高方差問題，我們能對癥下藥，采取不同的解決策略。

多項式回歸中偏差與方差

在前面的章節中，我們知道，多項式回歸中，如果多項式次數較高，則容易造成過擬合，此時訓練誤差很低，但是對于新數據的泛化能力較差，導致交叉驗證集和測試集的誤差都很高，此時模型出現了高方差：

$$J_{train}(\theta )issmall$$$$J_{cv}(\theta )>>j_{test}(\theta )$$

而當次數較低時，又易出現欠擬合的狀況，此時無論是訓練集，交叉驗證集，還是測試集，都會有很高的誤差，此時模型出現了高偏差：

$$J_{train}(\theta )islarge$$$$J_{cv}(\theta )\approx j_{test}(\theta )$$

下圖反映了訓練集、交叉驗證集誤差隨多項式次數 $d$ 的變化規律：

正規化過程的偏差與方差

正規化（Regularization）能幫我們解決過擬合問題， $\lambda$ 取值越大，對參數 $\theta$ 的懲罰力度就越大，能夠幫助解決過擬合問題，但是，如果懲罰過重，也會造成欠擬合問題，即會出現高偏差。如果 $\lambda$ 取值較小，則意味著沒有懲罰 $\theta$ ，也就不能解決過擬合問題，會出較高方差：

下圖反映了正規化過程中，訓練集、交叉驗證集誤差隨 $\lambda$ 變化的曲線：

樣本數目對與偏差方差的影響

當訓練樣本的數目 $m$ 較小時，意味著可供學習的知識較少，則模型在訓練階段不容易犯錯誤（訓練集誤差極低），但也發現不了數據的規律（交叉驗證集誤差極高）；而當樣本數目增多時，意味著需要學習的知識增多，則模型雖然在訓練階段容易犯一些錯（訓練集誤差開始增高），但也更容易探測出數據規律（交叉驗證集誤差降低）：

如果模型出現了高偏差，即出現了欠擬合，學習曲線隨樣本數目的變化曲線如下圖所示，即增加樣本數目，仍無法顯著降低交叉驗證集誤差，即無法提高模型的泛化能力：

如果模型出現了高方差，即出現了過擬合，學習曲線隨著樣本數目變化的曲線如下圖所示，即增加樣本數目，可以顯著降低交叉驗證集的誤差，提高模型的泛化能力：

神經網絡結構對偏差方差的影響

當神經網絡的結構簡單時，則易出現高偏差：

當神經網絡的結構過于復雜時，則易出現高方差，此時可以通過增大 $\lambda$ 來解決：

總結

現在，通過診斷模型是出現了高偏差還是高方差問題，我們對于在陷入不歸路的調試中提到算法優化手段有了各自的使用場景：

Column 1Column 2

centered 文本居中	right-aligned 文本居右

手段使用場景

采集更多的樣本	高方差
降低特征維度	高方差
采集更多的特征	高偏差
進行高次多項式回歸	高偏差
降低參數 $\lambda$	高方差
增大參數 $\lambda$	高偏差

總結

以上是生活随笔為你收集整理的4.3 偏差与方差-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。