奧卡姆剃刀定律是機(jī)器學(xué)習(xí)選擇算法時(shí)可參照的標(biāo)準(zhǔn)之一。其含義是：在其他條件一樣的情況下，選擇簡(jiǎn)單的那個(gè)。

該定律的意義在于數(shù)據(jù)的擬合和低復(fù)雜性之間實(shí)際上存在著折衷。

理論上假設(shè)的解決方案越復(fù)雜，就越能擬合數(shù)據(jù)，訓(xùn)練數(shù)據(jù)誤差就會(huì)越低

?

圖1

但是在現(xiàn)實(shí)生活中，有關(guān)未知數(shù)據(jù)的泛化誤差，往往如圖2所示。

?

圖2

泛化數(shù)據(jù)誤差實(shí)際是訓(xùn)練數(shù)據(jù)誤差與另一個(gè)名為過(guò)擬合誤差的函數(shù)之和。

?

圖3

在泛化誤差最小得情況下，可獲得最佳復(fù)雜性。用于計(jì)算過(guò)擬合誤差得方法統(tǒng)稱(chēng)為貝葉斯方差方法。在現(xiàn)實(shí)生活中，通常只會(huì)獲得訓(xùn)練數(shù)據(jù)誤差。但實(shí)踐表明，如果你不去選擇能夠使訓(xùn)練數(shù)據(jù)誤差最小化的模型，而是選擇復(fù)雜性低一點(diǎn)的模型，算法的表現(xiàn)往往會(huì)更好。過(guò)擬合是機(jī)器學(xué)習(xí)算法性能不佳得主要緣由。這也是在機(jī)器學(xué)習(xí)中應(yīng)用奧卡姆剃刀定律的原因。

作者：AryaHooper
鏈接：https://www.jianshu.com/p/e5f2a432ce62
來(lái)源：簡(jiǎn)書(shū)
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。

總結(jié)

以上是生活随笔為你收集整理的机器学习中的奥卡姆剃刀定律的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。