問題：為什么降低學習率可以會有正則化效果呢？

因為一般根據(jù)在神經(jīng)網(wǎng)絡的經(jīng)驗而言，降低學習率，可以實現(xiàn)更高的訓練效果，即進一步擬合；

在gbdt中，這個學習率與神經(jīng)網(wǎng)絡中的學習率擔任的角色不一樣；

gbdt中的學習率主要是調(diào)節(jié)每棵樹的對預測結果的貢獻；如果學習率下降，就降低了每棵樹的貢獻；模型訓練的預測效果就會下降；為了達到和高學習率相同的效果，就需要生成更多的樹；

當時的疑惑是如果下降學習率，那么就會生成更多的樹，就會更加擬合；怎么會有正則化效果呢？

因為下降學習率，并沒有增加更多的樹，前提假設其他的超參是不變的；

在學習率等超參數(shù)固定的情況下，樹的數(shù)量越多，就模型訓練精度越高；?

在樹的數(shù)量等超參數(shù)固定的情況下，?學習率越高，模型訓練精度越高；

總結

以上是生活随笔為你收集整理的gbdt降低学习率可以实现正则化效果呢的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。