Gradient Boost 算法流程分析

2012-10-31 19:57?2635人閱讀?評(píng)論(0)?收藏?舉報(bào) ?分類： ? 算法學(xué)習(xí)（15）?

版權(quán)聲明：本文為博主原創(chuàng)文章，未經(jīng)博主允許不得轉(zhuǎn)載。

我們?cè)诤芏郍radient Boost相關(guān)的論文及分析文章中都可以看到下面的公式：

但是，對(duì)這個(gè)公式的理解，我一直也是一知半解，最近，終于下決心對(duì)其進(jìn)行了深入理解。

步驟1：可以看作優(yōu)化目標(biāo)的損失函數(shù)；

步驟2：代表需要學(xué)習(xí)1~M個(gè)模型；

步驟3：將前m-1個(gè)模型的組合F(X)代入損失函數(shù)L(y_i, F(X))，并對(duì)F(X)求導(dǎo)，求得梯度向量表達(dá)式；舉例說明，如果損失函數(shù)是，則對(duì)F(X)求導(dǎo)，得到，當(dāng)i從1取到N時(shí)，得到梯度方向的向量；

步驟4：得到梯度向量之后，我們需要的是梯度向量方向上的新的模型，該模型需與梯度方向越接近越好，故，最小二乘法派上了用場(chǎng)，對(duì)步驟4的表達(dá)式求導(dǎo)，令等于0，可求得新模型的參數(shù)a；

步驟 5：模型解出后，組合新模型之后得到的模型應(yīng)該也滿足損失函數(shù)最小，因此，對(duì)組合權(quán)重求導(dǎo)，令等于0；

步驟 6，模型參數(shù)與模型權(quán)重參數(shù)求出之后，即得到了新模型；

步驟 7：重復(fù)M次，訓(xùn)練也M個(gè)模型。

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Gradient Boost 算法流程分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。