點(diǎn)擊上方關(guān)注，All in AI中國

我仍然記得十五年前第一份工作的第一天，我剛剛完成了我的研究生課程，并以分析師的身份加入了一家全球投資銀行。在上班的第一天，我還是很緊張的，我經(jīng)常會有的小動作就是會時常拉一下我的領(lǐng)帶，我一直在腦海中回憶我曾經(jīng)學(xué)過的一切知識，同時也考慮是不是能夠給我的企業(yè)帶來一些價值。然而，感受到我的焦慮之后，我的老板表示，“不需要擔(dān)心，你只要知道回歸模型就好了。”

我當(dāng)時確實(shí)只考慮這一個問題，事實(shí)證明，我的老板是很正確的，當(dāng)時，回歸建模是無可爭議的預(yù)測分析女王，我當(dāng)時專門建立了基于回歸的統(tǒng)計模型，快近十五年之后，回歸建模的時代已經(jīng)結(jié)束了，老女王的日子也已經(jīng)過去了，新女王的名字也逐漸誕生了，很長很長：XGBoost或Extreme Gradient Boosting！

什么是XGBoost？

XGBoost是一種基于決策樹的集成機(jī)器學(xué)習(xí)算法，它使用的是梯度增強(qiáng)框架。在涉及非結(jié)構(gòu)化數(shù)據(jù)(圖像、文本等)的預(yù)測問題中，人工神經(jīng)網(wǎng)絡(luò)傾向于優(yōu)于所有其他算法或框架。但是，當(dāng)涉及到中小型結(jié)構(gòu)/表格數(shù)據(jù)時，基于決策樹的算法現(xiàn)在被認(rèn)為是同類最佳的。可以參閱下面的圖表，了解多年來基于樹的算法的演變。

決策樹的XGBoost算法演化

XGBoost算法是作為華盛頓大學(xué)的研究項目開發(fā)的。陳天奇和Carlos Guestrin在2016年的SIGKDD會議上發(fā)表了他們的論文，并在機(jī)器學(xué)習(xí)的領(lǐng)域掀起了轟動。自推出以來，該算法不僅贏得了眾多Kaggle比賽的勝利，而且還成為幾個尖端行業(yè)應(yīng)用的引擎驅(qū)動力。此外，有一個強(qiáng)大的數(shù)據(jù)科學(xué)家社區(qū)為XGBoost開源項目做出貢獻(xiàn)，在GitHub上有大約350個貢獻(xiàn)者和大約3,600個提交。該算法通過以下方式區(qū)分自己：

廣泛的應(yīng)用：可用于解決回歸、分類、排名和用戶定義的預(yù)測問題。

可移植性：在Windows、Linux和OS X上運(yùn)行順暢。

語言：支持所有主要的編程語言，包括C ++、Python、R、Java、Scala和Julia。

云集成：支持AWS、Azure和Yarn集群，適用于Flink、Spark和其他生態(tài)系統(tǒng)。

如何為XGBoost建立直覺？

決策樹形式最簡單，是易于可視化和可解釋的算法，但建立下一代基于樹的算法的直覺可能有點(diǎn)棘手。請參閱下面的簡單類比，以更好地了解基于樹的算法的演變。

想象一下，你是一名招聘經(jīng)理，面試幾位具有優(yōu)秀資歷的候選人。基于樹的算法演變的每一步都可以看作是訪談過程的一個版本。

決策樹：每個招聘經(jīng)理都有一套標(biāo)準(zhǔn)，如教育水平、經(jīng)驗(yàn)?zāi)陻?shù)、面試表現(xiàn)。決策樹類似于招聘經(jīng)理根據(jù)他或她自己的標(biāo)準(zhǔn)面試候選人。

套袋法：現(xiàn)在想象一下，不是一個面試官，現(xiàn)在有一個面試小組，每個面試官都有一票。套袋法涉及通過民主投票過程將來自所有調(diào)查員的輸入結(jié)合起來以做出最終決定。

隨機(jī)森林：它是一種基于裝袋的算法，其關(guān)鍵區(qū)別在于隨機(jī)選擇的特征子集。換句話說，每位面試官只會對被面試者進(jìn)行隨機(jī)選擇的資格測試(例如，測試編程技能的技術(shù)面試和評估非技術(shù)技能的行為面試)。

提升：這是一種替代方法，每位面試官根據(jù)前一位面試官的反饋改變評估標(biāo)準(zhǔn)。通過部署更加動態(tài)的評估流程，“提高”面試流程的效率。

梯度提升：通過梯度下降算法將誤差降至最小的一種特殊情況。戰(zhàn)略咨詢公司利用案例訪談來剔除不太合格的候選人。

XGBoost：將XGBoost視為'類固醇'的梯度增強(qiáng)(因此有人稱之為'極端梯度提升')！它是軟件和硬件優(yōu)化技術(shù)的完美結(jié)合，可在最短的時間內(nèi)使用較少的計算資源產(chǎn)生出色的結(jié)果。

為什么XGBoost表現(xiàn)如此之好？

XGBoost和Gradient Boosting Machines(GBMs)都是集合樹方法，它們應(yīng)用了使用梯度下降架構(gòu)來提升弱學(xué)習(xí)者(通常是CART)的原理。但是，XGBoost通過系統(tǒng)優(yōu)化和算法增強(qiáng)改進(jìn)了基礎(chǔ)GBM框架。

XGBoost如何優(yōu)化標(biāo)準(zhǔn)GBM算法

系統(tǒng)優(yōu)化：

并行化：XGBoost使用并行化實(shí)現(xiàn)來處理順序樹構(gòu)建過程。由于用于構(gòu)建基礎(chǔ)學(xué)習(xí)者的循環(huán)的可互換性，這是可能的。枚舉樹的葉節(jié)點(diǎn)的外部循環(huán)以及計算特征的第二個內(nèi)部循環(huán)。這種循環(huán)嵌套限制了并行化，因?yàn)闆]有完成內(nèi)部循環(huán)(對兩者的計算要求更高)，外部循環(huán)無法啟動。因此，為了改善運(yùn)行時間，使用初始化通過所有實(shí)例的全局掃描和使用并行線程排序來交換循環(huán)的順序。此開關(guān)通過抵消計算中的任何并行化開銷來提高算法性能。

剪枝：GBM框架內(nèi)樹分裂的停止標(biāo)準(zhǔn)本質(zhì)上是貪婪的，取決于分裂點(diǎn)的負(fù)損失標(biāo)準(zhǔn)。 XGBoost首先使用'max_depth'參數(shù)而不是標(biāo)準(zhǔn)，然后開始向后修剪樹。這種“深度優(yōu)先”方法顯著提高了計算性能。

硬件優(yōu)化：該算法旨在有效利用硬件資源。這是通過在每個線程中分配內(nèi)部緩沖區(qū)來存儲梯度統(tǒng)計信息來實(shí)現(xiàn)緩存感知來實(shí)現(xiàn)的。諸如“核外”計算等進(jìn)一步增強(qiáng)功能可優(yōu)化可用磁盤空間，同時處理不適合內(nèi)存的大數(shù)據(jù)幀。

算法增強(qiáng)功能：

正則化：它通過LASSO(L1)和Ridge(L2)正則化來懲罰更復(fù)雜的模型，以防止過度擬合。

稀疏性意識:XGBoost通過根據(jù)訓(xùn)練損失自動“學(xué)習(xí)”最佳缺失值，自然地允許輸入的稀疏特性，并更有效地處理數(shù)據(jù)中不同類型的稀疏模式。

加權(quán)分位數(shù)草圖：XGBoost采用分布式加權(quán)分位數(shù)草圖算法有效地找到加權(quán)數(shù)據(jù)集中的最優(yōu)分裂點(diǎn)。

交叉驗(yàn)證：該算法在每次迭代時都帶有內(nèi)置的交叉驗(yàn)證方法，無需顯式編程此搜索，并指定單次運(yùn)行所需的增強(qiáng)迭代的確切數(shù)量。

證據(jù)在哪里？

我們使用Scikit-learn的'Make_Classification'數(shù)據(jù)包創(chuàng)建了一個包含20個特征(2個信息和2個冗余)的100萬個數(shù)據(jù)點(diǎn)的隨機(jī)樣本。我們測試了幾種算法，如Logistic回歸、隨機(jī)森林、標(biāo)準(zhǔn)梯度提升和XGBoost。

使用SKLearn的Make_Classification數(shù)據(jù)集的XGBoost與其他ML算法

如上圖所示，與其他算法相比，XGBoost模型具有預(yù)測性能和處理時間的最佳組合。其他嚴(yán)格的基準(zhǔn)研究也產(chǎn)生了類似的結(jié)果。難怪XGBoost在最近的數(shù)據(jù)科學(xué)競賽中被廣泛使用。

那么我們應(yīng)該一直只使用XGBoost嗎？

談到機(jī)器學(xué)習(xí)(甚至是生活)，沒有免費(fèi)的午餐！作為數(shù)據(jù)科學(xué)家，我們必須測試所有可能的數(shù)據(jù)算法，以確定冠軍算法。此外，選擇正確的算法是不夠的，我們還必須通過調(diào)整超參數(shù)為數(shù)據(jù)集選擇正確的算法配置。此外，選擇獲勝算法還有其他幾個考慮因素，例如計算復(fù)雜性、可解釋性和易于實(shí)現(xiàn)。這正是機(jī)器學(xué)習(xí)開始從科學(xué)走向藝術(shù)的地步，但老實(shí)說，這就是魔術(shù)發(fā)生的地方！

未來該何去何從？

機(jī)器學(xué)習(xí)是一個非常活躍的研究領(lǐng)域，已經(jīng)有幾種可行的XGBoost替代方案。微軟研究院最近發(fā)布了LightGBM框架，用于梯度增強(qiáng)，顯示出巨大的潛力。由Yandex Technology開發(fā)的CatBoost已經(jīng)提供了令人印象深刻的基準(zhǔn)測試結(jié)果。我們有一個更好的模型框架，在預(yù)測性能、靈活性、可解釋性和實(shí)用性方面優(yōu)于XGBoost，這是一個時間問題。然而，直到一個強(qiáng)大的挑戰(zhàn)者出現(xiàn)，XGBoost將繼續(xù)統(tǒng)治機(jī)器學(xué)習(xí)世界！

編譯出品

總結(jié)

以上是生活随笔為你收集整理的xgboost算法_XGBoost算法可能会长期占据你的视野！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。