前言

最近在理清一些很必要的也很基礎(chǔ)的東西，記錄一下，結(jié)合網(wǎng)上和文獻(xiàn)，自己也有些易化使之更輕松理解，如有錯誤，請不吝賜教，多謝！

---

Bootstrap(自助法)

Bootstrap是一種抽樣方法

核心思想

這里寫圖片描述

子樣本之于樣本，可以類比樣本之于總體

栗子：我要統(tǒng)計魚塘里面的魚的條數(shù)，怎么統(tǒng)計呢？假設(shè)魚塘總共有魚1000條，我是開了上帝視角的，但是你是不知道里面有多少。

步驟：

1. 承包魚塘，不讓別人撈魚(規(guī)定總體分布不變)。
2. 自己撈魚，撈100條，都打上標(biāo)簽(構(gòu)造樣本)
3. 把魚放回魚塘，休息一晚(使之混入整個魚群，確保之后抽樣隨機(jī))
4. 開始撈魚，每次撈100條，數(shù)一下，自己昨天標(biāo)記的魚有多少條，占比多少(一次重采樣取分布)。
5. 重復(fù)3，4步驟n次。建立分布。

假設(shè)一下，第一次重新捕魚100條，發(fā)現(xiàn)里面有標(biāo)記的魚12條，記下為12%，放回去，再捕魚100條，發(fā)現(xiàn)標(biāo)記的為9條，記下9%，重復(fù)重復(fù)好多次之后，假設(shè)取置信區(qū)間95%，你會發(fā)現(xiàn)，每次捕魚平均在10條左右有標(biāo)記，所以，我們可以大致推測出魚塘有1000條左右。其實是一個很簡單的類似于一個比例問題。這也是因為提出者Efron給統(tǒng)計學(xué)頂級期刊投稿的時候被拒絕的理由--"太簡單"。這也就解釋了，為什么在小樣本的時候，bootstrap效果較好，你這樣想，如果我想統(tǒng)計大海里有多少魚，你標(biāo)記100000條也沒用啊，因為實際數(shù)量太過龐大，你取的樣本相比于太過渺小，最實際的就是，你下次再捕100000的時候，發(fā)現(xiàn)一條都沒有標(biāo)記，，，這特么就尷尬了。。。

---

Bootstrap經(jīng)典語錄

• Bootstrap是現(xiàn)代統(tǒng)計學(xué)較為流行的一種統(tǒng)計方法，在小樣本時效果很好。通過方差的估計可以構(gòu)造置信區(qū)間等，其運(yùn)用范圍得到進(jìn)一步延伸。

• 就是一個在自身樣本重采樣的方法來估計真實分布的問題

• 當(dāng)我們不知道樣本分布的時候，bootstrap方法最有用。

• 整合多個弱分類器，成為一個強(qiáng)大的分類器。這時候，集合分類器(Boosting, Bagging等)出現(xiàn)了。

---

什么是集成學(xué)習(xí)（ensemble learning）

了解boosting和bagging之前，先了解一下什么是集成學(xué)習(xí)，一句話，三個臭皮匠頂個諸葛亮，一箭易折十箭難折，千里之堤潰于蟻穴，啊，跑題了。在分類的表現(xiàn)上就是，多個弱分類器組合變成強(qiáng)分類器。

這里寫圖片描述

一句話，假設(shè)各弱分類器間具有一定差異性（如不同的算法，或相同算法不同參數(shù)配置），這會導(dǎo)致生成的分類決策邊界不同，也就是說它們在決策時會犯不同的錯誤。將它們結(jié)合后能得到更合理的邊界，減少整體錯誤，實現(xiàn)更好的分類效果。

---

Bagging(bootstrap aggregation)

首先：bagging和boosting都是集成學(xué)習(xí)（ensemble learning）領(lǐng)域的基本算法

bagging：從訓(xùn)練集從進(jìn)行子抽樣組成每個基模型所需要的子訓(xùn)練集，對所有基模型預(yù)測的結(jié)果進(jìn)行綜合產(chǎn)生最終的預(yù)測結(jié)果,至于為什么叫bootstrap aggregation，因為它抽取訓(xùn)練樣本的時候采用的就是bootstrap的方法！

---

Bagging策略過程

這里寫圖片描述

• 從樣本集中用Bootstrap采樣選出n個訓(xùn)練樣本(放回，因為別的分類器抽訓(xùn)練樣本的時候也要用)
• 在所有屬性上，用這n個樣本訓(xùn)練分類器（CART or SVM or ...）
• 重復(fù)以上兩步m次，就可以得到m個分類器（CART or SVM or ...）
• 將數(shù)據(jù)放在這m個分類器上跑，最后投票機(jī)制(多數(shù)服從少數(shù))看到底分到哪一類(分類問題)

---

Bagging代表算法-RF(隨機(jī)森林)

RF:Random Forest

其中的Random就是指

1.訓(xùn)練樣本選擇方面的Random：

Bootstrap方法隨機(jī)選擇子樣本

2.特征選擇方面的Random：

屬性集中隨機(jī)選擇k個屬性，每個樹節(jié)點分裂時，從這隨機(jī)的k個屬性，選擇最優(yōu)的(如何選擇最優(yōu)又有各種最大增益的方法，不在本文討論范圍內(nèi))。

---

RF構(gòu)造流程

這里寫圖片描述

1.用Random(訓(xùn)練樣本用Bootstrap方法，選擇分離葉子節(jié)點用上面的2)的方式構(gòu)造一棵決策樹(CART)
2.用1的方法構(gòu)造很多決策樹,每棵決策樹都最大可能地進(jìn)行生長而不進(jìn)行剪枝，許多決策樹構(gòu)成一片森林，決策樹之間沒有聯(lián)系
3.測試數(shù)據(jù)進(jìn)入每一棵決策樹，每棵樹做出自己的判斷，然后進(jìn)行投票選出最終所屬類別(默認(rèn)每棵樹權(quán)重一致)

---

RF優(yōu)點

1.不容易出現(xiàn)過擬合，因為選擇訓(xùn)練樣本的時候就不是全部樣本。
2.可以既可以處理屬性為離散值的量，比如ID3算法來構(gòu)造樹，也可以處理屬性為連續(xù)值的量，比如C4.5算法來構(gòu)造樹。
3.對于高維數(shù)據(jù)集的處理能力令人興奮，它可以處理成千上萬的輸入變量，并確定最重要的變量，因此被認(rèn)為是一個不錯的降維方法。此外，該模型能夠輸出變量的重要性程度，這是一個非常便利的功能。
4.分類不平衡的情況時，隨機(jī)森林能夠提供平衡數(shù)據(jù)集誤差的有效方法

RF缺點

1.隨機(jī)森林在解決回歸問題時并沒有像它在分類中表現(xiàn)的那么好，這是因為它并不能給出一個連續(xù)型的輸出。當(dāng)進(jìn)行回歸時，隨機(jī)森林不能夠作出超越訓(xùn)練集數(shù)據(jù)范圍的預(yù)測，這可能導(dǎo)致在對某些還有特定噪聲的數(shù)據(jù)進(jìn)行建模時出現(xiàn)過度擬合。
2.對于許多統(tǒng)計建模者來說，隨機(jī)森林給人的感覺像是一個黑盒子——你幾乎無法控制模型內(nèi)部的運(yùn)行，只能在不同的參數(shù)和隨機(jī)種子之間進(jìn)行嘗試。

---

Boosting

核心：Boosting是一種框架算法，用來提高弱分類器準(zhǔn)確度的方法，這種方法通過構(gòu)造一個預(yù)測函數(shù)序列，然后以一定的方式將他們組合成為一個準(zhǔn)確度較高的預(yù)測函數(shù)，還有就是，Boosting算法更加關(guān)注錯分的樣本，這點和Active Learning的尋找最有價值的訓(xùn)練樣本有點遙相呼應(yīng)的感覺

很抽象對不對，沒關(guān)系，我們通過Adaboost來理解這個核心思想。

---

Boosting算法代表--Adaboost(Adaptive Boosting)

核心思想：一種迭代算法，針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后進(jìn)行分類，對于分類正確的樣本權(quán)值低，分類錯誤的樣本權(quán)值高（通常是邊界附近的樣本），最后的分類器是很多弱分類器的線性疊加（加權(quán)組合），分類器相當(dāng)簡單。實際上就是一個簡單的弱分類算法提升(boost)的過程。

結(jié)合圖形來過一遍Adaboost算法

這里寫圖片描述

算法開始前，需要將每個樣本的權(quán)重初始化為1/m,這樣一開始每個樣本都是等概率的分布，每個分類器都會公正對待。

這里寫圖片描述

Round1，因為樣本權(quán)重都一樣，所以分類器開始劃分，根據(jù)自己分類器的情況，只和分類器有關(guān)。劃分之后發(fā)現(xiàn)分錯了三個"+"號，那么這些分錯的樣本，在給下一個分類器的時候權(quán)重就得到提高,也就是會影響到下次取訓(xùn)練樣本的分布，就是提醒下一個分類器，“誒！你注意點這幾個小子，我上次栽在他們手里了！”

這里寫圖片描述

Round2,第二代分類器信誓旦旦的對上一代分類器說"我知道了，大哥！我一定睜大眼睛好好分著三個玩意！"ok，這次三個上次分錯的都被分出來了，但是并不是全部正確，這次又栽倒在左下角三個"-"上了，然后臨死前，第二代分類器對下一代分類器說"這次我和上一代分類器已經(jīng)把他們摸得差不多了，你再稍微注意下左下角那三個小子，也別忘了上面那三個(一代錯分的那三個"+")！"

這里寫圖片描述

Round3:有了上面兩位大哥的提醒，第三代分類器表示，我差不多都知道上次大哥們都錯哪了，我只要小心這幾個，應(yīng)該沒什么問題！只要把他們弄錯的我給整對了，然后把我們收集的信息一對，這不就行了么！ok，第三代分類器不負(fù)眾望，成功分對上面兩代分類器重點關(guān)注的對象，至于分錯的那幾個小的，以前大哥們都分對了，我們坐下來核對一下就行了！

這里寫圖片描述

最后，三個分類器坐下來，各自談了談心得，分配了下權(quán)重，然后一個諸葛亮就誕生啦！是不是道理很簡單！至于權(quán)重如何計算，不在本文討論范圍內(nèi)。

---

Adaboost優(yōu)點

1.可以使用各種方法構(gòu)造子分類器，Adaboost算法提供的是框架
2.簡單，不用做特征篩選
3.相比較于RF，更不用擔(dān)心過擬合問題

Adaboost缺點

1.從wiki上介紹的來看，adaboost對于噪音數(shù)據(jù)和異常數(shù)據(jù)是十分敏感的。Boosting方法本身對噪聲點異常點很敏感，因此在每次迭代時候會給噪聲點較大的權(quán)重，這不是我們系統(tǒng)所期望的。
2.運(yùn)行速度慢，凡是涉及迭代的基本上都無法采用并行計算，Adaboost是一種"串行"算法.所以GBDT(Gradient Boosting Decision Tree)也非常慢。

---

Pay Attention

1.Bagging： 樹"并行"生成 ,如RF;Boosting：樹"串行"生成,如Adaboost

2.boosting中的基模型為弱模型，而RF中的基樹是強(qiáng)模型(大多數(shù)情況)

3.boosting重采樣的不是樣本，而是樣本的分布，每次迭代之后，樣本的分布會發(fā)生變化，也就是被分錯的樣本會更多的出現(xiàn)在下一次訓(xùn)練集中

4.明確一點，我們迭代也好(Adaboost),并行(RF)也好，只和訓(xùn)練集有關(guān)，和測試集真的一毛錢關(guān)系都沒有好么！我們先把原始數(shù)據(jù)分類測試集和訓(xùn)練集，然后測試集放一邊，訓(xùn)練集里面再挑子集作為迭代算法用的訓(xùn)練集！這個和K-fold思想很像。

作者：mrlevo520
鏈接：https://www.jianshu.com/p/708dff71df3a
來源：簡書
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。

總結(jié)

以上是生活随笔為你收集整理的Bootstrap(自助法)，Bagging，Boosting(提升)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。