不平衡數(shù)據(jù)分類(lèi)算法介紹與比較

標(biāo)簽：?數(shù)據(jù)挖掘不平衡數(shù)據(jù)機(jī)器學(xué)習(xí) 2016-08-28 21:41?6021人閱讀?評(píng)論(3)?收藏?舉報(bào) ?分類(lèi)： 數(shù)據(jù)挖掘（7）?

目錄(?)[+]

介紹

在數(shù)據(jù)挖掘中，經(jīng)常會(huì)存在不平衡數(shù)據(jù)的分類(lèi)問(wèn)題，比如在異常監(jiān)控預(yù)測(cè)中，由于異常就大多數(shù)情況下都不會(huì)出現(xiàn)，因此想要達(dá)到良好的識(shí)別效果普通的分類(lèi)算法還遠(yuǎn)遠(yuǎn)不夠，這里介紹幾種處理不平衡數(shù)據(jù)的常用方法及對(duì)比。

符號(hào)表示

• 記多數(shù)類(lèi)的樣本集合為L(zhǎng)，少數(shù)類(lèi)的樣本集合為S。
• 用r=|S|/|L|表示少數(shù)類(lèi)與多數(shù)類(lèi)的比例

基準(zhǔn)

我們先用一個(gè)邏輯斯諦回歸作為該實(shí)驗(yàn)的基準(zhǔn)：?

Weighted loss function

一個(gè)處理非平衡數(shù)據(jù)常用的方法就是設(shè)置損失函數(shù)的權(quán)重，使得少數(shù)類(lèi)判別錯(cuò)誤的損失大于多數(shù)類(lèi)判別錯(cuò)誤的損失。在Python的scikit-learn中我們可以使用class_weight參數(shù)來(lái)設(shè)置權(quán)重。

欠采樣方法(undersampling)

Random undersampling of majority class

一個(gè)最簡(jiǎn)單的方法就是從多數(shù)類(lèi)中隨機(jī)抽取樣本從而減少多數(shù)類(lèi)樣本的數(shù)量，使數(shù)據(jù)達(dá)到平衡。?
?

Edited Nearest Neighbor (ENN)

我們將那些L類(lèi)的樣本，如果他的大部分k近鄰樣本都跟他自己本身的類(lèi)別不一樣，我們就將他刪除。?

Repeated Edited Nearest Neighbor

這個(gè)方法就是不斷的重復(fù)上述的刪除過(guò)程，直到無(wú)法再刪除為止。

Tomek Link Removal

如果有兩個(gè)不同類(lèi)別的樣本，它們的最近鄰都是對(duì)方，也就是A的最近鄰是B，B的最近鄰是A，那么A,B就是Tomek link。我們要做的就是講所有Tomek link都刪除掉。那么一個(gè)刪除Tomek link的方法就是，將組成Tomek link的兩個(gè)樣本，如果有一個(gè)屬于多數(shù)類(lèi)樣本，就將該多數(shù)類(lèi)樣本刪除掉。

過(guò)采樣方法(Oversampling)

我們可以通過(guò)欠抽樣來(lái)減少多數(shù)類(lèi)樣本的數(shù)量從而達(dá)到平衡的目的，同樣我們也可以通過(guò)，過(guò)抽樣來(lái)增加少數(shù)類(lèi)樣本的數(shù)量，從而達(dá)到平衡的目的。

Random oversampling of minority class

一個(gè)最簡(jiǎn)單的方法，就是通過(guò)有放回的抽樣，不斷的從少數(shù)類(lèi)的抽取樣本，不過(guò)要注意的是這個(gè)方法很容易會(huì)導(dǎo)致過(guò)擬合。我們通過(guò)調(diào)整抽樣的數(shù)量可以控制使得r=0.5?

Synthetic Minority Oversampling Technique(SMOTE)

這是一個(gè)更為復(fù)雜的過(guò)抽樣方法，他的方法步驟如下：

For each point p in S: 1. Compute its k nearest neighbors in S. 2. Randomly choose r ≤ k of the neighbors (with replacement). 3. Choose a random point along the lines joining p and each of the r selected neighbors. 4. Add these synthetic points to the dataset with class S.

• 1
• 2
• 3
• 4
• 5
• 6
• 7

• 1
• 2
• 3
• 4
• 5
• 6
• 7

For each point p in S： 1. 計(jì)算點(diǎn)p在S中的k個(gè)最近鄰 2. 有放回地隨機(jī)抽取R≤k個(gè)鄰居 3. 對(duì)這R個(gè)點(diǎn)，每一個(gè)點(diǎn)與點(diǎn)p可以組成一條直線，然后在這條直線上隨機(jī)取一個(gè)點(diǎn)，就產(chǎn)生了一個(gè)新的樣本，一共可以這樣做從而產(chǎn)生R個(gè)新的點(diǎn)。 4. 將這些新的點(diǎn)加入S中

• 1
• 2
• 3
• 4
• 5

• 1
• 2
• 3
• 4
• 5

Borderline-SMOTE1

這里介紹兩種方法來(lái)提升SMOTE的方法。

For each point p in S:1. Compute its m nearest neighbors in T. Call this set Mp and let m'= |Mp ∩ L|.2. If m'= m, p is a noisy example. Ignore p and continue to the next point.3. If 0 ≤ m'≤m/2, p is safe. Ignore p and continue to the next point.4. If m/2 ≤ m'≤ m, add p to the set DANGER. For each point d in DANGER, apply the SMOTE algorithm to generate synthetic examples.

• 1
• 2
• 3
• 4
• 5
• 6

• 1
• 2
• 3
• 4
• 5
• 6

For each point p in S:1. 計(jì)算點(diǎn)p在訓(xùn)練集T上的m個(gè)最近鄰。我們稱(chēng)這個(gè)集合為Mp然后設(shè) m'= |Mp ∩ L| (表示點(diǎn)p的最近鄰中屬于L的數(shù)量).2. If m'= m, p 是一個(gè)噪聲,不做任何操作.3. If 0 ≤m'≤m/2, 則說(shuō)明p很安全，不做任何操作.4. If m/2 ≤ m'≤ m, 那么點(diǎn)p就很危險(xiǎn)了，我們需要在這個(gè)點(diǎn)附近生成一些新的少數(shù)類(lèi)點(diǎn)，所以我們把它加入到DANGER中. 最后，對(duì)于每個(gè)在DANGER中的點(diǎn)d，使用SMOTE算法生成新的樣本.

• 1
• 2
• 3
• 4
• 5
• 6

• 1
• 2
• 3
• 4
• 5
• 6

?
我們應(yīng)用Borderline-SMOTE1的參數(shù)設(shè)置為k=5,為了使得r=0.5

Borderline-SMOTE2

這個(gè)與Borderline-SMOTE1很像，只有最后一步不一樣。?
在DANGER集中的點(diǎn)不僅從S集中求最近鄰并生成新的少數(shù)類(lèi)點(diǎn)，而且在L集中求最近鄰，并生成新的少數(shù)類(lèi)點(diǎn)，這會(huì)使得少數(shù)類(lèi)的點(diǎn)更加接近其真實(shí)值。

FOR p in DANGER:1.在S和L中分別得到k個(gè)最近鄰樣本Sk和Lk。2.在Sk中選出α比例的樣本點(diǎn)和p作隨機(jī)的線性插值產(chǎn)生新的少數(shù)類(lèi)樣本3.在Lk中選出1?α比例的樣本點(diǎn)和p作隨機(jī)的線性插值產(chǎn)生新的少數(shù)類(lèi)樣本。

• 1
• 2
• 3
• 4

• 1
• 2
• 3
• 4

為了達(dá)到r=0.5 實(shí)驗(yàn)取k=5?

組合方法(Combination)

SMOTE + Tomek Link Removal

SMOTE + ENN

集成方法(Ensemble)

EasyEnsemble

一個(gè)最簡(jiǎn)單的集成方法就是不斷從多數(shù)類(lèi)中抽取樣本，使得每個(gè)模型的多數(shù)類(lèi)樣本數(shù)量和少數(shù)類(lèi)樣本數(shù)量都相同，最后將這些模型集成起來(lái)。?
算法偽代碼如下：

1. For i = 1, ..., N:(a) 隨機(jī)從 L中抽取樣本Li使得|Li| = |S|.(b) 使用Li和S數(shù)據(jù)集，訓(xùn)練AdaBoost分類(lèi)器Fi。

• 1
• 2
• 3

• 1
• 2
• 3

Fi(x)=sgn(∑j=1niwijfij(x)?bi)

2. 將上述分類(lèi)器聯(lián)合起來(lái)

• 1

• 1

F(x)=sgn(∑i=1NFi(x))

precision on L recall on S

0.98	0.88

BalanceCascad

這個(gè)方法跟EasyEnsemble有點(diǎn)像，但不同的是，每次訓(xùn)練adaboost后都會(huì)扔掉已被正確分類(lèi)的樣本，經(jīng)過(guò)不斷地扔掉樣本后，數(shù)據(jù)就會(huì)逐漸平衡。?
?
該圖來(lái)自：劉胥影, 吳建鑫, 周志華. 一種基于級(jí)聯(lián)模型的類(lèi)別不平衡數(shù)據(jù)分類(lèi)方法[J]. 南京大學(xué)學(xué)報(bào):自然科學(xué)版, 2006, 42(2):148-155

precision on L recall on S

0.99	0.91

---

原文鏈接：Survey of resampling techniques for improving classification performance in unbalanced datasets?
譯者：喬杰

作為分享主義者(sharism)，本人所有互聯(lián)網(wǎng)發(fā)布的圖文均遵從CC版權(quán)，轉(zhuǎn)載請(qǐng)保留作者信息并注明作者a358463121專(zhuān)欄:http://blog.csdn.net/a358463121，如果涉及源代碼請(qǐng)注明GitHub地址：https://github.com/358463121/。商業(yè)使用請(qǐng)聯(lián)系作者。

總結(jié)

以上是生活随笔為你收集整理的不平衡数据分类算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。