分类算法—Performance指标
目錄
一、分類(lèi)問(wèn)題
二、回歸問(wèn)題
三、聚類(lèi)
四、信息檢索
五、總結(jié)
在使用機(jī)器學(xué)習(xí)算法過(guò)程中，針對(duì)不同的問(wèn)題需要不用的模型評(píng)估標(biāo)準(zhǔn)，這里統(tǒng)一匯總。主要以?xún)纱箢?lèi)分類(lèi)與回歸分別闡述。
一、分類(lèi)問(wèn)題
1、混淆矩陣
混淆矩陣是監(jiān)督學(xué)習(xí)中的一種可視化工具，主要用于比較分類(lèi)結(jié)果和實(shí)例的真實(shí)信息。矩陣中的每一行代表實(shí)例的預(yù)測(cè)類(lèi)別，每一列代表實(shí)例的真實(shí)類(lèi)別。
真正(True Positive , TP)：被模型預(yù)測(cè)為正的正樣本。 假正(False Positive , FP)：被模型預(yù)測(cè)為正的負(fù)樣本。 假負(fù)(False Negative , FN)：被模型預(yù)測(cè)為負(fù)的正樣本。 真負(fù)(True Negative , TN)：被模型預(yù)測(cè)為負(fù)的負(fù)樣本。真正率(True Positive Rate,TPR)：TPR=TP/(TP+FN)，即被預(yù)測(cè)為正的正樣本數(shù) /正樣本實(shí)際數(shù)。 假正率(False Positive Rate,FPR) ：FPR=FP/(FP+TN)，即被預(yù)測(cè)為正的負(fù)樣本數(shù) /負(fù)樣本實(shí)際數(shù)。 假負(fù)率(False Negative Rate,FNR) ：FNR=FN/(TP+FN)，即被預(yù)測(cè)為負(fù)的正樣本數(shù) /正樣本實(shí)際數(shù)。 真負(fù)率(True Negative Rate,TNR)：TNR=TN/(TN+FP)，即被預(yù)測(cè)為負(fù)的負(fù)樣本數(shù) /負(fù)樣本實(shí)際數(shù)/22、準(zhǔn)確率（Accuracy）
準(zhǔn)確率是最常用的分類(lèi)性能指標(biāo)，即正確預(yù)測(cè)樣本數(shù) /樣本總數(shù)，公式為：Accuracy = (TP+TN)/(TP+FN+FP+TN)。
3、精確率（Precision）
精確率容易和準(zhǔn)確率被混為一談。其實(shí)，精確率只是針對(duì)預(yù)測(cè)正確的正樣本而不是所有預(yù)測(cè)正確的樣本。表現(xiàn)為預(yù)測(cè)出是正的里面有多少真正是正的。可理解為查準(zhǔn)率。
Precision = TP/(TP+FP)。即正確預(yù)測(cè)的正樣本數(shù) /預(yù)測(cè)為正的總數(shù)
4、召回率（Recall）
召回率表現(xiàn)出在實(shí)際正樣本中，分類(lèi)器能預(yù)測(cè)出多少。與真正率相等，可理解為查全率。Recall = TP/(TP+FN)，即正確預(yù)測(cè)的正例數(shù) /實(shí)際正例總數(shù)。
精準(zhǔn)率和召回率的算法評(píng)判指標(biāo)的解讀應(yīng)該結(jié)合具體分析問(wèn)題的方向和實(shí)際場(chǎng)景，不同的場(chǎng)景對(duì)于不同指標(biāo)的側(cè)重點(diǎn)是不一樣的。比如在股票預(yù)測(cè)里面我們更加注重精準(zhǔn)率，我們更加注重預(yù)測(cè)結(jié)果的準(zhǔn)確度，而召回率低一點(diǎn)意味著我們漏掉了一些希望的結(jié)果，而這個(gè)影響不大；而在疾病預(yù)測(cè)里面召回率則更加重要，因?yàn)槲覀兏酉Ｍ汛_實(shí)患有疾病的人群檢查出來(lái)，不想漏掉實(shí)際患病的人群，而此時(shí)預(yù)測(cè)的準(zhǔn)確率低一點(diǎn)也沒(méi)有關(guān)系。
5、F1 score
也有一些情況并不是只關(guān)注精準(zhǔn)率和召回率中的一個(gè)，而是需要同時(shí)兼顧精準(zhǔn)率和召回率，這個(gè)指標(biāo)有一個(gè)叫做F1score,它的指兩者的調(diào)和平均值，而非簡(jiǎn)單的求取平均。它的特點(diǎn)是如果精準(zhǔn)率和召回率一個(gè)特別大，一個(gè)特別小，則輸出的F1 score則比較小，它可以防止正常平均時(shí)的一些判斷偏差的情況，比較好的兼顧兩者的共同大小。
F值是精確率和召回率的調(diào)和值，更接近于兩個(gè)數(shù)較小的那個(gè)，所以精確率和召回率接近時(shí)，F值最大。很多推薦系統(tǒng)的評(píng)測(cè)指標(biāo)就是用F值的。2/F1 = 1/Precision + 1/Recall
6、ROC曲線
邏輯回歸里面，對(duì)于正負(fù)例的界定，通常會(huì)設(shè)一個(gè)閾值，大于閾值的為正類(lèi)，小于閾值為負(fù)類(lèi)。如果我們減小這個(gè)閥值，更多的樣本會(huì)被識(shí)別為正類(lèi)，提高正類(lèi)的識(shí)別率，但同時(shí)也會(huì)使得更多的負(fù)類(lèi)被錯(cuò)誤識(shí)別為正類(lèi)。為了直觀表示這一現(xiàn)象，引入ROC。根據(jù)分類(lèi)結(jié)果計(jì)算得到ROC空間中相應(yīng)的點(diǎn)，連接這些點(diǎn)就形成ROC curve，橫坐標(biāo)為False Positive Rate(FPR假正率)，縱坐標(biāo)為T(mén)rue Positive Rate(TPR真正率)。一般情況下，這個(gè)曲線都應(yīng)該處于(0,0)和(1,1)連線的上方,如圖：
?
ROC曲線中的四個(gè)點(diǎn)和一條線: 點(diǎn)(0,1)：即FPR=0, TPR=1，意味著FN＝0且FP＝0，將所有的樣本都正確分類(lèi)。 點(diǎn)(1,0)：即FPR=1，TPR=0，最差分類(lèi)器，避開(kāi)了所有正確答案。 點(diǎn)(0,0)：即FPR=TPR=0，FP＝TP＝0，分類(lèi)器把每個(gè)實(shí)例都預(yù)測(cè)為負(fù)類(lèi)。 點(diǎn)(1,1)：分類(lèi)器把每個(gè)實(shí)例都預(yù)測(cè)為正類(lèi)。 總之：ROC曲線越接近左上角，該分類(lèi)器的性能越好。而且一般來(lái)說(shuō)，如果ROC是光滑的，那么基本可以判斷沒(méi)有太大的overfitting?
7、AUC
AUC（Area Under Curve）被定義為ROC曲線下的面積(ROC的積分)，通常大于0.5小于1。隨機(jī)挑選一個(gè)正樣本以及一個(gè)負(fù)樣本，分類(lèi)器判定正樣本的值高于負(fù)樣本的概率就是 AUC 值。AUC值(面積)越大的分類(lèi)器，性能越好，如圖：
8、PR曲線
PR曲線的橫坐標(biāo)是精確率P，縱坐標(biāo)是召回率R。評(píng)價(jià)標(biāo)準(zhǔn)和ROC一樣，先看平滑不平滑（藍(lán)線明顯好些）。一般來(lái)說(shuō)，在同一測(cè)試集，上面的比下面的好（綠線比紅線好）。當(dāng)P和R的值接近時(shí)，F1值最大，此時(shí)畫(huà)連接(0,0)和(1,1)的線，線和PRC重合的地方的F1是這條線最大的F1（光滑的情況下），此時(shí)的F1對(duì)于PRC就好像AUC對(duì)于ROC一樣。一個(gè)數(shù)字比一條線更方便調(diào)型。
?
?
有時(shí)候模型沒(méi)有單純的誰(shuí)比誰(shuí)好（比如圖二的藍(lán)線和青線），所以選擇模型還是要結(jié)合具體的使用場(chǎng)景。下面是兩個(gè)場(chǎng)景：
- 地震的預(yù)測(cè) 對(duì)于地震的預(yù)測(cè)，我們希望的是RECALL非常高，也就是說(shuō)每次地震我們都希望預(yù)測(cè)出來(lái)。這個(gè)時(shí)候我們可以犧牲PRECISION。情愿發(fā)出1000次警報(bào)，把10次地震都預(yù)測(cè)正確了，也不要預(yù)測(cè)100次對(duì)了8次漏了兩次。
- 嫌疑人定罪 基于不錯(cuò)怪一個(gè)好人的原則，對(duì)于嫌疑人的定罪我們希望是非常準(zhǔn)確的。即時(shí)有時(shí)候放過(guò)了一些罪犯（recall低），但也是值得的。
對(duì)于分類(lèi)器來(lái)說(shuō)，本質(zhì)上是給一個(gè)概率，此時(shí)，我們?cè)龠x擇一個(gè)CUTOFF點(diǎn)（閥值），高于這個(gè)點(diǎn)的判正，低于的判負(fù)。那么這個(gè)點(diǎn)的選擇就需要結(jié)合你的具體場(chǎng)景去選擇。反過(guò)來(lái)，場(chǎng)景會(huì)決定訓(xùn)練模型時(shí)的標(biāo)準(zhǔn)，比如第一個(gè)場(chǎng)景中，我們就只看RECALL=99.9999%（地震全中）時(shí)的PRECISION，其他指標(biāo)就變得沒(méi)有了意義。當(dāng)正負(fù)樣本數(shù)量差距不大的情況下，ROC和PR的趨勢(shì)是差不多的，但是在正負(fù)樣本分布極不均衡的情況下，PRC比ROC更能真實(shí)的反映出實(shí)際情況，因?yàn)榇藭r(shí)ROC曲線看起來(lái)似乎很好，但是卻在PR上效果一般。
二、回歸問(wèn)題
擬合（回歸）問(wèn)題比較簡(jiǎn)單，所用到的衡量指標(biāo)也相對(duì)直觀。假設(shè)yiyi是第ii個(gè)樣本的真實(shí)值，??iy^i是對(duì)第ii個(gè)樣本的預(yù)測(cè)值。
1. 平均絕對(duì)誤差（MAE）
平均絕對(duì)誤差MAE（Mean Absolute Error）又被稱(chēng)為l1范數(shù)損失（l1-norm loss）：
?
2. 平均平方誤差（MSE）
平均平方誤差MSE（Mean Squared Error）又被稱(chēng)為l2范數(shù)損失（l2-norm loss）：
?
3、均方根誤差（RMSE）
RMSE雖然廣為使用，但是其存在一些缺點(diǎn)，因?yàn)樗鞘褂闷骄`差，而平均值對(duì)異常點(diǎn)（outliers）較敏感，如果回歸器對(duì)某個(gè)點(diǎn)的回歸值很不理性，那么它的誤差則較大，從而會(huì)對(duì)RMSE的值有較大影響，即平均值是非魯棒的。
4、解釋變異
解釋變異（?Explained variance）是根據(jù)誤差的方差計(jì)算得到的：
5、決定系數(shù)
決定系數(shù)（Coefficient of determination）又被稱(chēng)為R2分?jǐn)?shù)：
三、聚類(lèi)
1 . 蘭德指數(shù)
蘭德指數(shù)（Rand index）需要給定實(shí)際類(lèi)別信息C，假設(shè)K是聚類(lèi)結(jié)果，a表示在C與K中都是同類(lèi)別的元素對(duì)數(shù)，b表示在C與K中都是不同類(lèi)別的元素對(duì)數(shù)，則蘭德指數(shù)為：
?
其中數(shù)據(jù)集中可以組成的總元素對(duì)數(shù)，RI取值范圍為[0,1]，值越大意味著聚類(lèi)結(jié)果與真實(shí)情況越吻合。對(duì)于隨機(jī)結(jié)果，RI并不能保證分?jǐn)?shù)接近零。為了實(shí)現(xiàn)“在聚類(lèi)結(jié)果隨機(jī)產(chǎn)生的情況下，指標(biāo)應(yīng)該接近零”，調(diào)整蘭德系數(shù)（Adjusted rand index）被提出，它具有更高的區(qū)分度：
?
具體計(jì)算方式參見(jiàn)Adjusted Rand index。
ARI取值范圍為[?1,1]，值越大意味著聚類(lèi)結(jié)果與真實(shí)情況越吻合。從廣義的角度來(lái)講，ARI衡量的是兩個(gè)數(shù)據(jù)分布的吻合程度。
2. 互信息
互信息（Mutual Information）也是用來(lái)衡量?jī)蓚€(gè)數(shù)據(jù)分布的吻合程度。假設(shè)UU與VV是對(duì)NN個(gè)樣本標(biāo)簽的分配情況，則兩種分布的熵（熵表示的是不確定程度）分別為：
利用基于互信息的方法來(lái)衡量聚類(lèi)效果需要實(shí)際類(lèi)別信息，MI與NMI取值范圍為[0,1]，AMI取值范圍為[?1,1]，它們都是值越大意味著聚類(lèi)結(jié)果與真實(shí)情況越吻合。
3. 輪廓系數(shù)
輪廓系數(shù)（Silhouette coefficient）適用于實(shí)際類(lèi)別信息未知的情況。對(duì)于單個(gè)樣本，設(shè)aa是與它同類(lèi)別中其他樣本的平均距離，bb是與它距離最近不同類(lèi)別中樣本的平均距離，輪廓系數(shù)為：
對(duì)于一個(gè)樣本集合，它的輪廓系數(shù)是所有樣本輪廓系數(shù)的平均值。
輪廓系數(shù)取值范圍是[?1,1][?1,1]，同類(lèi)別樣本越距離相近且不同類(lèi)別樣本距離越遠(yuǎn)，分?jǐn)?shù)越高。
四、信息檢索
信息檢索評(píng)價(jià)是對(duì)信息檢索系統(tǒng)性能（主要滿足用戶信息需求的能力）進(jìn)行評(píng)估，與機(jī)器學(xué)習(xí)也有較大的相關(guān)性，感興趣的可以參考這篇不錯(cuò)的博文。
五、總結(jié)
上面介紹了非常多的指標(biāo)，實(shí)際應(yīng)用中需要根據(jù)具體問(wèn)題選擇合適的衡量指標(biāo)。那么具體工作中如何快速使用它們呢？優(yōu)秀的Python機(jī)器學(xué)習(xí)開(kāi)源項(xiàng)目Scikit-learn實(shí)現(xiàn)了上述絕指標(biāo)的大多數(shù)，使用起來(lái)非常方便。
總結(jié)
以上是生活随笔為你收集整理的分类算法—Performance指标的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 分类器
- 下一篇： 算法测试—机器学习算法评价指标