算法测试—机器学习算法评价指标
目錄
一、分類問題
二、回歸問題
三、聚類
四、信息檢索
五、總結
在使用機器學習算法過程中，針對不同的問題需要不用的模型評估標準，這里統一匯總。主要以兩大類分類與回歸分別闡述。
一、分類問題
1、混淆矩陣
混淆矩陣是監督學習中的一種可視化工具，主要用于比較分類結果和實例的真實信息。矩陣中的每一行代表實例的預測類別，每一列代表實例的真實類別。
真正(True Positive , TP)：被模型預測為正的正樣本。 假正(False Positive , FP)：被模型預測為正的負樣本。 假負(False Negative , FN)：被模型預測為負的正樣本。 真負(True Negative , TN)：被模型預測為負的負樣本。真正率(True Positive Rate,TPR)：TPR=TP/(TP+FN)，即被預測為正的正樣本數 /正樣本實際數。 假正率(False Positive Rate,FPR) ：FPR=FP/(FP+TN)，即被預測為正的負樣本數 /負樣本實際數。 假負率(False Negative Rate,FNR) ：FNR=FN/(TP+FN)，即被預測為負的正樣本數 /正樣本實際數。 真負率(True Negative Rate,TNR)：TNR=TN/(TN+FP)，即被預測為負的負樣本數 /負樣本實際數/22、準確率（Accuracy）
準確率是最常用的分類性能指標，即正確預測樣本數 /樣本總數，公式為：Accuracy = (TP+TN)/(TP+FN+FP+TN)。
3、精確率（Precision）
精確率容易和準確率被混為一談。其實，精確率只是針對預測正確的正樣本而不是所有預測正確的樣本。表現為預測出是正的里面有多少真正是正的。可理解為查準率。
Precision = TP/(TP+FP)。即正確預測的正樣本數 /預測為正的總數
4、召回率（Recall）
召回率表現出在實際正樣本中，分類器能預測出多少。與真正率相等，可理解為查全率。Recall = TP/(TP+FN)，即正確預測的正例數 /實際正例總數。
精準率和召回率的算法評判指標的解讀應該結合具體分析問題的方向和實際場景，不同的場景對于不同指標的側重點是不一樣的。比如在股票預測里面我們更加注重精準率，我們更加注重預測結果的準確度，而召回率低一點意味著我們漏掉了一些希望的結果，而這個影響不大；而在疾病預測里面召回率則更加重要，因為我們更加希望把確實患有疾病的人群檢查出來，不想漏掉實際患病的人群，而此時預測的準確率低一點也沒有關系。
5、F1 score
也有一些情況并不是只關注精準率和召回率中的一個，而是需要同時兼顧精準率和召回率，這個指標有一個叫做F1score,它的指兩者的調和平均值，而非簡單的求取平均。它的特點是如果精準率和召回率一個特別大，一個特別小，則輸出的F1 score則比較小，它可以防止正常平均時的一些判斷偏差的情況，比較好的兼顧兩者的共同大小。
F值是精確率和召回率的調和值，更接近于兩個數較小的那個，所以精確率和召回率接近時，F值最大。很多推薦系統的評測指標就是用F值的。2/F1 = 1/Precision + 1/Recall
6、ROC曲線
邏輯回歸里面，對于正負例的界定，通常會設一個閾值，大于閾值的為正類，小于閾值為負類。如果我們減小這個閥值，更多的樣本會被識別為正類，提高正類的識別率，但同時也會使得更多的負類被錯誤識別為正類。為了直觀表示這一現象，引入ROC。根據分類結果計算得到ROC空間中相應的點，連接這些點就形成ROC curve，橫坐標為False Positive Rate(FPR假正率)，縱坐標為True Positive Rate(TPR真正率)。一般情況下，這個曲線都應該處于(0,0)和(1,1)連線的上方,如圖：
?
ROC曲線中的四個點和一條線: 點(0,1)：即FPR=0, TPR=1，意味著FN＝0且FP＝0，將所有的樣本都正確分類。 點(1,0)：即FPR=1，TPR=0，最差分類器，避開了所有正確答案。 點(0,0)：即FPR=TPR=0，FP＝TP＝0，分類器把每個實例都預測為負類。 點(1,1)：分類器把每個實例都預測為正類。 總之：ROC曲線越接近左上角，該分類器的性能越好。而且一般來說，如果ROC是光滑的，那么基本可以判斷沒有太大的overfitting?
7、AUC
AUC（Area Under Curve）被定義為ROC曲線下的面積(ROC的積分)，通常大于0.5小于1。隨機挑選一個正樣本以及一個負樣本，分類器判定正樣本的值高于負樣本的概率就是 AUC 值。AUC值(面積)越大的分類器，性能越好，如圖：
8、PR曲線
PR曲線的橫坐標是精確率P，縱坐標是召回率R。評價標準和ROC一樣，先看平滑不平滑（藍線明顯好些）。一般來說，在同一測試集，上面的比下面的好（綠線比紅線好）。當P和R的值接近時，F1值最大，此時畫連接(0,0)和(1,1)的線，線和PRC重合的地方的F1是這條線最大的F1（光滑的情況下），此時的F1對于PRC就好像AUC對于ROC一樣。一個數字比一條線更方便調型。
?
?
有時候模型沒有單純的誰比誰好（比如圖二的藍線和青線），所以選擇模型還是要結合具體的使用場景。下面是兩個場景：
- 地震的預測 對于地震的預測，我們希望的是RECALL非常高，也就是說每次地震我們都希望預測出來。這個時候我們可以犧牲PRECISION。情愿發出1000次警報，把10次地震都預測正確了，也不要預測100次對了8次漏了兩次。
- 嫌疑人定罪 基于不錯怪一個好人的原則，對于嫌疑人的定罪我們希望是非常準確的。即時有時候放過了一些罪犯（recall低），但也是值得的。
對于分類器來說，本質上是給一個概率，此時，我們再選擇一個CUTOFF點（閥值），高于這個點的判正，低于的判負。那么這個點的選擇就需要結合你的具體場景去選擇。反過來，場景會決定訓練模型時的標準，比如第一個場景中，我們就只看RECALL=99.9999%（地震全中）時的PRECISION，其他指標就變得沒有了意義。當正負樣本數量差距不大的情況下，ROC和PR的趨勢是差不多的，但是在正負樣本分布極不均衡的情況下，PRC比ROC更能真實的反映出實際情況，因為此時ROC曲線看起來似乎很好，但是卻在PR上效果一般。
二、回歸問題
擬合（回歸）問題比較簡單，所用到的衡量指標也相對直觀。假設yiyi是第ii個樣本的真實值，??iy^i是對第ii個樣本的預測值。
1. 平均絕對誤差（MAE）
平均絕對誤差MAE（Mean Absolute Error）又被稱為l1范數損失（l1-norm loss）：
?
2. 平均平方誤差（MSE）
平均平方誤差MSE（Mean Squared Error）又被稱為l2范數損失（l2-norm loss）：
?
3、均方根誤差（RMSE）
RMSE雖然廣為使用，但是其存在一些缺點，因為它是使用平均誤差，而平均值對異常點（outliers）較敏感，如果回歸器對某個點的回歸值很不理性，那么它的誤差則較大，從而會對RMSE的值有較大影響，即平均值是非魯棒的。
4、解釋變異
解釋變異（?Explained variance）是根據誤差的方差計算得到的：
5、決定系數
決定系數（Coefficient of determination）又被稱為R2分數：
三、聚類
1 . 蘭德指數
蘭德指數（Rand index）需要給定實際類別信息C，假設K是聚類結果，a表示在C與K中都是同類別的元素對數，b表示在C與K中都是不同類別的元素對數，則蘭德指數為：
?
其中數據集中可以組成的總元素對數，RI取值范圍為[0,1]，值越大意味著聚類結果與真實情況越吻合。對于隨機結果，RI并不能保證分數接近零。為了實現“在聚類結果隨機產生的情況下，指標應該接近零”，調整蘭德系數（Adjusted rand index）被提出，它具有更高的區分度：
?
具體計算方式參見Adjusted Rand index。
ARI取值范圍為[?1,1]，值越大意味著聚類結果與真實情況越吻合。從廣義的角度來講，ARI衡量的是兩個數據分布的吻合程度。
2. 互信息
互信息（Mutual Information）也是用來衡量兩個數據分布的吻合程度。假設UU與VV是對NN個樣本標簽的分配情況，則兩種分布的熵（熵表示的是不確定程度）分別為：
利用基于互信息的方法來衡量聚類效果需要實際類別信息，MI與NMI取值范圍為[0,1]，AMI取值范圍為[?1,1]，它們都是值越大意味著聚類結果與真實情況越吻合。
3. 輪廓系數
輪廓系數（Silhouette coefficient）適用于實際類別信息未知的情況。對于單個樣本，設aa是與它同類別中其他樣本的平均距離，bb是與它距離最近不同類別中樣本的平均距離，輪廓系數為：
對于一個樣本集合，它的輪廓系數是所有樣本輪廓系數的平均值。
輪廓系數取值范圍是[?1,1][?1,1]，同類別樣本越距離相近且不同類別樣本距離越遠，分數越高。
四、信息檢索
信息檢索評價是對信息檢索系統性能（主要滿足用戶信息需求的能力）進行評估，與機器學習也有較大的相關性，感興趣的可以參考這篇不錯的博文。
五、總結
上面介紹了非常多的指標，實際應用中需要根據具體問題選擇合適的衡量指標。那么具體工作中如何快速使用它們呢？優秀的Python機器學習開源項目Scikit-learn實現了上述絕指標的大多數，使用起來非常方便。
總結
以上是生活随笔為你收集整理的算法测试—机器学习算法评价指标的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 分类算法—Performance指标
- 下一篇： 监督学习—最小二乘法