準(zhǔn)確率,召回率,F值,ROC,AUC 責(zé)任編輯：詞匯網(wǎng) 發(fā)表時(shí)間：2016-4-23 20:08:08

度量表

1.準(zhǔn)確率

(presion)p=TPTP+FP

理解為你預(yù)測(cè)對(duì)的正例數(shù)占你預(yù)測(cè)正例總量的比率，假設(shè)實(shí)際有90個(gè)正例，10個(gè)負(fù)例，你預(yù)測(cè)80(75+,5-)個(gè)正例，20(15+,5-)個(gè)負(fù)例實(shí)際上你的準(zhǔn)確率為75/80=0.9375，但這個(gè)評(píng)價(jià)指標(biāo)有什么問(wèn)題呢，想想就知道，這里你并沒(méi)有用到實(shí)際的正例數(shù)，那么僅僅靠你猜中的正例作為分母，你并不知道實(shí)際的正例有多少，你看召回率為75/90=0.83，就是說(shuō)你的猜測(cè)局限于預(yù)測(cè)范圍

2.召回率
（recall）r=TPTP+FN

理解為你預(yù)測(cè)對(duì)的正例數(shù)占真正的正例數(shù)的比率，

假設(shè)實(shí)際有90個(gè)正例，10個(gè)負(fù)例，你如果拍腦袋說(shuō)有100(90+,10-)個(gè)正例，召回率為90/90=1，這樣也是不合理的，特別是在正負(fù)樣本失衡，正樣本接近于總數(shù)的時(shí)候從文本檢索的角度來(lái)分析下相應(yīng)的解釋：
3. F值為p和r的調(diào)和平均值 F=2rpp+r

單一的準(zhǔn)確率高和召回率高并不能說(shuō)明問(wèn)題，所以才有了F值得衡量指標(biāo)

如上實(shí)例實(shí)際上 F=0.882，介于準(zhǔn)確率和召回率之間。

4.ROC曲線

對(duì)于0,1兩類分類問(wèn)題,一些分類器得到的結(jié)果往往不是0,1這樣的標(biāo)簽,如神經(jīng)網(wǎng)絡(luò),得到諸如0.5,0,8這樣的分類結(jié)果。這時(shí),我們?nèi)藶槿∫粋€(gè)閾值,比如0.4,那么小于0.4的為0類,大于等于0.4的為1類,可以得到一個(gè)分類結(jié)果。同樣,這個(gè)閾值我們可以取0.1,0.2等等。取不同的閾值,得到的最后的分類情況也就不同。

如下面這幅圖:

藍(lán)色表示原始為負(fù)類分類得到的統(tǒng)計(jì)圖,紅色為正類得到的統(tǒng)計(jì)圖。那么我們?nèi)∫粭l直線,直線左邊分為負(fù)類,右邊分為正,這條直線也就是我們所取的閾值。

閾值不同,可以得到不同的結(jié)果,但是由分類器決定的統(tǒng)計(jì)圖始終是不變的。這時(shí)候就需要一個(gè)獨(dú)立于閾值,只與分類器有關(guān)的評(píng)價(jià)指標(biāo),來(lái)衡量特定分類器的好壞。

還有在類不平衡的情況下,如正樣本90個(gè),負(fù)樣本10個(gè),直接把所有樣本分類為正樣本,得到識(shí)別率為90%。但這顯然是沒(méi)有意義的。

如上就是ROC曲線的動(dòng)機(jī)。

關(guān)于兩類分類問(wèn)題,原始類為positive,negative,分類后的類別為p,n。排列組合后得到4種結(jié)果

于是我們得到四個(gè)指標(biāo),分別為真陽(yáng),偽陽(yáng);偽陰,真陰。

ROC空間將偽陽(yáng)性率（FPR）定義為 X 軸，真陽(yáng)性率（TPR）定義為 Y 軸。這兩個(gè)值由上面四個(gè)值計(jì)算得到,公式如下:

TPR：在所有實(shí)際為陽(yáng)性的樣本中，被正確地判斷為陽(yáng)性之比率。

TPR=TP/(TP+FN)

FPR：在所有實(shí)際為陰性的樣本中，被錯(cuò)誤地判斷為陽(yáng)性之比率。

FPR=FP/(FP+TN)

放在具體領(lǐng)域來(lái)理解上述兩個(gè)指標(biāo)。

如在醫(yī)學(xué)診斷中,判斷有病的樣本。

那么盡量把有病的揪出來(lái)是主要任務(wù),也就是第一個(gè)指標(biāo)TPR,要越高越好。

而把沒(méi)病的樣本誤診為有病的,也就是第二個(gè)指標(biāo)FPR,要越低越好。

不難發(fā)現(xiàn),這兩個(gè)指標(biāo)之間是相互制約的。如果某個(gè)醫(yī)生對(duì)于有病的癥狀比較敏感,稍微的小癥狀都判斷為有病,那么他的第一個(gè)指標(biāo)應(yīng)該會(huì)很高,但是第二個(gè)指標(biāo)也就相應(yīng)地變高。最極端的情況下,他把所有的樣本都看做有病,那么第一個(gè)指標(biāo)達(dá)到1,第二個(gè)指標(biāo)也為1。

我們以FPR為橫軸,TPR為縱軸,得到如下ROC空間。

我們可以看出,左上角的點(diǎn)(TPR=1,FPR=0),為完美分類,也就是這個(gè)醫(yī)生醫(yī)術(shù)高明,診斷全對(duì)。

點(diǎn)A(TPR>FPR),醫(yī)生A的判斷大體是正確的。中線上的點(diǎn)B(TPR=FPR),也就是醫(yī)生B全都是蒙的,蒙對(duì)一半,蒙錯(cuò)一半;下半平面的點(diǎn)C(TPR<FPR),這個(gè)醫(yī)生說(shuō)你有病,那么你很可能沒(méi)有病,醫(yī)生C的話我們要反著聽(tīng),為真庸醫(yī)。

上圖中一個(gè)閾值,得到一個(gè)點(diǎn)。現(xiàn)在我們需要一個(gè)獨(dú)立于閾值的評(píng)價(jià)指標(biāo)來(lái)衡量這個(gè)醫(yī)生的醫(yī)術(shù)如何,也就是遍歷所有的閾值,得到ROC曲線。

還是一開(kāi)始的那幅圖,假設(shè)如下就是某個(gè)醫(yī)生的診斷統(tǒng)計(jì)圖,直線代表閾值。我們遍歷所有的閾值,能夠在ROC平面上得到如下的ROC曲線。

曲線距離左上角越近,證明分類器效果越好。

如上,是三條ROC曲線,在0.23處取一條直線。那么,在同樣的低FPR=0.23的情況下,紅色分類器得到更高的PTR。也就表明,ROC越往上,分類器效果越好。我們用一個(gè)標(biāo)量值A(chǔ)UC來(lái)量化他。

AUC

AUC值為ROC曲線所覆蓋的區(qū)域面積,顯然,AUC越大,分類器分類效果越好。

AUC = 1，是完美分類器，采用這個(gè)預(yù)測(cè)模型時(shí)，不管設(shè)定什么閾值都能得出完美預(yù)測(cè)。絕大多數(shù)預(yù)測(cè)的場(chǎng)合，不存在完美分類器。

0.5 < AUC < 1，優(yōu)于隨機(jī)猜測(cè)。這個(gè)分類器（模型）妥善設(shè)定閾值的話，能有預(yù)測(cè)價(jià)值。

AUC = 0.5，跟隨機(jī)猜測(cè)一樣（例：丟銅板），模型沒(méi)有預(yù)測(cè)價(jià)值。

AUC < 0.5，比隨機(jī)猜測(cè)還差；但只要總是反預(yù)測(cè)而行，就優(yōu)于隨機(jī)猜測(cè)。

AUC的物理意義

假設(shè)分類器的輸出是樣本屬于正類的socre（置信度），則AUC的物理意義為，任取一對(duì)（正、負(fù)）樣本，正樣本的score大于負(fù)樣本的score的概率。

計(jì)算AUC:

第一種方法:AUC為ROC曲線下的面積,那我們直接計(jì)算面積可得。面積為一個(gè)個(gè)小的梯形面積之和。計(jì)算的精度與閾值的精度有關(guān)。

第二種方法:根據(jù)AUC的物理意義,我們計(jì)算正樣本score大于負(fù)樣本的score的概率。取N*M(N為正樣本數(shù),M為負(fù)樣本數(shù))個(gè)二元組,比較score,最后得到AUC。時(shí)間復(fù)雜度為O(N*M)。

第三種方法:與第二種方法相似,直接計(jì)算正樣本score大于負(fù)樣本的概率。我們首先把所有樣本按照score排序,依次用rank表示他們,如最大score的樣本,rank=n(n=N+M),其次為n-1。那么對(duì)于正樣本中rank最大的樣本,rank_max,有M-1個(gè)其他正樣本比他score小,那么就有(rank_max-1)-(M-1)個(gè)負(fù)樣本比他score小。其次為(rank_second-1)-(M-2)。最后我們得到正樣本大于負(fù)樣本的概率為

時(shí)間復(fù)雜度為O(N+M)。

總結(jié)

以上是生活随笔為你收集整理的准确率,召回率,F值,ROC,AUC的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。