一下內(nèi)容轉(zhuǎn)載自：https://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF

　　ROC（Receiver Operating Characteristic）曲線和AUC常被用來評價(jià)一個(gè)二值分類器（binary classifier）的優(yōu)劣。

　　1） ROC曲線

　　在信號檢測理論中，接收者操作特征曲線（receiver operating characteristic curve，或者叫ROC曲線）是一種坐標(biāo)圖式的分析工具，用于 (1) 選擇最佳的信號偵測模型、舍棄次佳的模型。 (2) 在同一模型中設(shè)定最佳閾值。

　　在做決策時(shí)，ROC分析能不受成本／效益的影響，給出客觀中立的建議。在機(jī)器學(xué)習(xí)的可能就是不受訓(xùn)練數(shù)據(jù)的影響，可以直接評價(jià)該模型的的性能。

　　分類模型（又稱分類器，或診斷）是將一個(gè)實(shí)例映射到一個(gè)特定類的過程。ROC分析的是二元分類模型，也就是輸出結(jié)果只有兩種類別的模型，例如：（陽性／陰性）（有病／沒病）（垃圾郵件／非垃圾郵件）（敵軍／非敵軍）。當(dāng)分類的的對象是一個(gè)連續(xù)值時(shí)必須要使用閾值進(jìn)行分隔，分隔點(diǎn)就叫做分隔門限。

　　二元分類有四種結(jié)果（以高血壓預(yù)測為例）：

真陽性（TP）：診斷為有，實(shí)際上也有高血壓。

偽陽性（FP）：診斷為有，實(shí)際卻沒有高血壓。

真陰性（TN）：診斷為沒有，實(shí)際上也沒有高血壓。

偽陰性（FN）：診斷為沒有，實(shí)際卻有高血壓。

　　關(guān)于上面這四種結(jié)果記起來比較繞，TRUE FALSE前面的表示預(yù)測結(jié)果的是否正確，TRUE表示預(yù)測對了，FALSE表示預(yù)測錯(cuò)了。POSTIVE、NEGTIVE表示預(yù)測的結(jié)果是什么，N表示預(yù)測的結(jié)果是負(fù)樣本，P表示預(yù)測的結(jié)果是正樣本。

　　在上面的四種分類結(jié)果中T表示true也就是表示預(yù)測的結(jié)果是正確的，false則表示預(yù)測的結(jié)果是錯(cuò)誤的；postive則表示訓(xùn)練數(shù)據(jù)的真實(shí)分類為正的，negtive表示訓(xùn)練數(shù)據(jù)的真實(shí)分類為負(fù)。對以上的結(jié)果可以使用一個(gè)2*2的矩陣進(jìn)行描述：

　　

　　從上面的二維矩陣中可以引出一下幾個(gè)指標(biāo)：這些東西的起名都是預(yù)測的類別相對與真實(shí)的樣本之間稱呼。

• TPR：在所有實(shí)際為陽性的樣本中，被正確地判斷為陽性之比率。

　　

• FPR：在所有實(shí)際為陰性的樣本中，被錯(cuò)誤地判斷為陽性之比率。

　　

　　2） ROC空間

　　ROC空間將偽陽性率（FPR）定義為?X?軸，真陽性率（TPR）定義為?Y?軸。就能從所有樣本的（陽性／陰性）真實(shí)值和預(yù)測值計(jì)算出一個(gè) (X=FPR, Y=TPR) 座標(biāo)點(diǎn)。從 (0, 0) 到 (1,1) 的對角線將ROC空間劃分為左上／右下兩個(gè)區(qū)域，在這條線的以上的點(diǎn)代表了一個(gè)好的分類結(jié)果（勝過隨機(jī)分類），而在這條線以下的點(diǎn)代表了差的分類結(jié)果（劣于隨機(jī)分類）。　　

　　完美的預(yù)測是一個(gè)在左上角的點(diǎn)，在ROC空間座標(biāo) (0,1)點(diǎn)，X=0 代表著沒有偽陽性，Y=1 代表著沒有偽陰性（所有的陽性都是真陽性）；也就是說，不管分類器輸出結(jié)果是陽性或陰性，都是100%正確。一個(gè)隨機(jī)的預(yù)測會得到位于從 (0, 0) 到 (1, 1)?對角線（也叫無識別率線）上的一個(gè)點(diǎn)；最直觀的隨機(jī)預(yù)測的例子就是拋硬幣。

讓我們來看在實(shí)際有100個(gè)陽性和100個(gè)陰性的案例時(shí)，四種預(yù)測方法（可能是四種分類器，或是同一分類器的四種閾值設(shè)定）的結(jié)果差異：

　　

　　對以上的四個(gè)例子進(jìn)行分析：

• 點(diǎn)與隨機(jī)猜測線的距離，是預(yù)測力的指標(biāo)：離左上角越近的點(diǎn)預(yù)測（診斷）準(zhǔn)確率越高。離右下角越近的點(diǎn)，預(yù)測越不準(zhǔn)。

• 在A、B、C三者當(dāng)中，最好的結(jié)果是A方法。
• B方法的結(jié)果位于隨機(jī)猜測線（對角線）上，在例子中我們可以看到B的準(zhǔn)確度（ACC，預(yù)測結(jié)果和真實(shí)分類相同的比例）是50%。
• C雖然預(yù)測準(zhǔn)確度最差，甚至劣于隨機(jī)分類，也就是低于0.5（低于對角線）。然而，當(dāng)將C以 (0.5, 0.5) 為中點(diǎn)作一個(gè)鏡像后，C'的結(jié)果甚至要比A還要好。這個(gè)作鏡像的方法，簡單說，不管C（或任何ROC點(diǎn)低于對角線的情況）預(yù)測了什么，就做相反的結(jié)論。

　　3） ROC曲線

　　上面的ROC空間中的單點(diǎn)是在給定模型并且給定閾值的情況下得出的點(diǎn)，但是對于同一模型來說可能會有很多的閾值，那么將同一模型的所有閾值產(chǎn)生的點(diǎn)放到ROC空間中形成的曲線就是ROC曲線。

• 將同一模型每個(gè)閾值?的 (FPR, TPR) 座標(biāo)都畫在ROC空間里，就成為特定模型的ROC曲線。

　　比較不同分類器時(shí)，ROC曲線的實(shí)際形狀，便視兩個(gè)實(shí)際分布的重疊范圍而定，沒有規(guī)律可循。

　　在同一個(gè)分類器之內(nèi)，閾值的不同設(shè)定對ROC曲線的影響，仍有一些規(guī)律可循：

• 當(dāng)閾值設(shè)定為最高時(shí)，亦即所有樣本都被預(yù)測為陰性，沒有樣本被預(yù)測為陽性，此時(shí)在偽陽性率 FPR = FP / ( FP + TN ) 算式中的 FP = 0，所以 FPR = 0%。同時(shí)在真陽性率（TPR）算式中， TPR = TP / ( TP + FN ) 算式中的 TP = 0，所以 TPR = 0%

→?當(dāng)閾值設(shè)定為最高時(shí)，必得出ROC座標(biāo)系左下角的點(diǎn) (0, 0)。

• 當(dāng)閾值設(shè)定為最低時(shí)，亦即所有樣本都被預(yù)測為陽性，沒有樣本被預(yù)測為陰性，此時(shí)在偽陽性率FPR = FP / ( FP + TN ) 算式中的 TN = 0，所以?FPR = 100%。同時(shí)在真陽性率 TPR = TP / ( TP + FN ) 算式中的 FN = 0，所以?TPR=100%

→?當(dāng)閾值設(shè)定為最低時(shí)，必得出ROC座標(biāo)系右上角的點(diǎn) (1, 1)。

• 因?yàn)門P、FP、TN、FN都是累積次數(shù)，TN和FN隨著閾值調(diào)低而減少（或持平），TP和FP隨著閾值調(diào)低而增加（或持平），所以FPR和TPR皆必隨著閾值調(diào)低而增加（或持平）。

→?隨著閾值調(diào)低，ROC點(diǎn)?往右上（或右／或上）移動，或不動；但絕不會往左／下／左下移動。

?　　

　　4） AUC曲線下面積

　　在比較不同的分類模型時(shí)，可以將每個(gè)模型的ROC曲線都畫出來，比較曲線下面積做為模型優(yōu)劣的指標(biāo)。

?　　意義[編輯]

　　ROC曲線下方的面積（英語：Area under the Curve of ROC (AUC ROC)），其意義是：

　　　　因?yàn)槭窃?x1的方格里求面積，AUC必在0~1之間。

　　　　假設(shè)閾值以上是陽性，以下是陰性；

　　　　若隨機(jī)抽取一個(gè)陽性樣本和一個(gè)陰性樣本，分類器正確判斷陽性樣本的值高于陰性樣本之概率^[1]。

　　簡單說：AUC值越大的分類器，正確率越高。

　　從AUC判斷分類器（預(yù)測模型）優(yōu)劣的標(biāo)準(zhǔn)：

• AUC = 1，是完美分類器，采用這個(gè)預(yù)測模型時(shí)，存在至少一個(gè)閾值能得出完美預(yù)測。絕大多數(shù)預(yù)測的場合，不存在完美分類器。
• 0.5 < AUC < 1，優(yōu)于隨機(jī)猜測。這個(gè)分類器（模型）妥善設(shè)定閾值的話，能有預(yù)測價(jià)值。
• AUC = 0.5，跟隨機(jī)猜測一樣（例：丟銅板），模型沒有預(yù)測價(jià)值。
• AUC < 0.5，比隨機(jī)猜測還差；但只要總是反預(yù)測而行，就優(yōu)于隨機(jī)猜測。

? ? ?計(jì)算

　　采用梯形法，將每個(gè)點(diǎn)與點(diǎn)之間使用直線相連，形成一個(gè)個(gè)的梯度，這樣直接計(jì)算這些梯度的面積進(jìn)行求和。

• 優(yōu)點(diǎn)：簡單，所以常用。
• 缺點(diǎn)：傾向于低估AUC。

?　　離散分類器（英語：discrete，或稱“間斷分類器”），如決策樹，產(chǎn)生的是離散的數(shù)值或者一個(gè)二元標(biāo)簽。應(yīng)用到實(shí)例中，這樣的分類器最后只會在ROC空間產(chǎn)生單一的點(diǎn)。而一些其他的分類器，如樸素貝葉斯分類器，邏輯回歸或者人工神經(jīng)網(wǎng)絡(luò)，產(chǎn)生的是實(shí)例屬于某一類的可能性，對于這些方法，一個(gè)閾值就決定了ROC空間中點(diǎn)的位置。舉例來說，如果可能值低于或者等于0.8這個(gè)閾值就將其認(rèn)為是陽性的類，而其他的值被認(rèn)為是陰性類。這樣就可以通過畫每一個(gè)閾值的ROC點(diǎn)來生成一個(gè)生成一條曲線。

　　對于分類器只有閾值可調(diào)時(shí)才能產(chǎn)生ROC曲線否則只是ROC空間的一個(gè)單點(diǎn)。

轉(zhuǎn)載于:https://www.cnblogs.com/daguankele/p/6528307.html

總結(jié)

以上是生活随笔為你收集整理的关于二分类的评价指标体系的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。