详谈P(查准率),R(查全率),F1值
怎么來的?
????我們平時用的精度accuracy,也就是整體的正確率
????????acc = predict_right_num / predict_num
這個雖然常用,但不能滿足所有任務(wù)的需求。比如,因?yàn)橄憬短嗔?#xff0c;也不能撥開人工的一個一個的看它的好壞(我愛吃啊,想想就心疼),此時我們就需要有一種方法,代替撥開香蕉這種粗魯?shù)氖侄巍_@時我們需要通過一些測試,看看哪種方法能更加準(zhǔn)確的預(yù)測。我們可以通過
????“準(zhǔn)”:預(yù)測的準(zhǔn)確度,就是我預(yù)測的結(jié)果中真正好的香蕉要越多越好;
????“全”:就是所有的好的香蕉預(yù)測出來的越多越好,雖然把有些壞的也預(yù)測是好的了,那也不管,“全”就行。
其實(shí)這兩者都想要達(dá)到就好了,但是不行的:
????比如"準(zhǔn)",我就預(yù)測一個算了,好的香蕉肯定比壞的比例高,也就是我只預(yù)測一個,100%比例幾率最大了,這時就不“全”了,海域好多好的不能都當(dāng)成壞的扔了吧。。
? ? 再比如"全",我去全部預(yù)測成好的這真正好的都在我的預(yù)測里,也就是100%。可是這時的"準(zhǔn)"就賊不準(zhǔn)了。。
? ? 所以就必須來平衡這倆同志的關(guān)系了,怎么平衡呢?肯定是通過權(quán)重來的呀,此時,F值登上歷史舞臺!
啥意思捏?
? ? 實(shí)例化講解吧。比如我們的香蕉中 1 表示好的,0表示壞的,有10個香蕉:
? ? ? ?gold : ? ? [ 1,1,1,1,1,0,0,0,0,0 ]
? ? ? ?pred: ? [ 1,0,1,1,1,1,1,0,0,0 ]
? ? 注釋:gold是現(xiàn)實(shí)的好壞;pred是預(yù)測的好壞。
????P(Precision) 查準(zhǔn)率:就是上面說的"準(zhǔn)"。字面意思好理解呀,就是在預(yù)測當(dāng)中查找準(zhǔn)確個數(shù)的比例。公式為:
? ? ? ? P = 真正預(yù)測準(zhǔn)確的數(shù)量 / 預(yù)測是準(zhǔn)確的數(shù)量 = 4 / 6
? ? R(Recall) 查全率:就是上面的"全"。根據(jù)字面理解,在預(yù)測中看看真正預(yù)測對的占全有對的比率。公式為:
? ? ? R =?真正預(yù)測準(zhǔn)確的數(shù)量 / 所有真正好的數(shù)量 = 4 / 5
? ? F值是:
? ? ? ? F(k) = ( 1 + k ) * P * R / ( ( k*k ) * P + R )
????????注釋:k>0 度量了 查全率 對 查準(zhǔn)率 的相對重要性。k>1查全率有更大影響;k<1查準(zhǔn)率有更大影響。
????????在這個實(shí)例中可以表示為:k>1就是查全率有更大影響,就是好的香蕉最好都預(yù)測出來,因?yàn)槟阌X得不想把好的當(dāng)成壞的扔點(diǎn)( 真可惜,我愛吃啊 ) ;k<1查準(zhǔn)率有更大影響,就是一定要準(zhǔn)確,省時間,省力更重要,不在乎好的香蕉當(dāng)壞的扔點(diǎn)。
? ? 而我們常用的是F1,就是F(1)的意思,k=1,比如我們做一個分類任務(wù),這幾個類覺得都一樣重要。此時:
????????F(1) = 2 * P * R / ( P + R )
代碼實(shí)現(xiàn):
? ? 背景:用evalList的長度是我需要求的P,R,F1的個數(shù),比如我的實(shí)驗(yàn)是立場檢測,分類為FAVOR(支持),AGAINST(反對),NONE(中立)。而NONE一般不考慮,只要求得FAVOR,AGAINST各自的P,R,F1,然后F1求個平均即可。比如這個論文的數(shù)據(jù):
from Stance Detection with Bidirectional Conditional Encoding paper? ? 這時我的evalList里有兩個數(shù)據(jù)分別表示FAVOR,AGAINST各自的P,R,F1值。
????這個P,R,F1的代碼為:
code print就這樣吧。應(yīng)該講的很詳細(xì)了!
作者:zenRRan
鏈接:https://www.jianshu.com/p/6536d584d5fd
來源:簡書
簡書著作權(quán)歸作者所有,任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處。
轉(zhuǎn)載于:https://www.cnblogs.com/yourcool/p/9609538.html
總結(jié)
以上是生活随笔為你收集整理的详谈P(查准率),R(查全率),F1值的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 我要使用蓝牙鼠标,不知道效果怎样?
- 下一篇: 烟雨江湖仁波上师好感怎么刷?