偏斜類問題

正樣本數(shù)占樣本總數(shù)的比例極小時(shí)，容易出現(xiàn)偏斜類問題。

例如癌癥測試。樣本集合中僅有0.5%的癌癥樣本，99.5%的正常樣本。通過某一假設(shè)函數(shù)后，得到1%為癌癥患者，99%為正常樣本。雖然總的正確率高達(dá)99%，但假設(shè)函數(shù)并不理想。因?yàn)?#xff0c;我們的目的是為了，檢測出是否得癌。

這時(shí)候，如果將99%的準(zhǔn)確率提升至99.2%，無疑是一個(gè)較大的提升，雖然，在數(shù)值上來看，只有0.2%。

因此，對(duì)于偏斜類問題，需要引入兩個(gè)概念，查準(zhǔn)率（precision）和召回率（recall）.

查準(zhǔn)率&召回率

還是癌癥檢測為例。

?		實(shí)際標(biāo)簽（1代表得癌）
		1	0
預(yù)計(jì)標(biāo)簽（1代表得癌）	1	A	B
	0	C	D

預(yù)計(jì)得癌人數(shù)中，真正得癌的人數(shù)，占預(yù)計(jì)得癌人數(shù)的比例，為查準(zhǔn)率。即

預(yù)計(jì)得癌人數(shù)中，真正得癌的人數(shù)，占實(shí)際得癌人數(shù)的比例，為召回率。即

查準(zhǔn)率和召回率通常是此長彼消的。

比如，我們使用邏輯回歸，計(jì)算得癌風(fēng)險(xiǎn)，通過比對(duì)閥值p，預(yù)判是否得癌。高于p為癌癥，低于p為正常。

當(dāng)將p設(shè)置為0.9時(shí)，預(yù)測過于嚴(yán)謹(jǐn)，導(dǎo)致查出癌癥的人數(shù)減少，準(zhǔn)確率提高，即查準(zhǔn)率提高。同時(shí)，由于過于嚴(yán)謹(jǐn)，導(dǎo)致部分得癌樣本未被檢出，因此召回率會(huì)比較低。

當(dāng)將p設(shè)置為0.1時(shí)，結(jié)果又會(huì)反轉(zhuǎn)。查準(zhǔn)率低，召回率高。

如何權(quán)衡查準(zhǔn)率和召回率呢？

權(quán)衡公式F

通常采用公式F。假設(shè)查準(zhǔn)率為m，召回率為n，那么

F值高者，對(duì)應(yīng)的模型更優(yōu)秀。

例如查準(zhǔn)率，召回率都趨近于1，則F趨近于1。

兩者趨近于0，則F趨近于0.

總結(jié)

以上是生活随笔為你收集整理的我的人工智能之旅——偏斜类问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。