LDA-math-神奇的Gamma函数
/*讀書筆記,白話統計系列,力圖用普通話講述統計學的基本概念。這里的題目是“決策與風險”,講的就是兩類錯誤(type I and type II errors)。以下改編至維恩堡《數理統計初級教程》(常學將等譯,太原:山西人民出版社,1986),英文名叫Statistics: An Intuitive Approach By George H. Weinberg and John Abraham Schumaker。這書幾近絕跡,當回文抄公,以期重見天日。*/
1、假設與決策:場景
原假設:硬幣是均勻的。?? 備擇假設:硬幣是有偏的。
/*當我們難以拒絕原假設時,只能得到結論:原假設也許是真的,現在不能拒絕它。而當我們能夠拒絕它時,結論是:它肯定不真。以下的口語表述不如這里明確(和拗口)的,以這里的表述為準。*/
試驗:在平坦的地方,獨立地投擲硬幣100次,每次投擲的結果都做記錄。最后,正反面出現的次數分別是:
正面:55? 反面:45
提問:根據你所看到的結果,判斷一下,你接受還是拒絕”硬幣是均勻的“這一假設?
-R博士回答:“拒絕這個假設,因為所得到的正面數超過了反面數的允許界限,這表明硬幣是有偏的。”
-A博士回答:“接受硬幣是均勻的這一假設。我們不能非難硬幣擲出55個正面,45個反面,一個均勻的硬幣也能擲出這個比率。”
-R博士:“那什么樣的結果才能使你拒絕那假設呢?我的意思是,正面數和反面數應該有多大的差異,才能使你認為硬幣是有偏的?“
-A博士:“至少90個正面對10個反面,或者90個反面對10個正面。如果我們的決策是拒絕一個擲出55對45這個比率,或者更高一些比率的硬幣,那么這個決策將使我們把許多由于偶然擲出上述比率的均勻硬幣都宣判為有偏的。你的看法使得非難一個均勻的硬幣太容易了。”
-R博士:“太過分了!至少要擲出90對10的比率你才說硬幣是有偏的。你過度的輕信,將幾乎不可能拒絕關于硬幣是均勻的假設。誠然,你很少拒絕一個均勻的硬幣,但對一個有偏的硬幣,你也很難拒絕。”
上面的對話應該讓大伙體會到了一些假設檢驗的意思。可以總結一下,對照下面的表格,思路會清晰一些:
| 判定 \???????? 假設 | 真 | 假 |
| 拒絕 | 第I類錯誤α | 沒有錯誤1-β |
| 接受 | 沒有錯誤 | 第II類錯誤β |
A博士(Accept,接受)的法則是,除非試驗得到的比率超過90比10,否則就接受硬幣是均勻的這一假設。A博士厭惡犯否定均勻硬幣的錯誤(”棄真“,第I類錯誤),他的法則使得犯這種錯誤的概率最小。由于均勻的硬幣幾乎不會出現超過90比10的比率,他很少冒把一個均勻的硬幣說成有偏的風險。然而,他付出的代價是,大大降低了試驗的檢測能力(power,見下),他的法則使得拒絕假設是極端困難的。大量有偏的硬幣也不會出現如90對10這樣大的差異,因此它們也會被當成均勻的硬幣而沒有被檢測出來。可以說,A博士對接受假設有偏愛,當假設為真時,他很少犯拒絕它的錯誤;但當假設不真時,他會常犯接受它的錯誤。
R博士(Reject,拒絕)的法則是,除非比率低于55對45,否則就不能接受硬幣是均勻的這一假設,也即,僅當硬幣的正反面數差異在一個狹窄的界限之內,她才接受假設。她把試驗看成類似9.11時美國進行的安全檢查(”寧可錯殺三千,不可錯過一個“),重要的是檢測出有偏的硬幣。R博士的法則在接受錯誤的假設方面所冒的風險極小(”取偽“,第II類錯誤),代價是增加了把一個均勻硬幣判成有偏的風險。可以說,R博士對拒絕假設有偏愛,當假設碰巧不真時,她很少犯接受它的錯誤;但當假設碰巧為真時,她常犯拒絕它的錯誤。
2-1、決策與風險(用均勻的硬幣做試驗,第I類錯誤)
一次試驗,不足以判斷兩位博士誰的法則是正確的。現在,用一個均勻的硬幣(我們知道,兩位博士不知道,這里的原假設是硬幣是均勻的),把上面提到的投硬幣試驗,重復100次(每個試驗由100次投擲構成),那么,記錄下的正面數X,將構成一個二項分布,X~B(n,p),其中,n=100,p=0.5。根據某個中心極限定理,正態分布是二項分布的極限分布,上面的二項分布可以由均值為np=50,方差為np(1-p)=25的正態分布來近似。又因為二項分布只取整數值,在近似它的正態曲線下會出現很多空隙,為了校正這種情況,可以把整數的兩頭各擴大0.5個單位,以這個區間表示正態曲線下的那個數。
對R博士來說,僅當擲出的正面數多于45,少于55時,她才接受假設。在正態曲線下,這兩個端點可以寫成45.5和54.5。
——|-/-|———
45.5??? 54.5
標準化,(45.5-50)/5=-0.9,(54.5-50)/5=0.9,根據標準正態表,可知45.5-54.5這個接受區域包括了總面積的63%。也即,投擲均勻硬幣所產生的樣本中,有63%的樣本,其正面數落在接受區域,相應地,其正面數落在R博士提出的否定域的概率為37%。也就是說,當硬幣是均勻的時,R博士犯第I類錯誤的概率為37%。對A博士來說,他的接受區域在10-90之間,他幾乎不會犯第I類錯誤。
2-2、決策與風險(用有偏的硬幣做試驗,第II類錯誤,功效)
現在取一個有偏的硬幣(我們知道,兩位博士不知道,這里的原假設還是硬幣是均勻的),即投出正面的概率不等于二分之一(注意,說硬幣是有偏的,并不必對p的值作出指定,因為硬幣有偏可以有無限多種方式)。為了評價兩位博士的法則在拒絕假設方面有多大的成功,我們需要對硬幣指定一個偏度,比如是擲出正面的概率是0.6,做上面同樣的100次試驗(每次試驗有100次投擲),近似成一個正態分布,均值np=60,方差是np(1-p)=24。
對A博士來說,他的判定法則是,只要得到的正面數在10到90之間就接受假設。顯然,即使一個有偏的硬幣所得到的正面數,也位于A博士的接受區域里。即,當硬幣出現正面的概率為0.6時,A博士還是經常要接受均勻硬幣的假設,他幾乎總要犯第II類錯誤。
對R博士來說,她的判定法則是,僅當所得到的正面數位于45-55之間時,才接受假設。可以算出45.5-54.5的面積占整個正態曲線區域的13%,也就是說,在使用偏度為0.6的硬幣做試驗時,R博士錯誤地接受了硬幣是均勻的這一假設的概率是13%(第II類錯誤),相應地,她正確地拒絕均勻硬幣假設的概率為87%。
在這里描述的備擇假設(在硬幣是有偏的,偏度是0.6)下,A博士實際上沒有能力檢測出原假設(硬幣是均勻)的錯誤,而R博士則有相當大的能力實現(87%).這里1-β=87%也被定義為功效(power),即,當特別的原假設出現時,正確地拒絕原假設的概率。
3、假設檢驗
以上不厭其煩地強調了犯兩類錯誤之間的tradeoff。在我們的假設檢驗中,采取的是類似A博士的法則,盡量減少犯第I類錯誤的概率(盡量不要”棄真“),盡管這將提高犯第II類錯誤(”取偽“)的機會。這是一個保守的策略,大概是因為犯第I類錯誤的風險更大,類似于法庭上”無罪推定“的法則:
原假設:被告無罪。?? 備擇假設:被告有罪
除非有特別的充分的證據,否則就認為被告無罪。這里,把清白的被告處以極刑(第I類錯誤)的代價是非常大的,而釋放有罪的被告(第II類錯誤),只是增加了一點司法成本。
/*待續,接下來的主要目的是,用類似的方式,說出P值是什么東西。*/
from:?http://cos.name/2008/12/decision-and-risk/#more-267
總結
以上是生活随笔為你收集整理的LDA-math-神奇的Gamma函数的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 深度学习RCNN, Fast-RCNN,
- 下一篇: 统计之都统计分析和R语言方面的图书