概率的基本概念
FROM:?http://www.cnblogs.com/ronny/p/3345900.html
1 概率是什么
概率是表示某種情況(事件)出現的可能性大小的一種數量指標,它介于0與1之間。
1.1 主觀概率
憑著經驗和知識對事件發生的可能性作出的一種主觀估計,主觀概率可以理解為一種心態或傾向性。
這里的某種事件后面即定義為隨機事件,所謂“隨機事件”,即它的結果具有偶然性。
1.2 古典概率的定義
假定某個試驗有有限個可能的結果e1,e2,…,eN。假定從該試驗的條件及實施方法去分析,我們找不到任何理由認為其中某一結果,例如ei,比任一其他結果,例如ej,更具有優勢(即更傾向于易發生),則我們只好認為,所有結果e1,e2,…,eN在試驗中有同等可能的出現機會,即1/N的出現機會。常常把這樣的試驗結果稱為“等可能的”。
設一個試驗有N個等可能的結果,而事件E恰包含中的M個結果,則事件E的概率,記為P(E),定義為:
P(E)=M/N
上面的古典定義它只能用于全部試驗結果為有限個,且等可能性成立的情況,某些情況下,這個概念可以引申到試驗結果有無限多的情況。
古典概率的核心實際上就是"數數",首先數樣本空間中基本事件的個數N,再數事件A包含的基本事件個數M
1.3 幾何概率
甲、乙二人約定1點到2點之間在某處碰頭,約定先到者等候10分鐘即離去。設想甲、乙二人各自隨意地在1-2點之間選一個時刻到達該處,問“甲乙二人能碰上”這事件E的概率是多少?
如果我們以一個坐標系來代表所有事件發生的平面,則x軸代表甲出發的時刻,y軸代表乙出發的時刻,如果甲乙能碰上則必須滿足:
|x?y|<10
可以計算在坐標軸平面上,滿足上面不等式的區域的面積。
幾何概率的基本思想是把事件與幾何區域對應,利用幾何區域的度量來計算事件發生的概率。
1.4 概率的頻率定義方法
1)與考察事件A有關的隨機現像可大量重復進行
2)在n次重復試驗中,記n(A)為事件A出現的次數,又稱n(A)為事件A的頻數。稱fn(A)=n(A)n為事件A出現的頻率。
3)人們的長期實踐表明:隨著試驗重復次數n的增加,頻率fn(A)會穩定在某一常數a附近,我們稱這個常數為頻率的穩定值。這個頻率的穩定值就是我們所求的概率。
?
2 古典概率的計算
?
2.1 兩個原理
1)乘法原理
如果某件事需經過k個步驟才能完成,做第一步有m1種方法,做第二步有m2種方法……做第k步有mk種方法,那么完成這件事共有m1×m2×?×mk種方法。
2)加法原理
如果某件事可由k類不同途徑之一去完成,在第一類途徑中有m1種完成的方法,在第二類途徑中有m2種完成的方法……在第k類途徑中有mk種完成的方法,那么完成這件事共有m1+m2+?+mk種方法。
2.2 排列與組合
按照古典概率公式的定義,古典概率的計算歸結為計算兩個數M和N。這種計算大多數涉及排列組合。二者的區別在于,排列要計較次序而組合不計較:ab和ba是不同的排列,但是是相同的組合。
排列:n個相異物件取r個(1≤r≤n)的不同排列總數為
Pnr=n(n?1)(n?2)…(n?r+1)
特別地,當n=r時,得到Prr=r(r?1)…1=r!,稱為r的一個全排列。
組合:n個相異物件取r個(1≤r≤n)的不同組合總數為
Cnr=Pnr/r!=n!/(r!(n?r)!)
有些書中把記號Cnr寫為Crn。Cnr的一個更通用的記號是(nr)。我們后面將用(nr)取代Cnr。我們很容易推導出(n0)=1且有,
(nr)=n(n?1)…(n?r+1)/r!
2.3 與二項式展開的關系
組合系數(nr)又常稱為二項式系數,因為它出現在下面熟知的二項式展開的公式中:
(a+b)n=∑i=0n(nr)aibn?i
這面這個公式的證明很簡單:因為,(a+b)n=(a+b)(a+b)…(a+b).為了產生aibn?i這一項,在這n個(a+b)中,要從其中的i個取出a,另n?i個取出b。從n個中取出i個的不同取法為(nr),這也就是aibn?i這一項的系數。
2.4 分堆問題
n個相異物件分成k堆,各堆物體數分別為r1,r2,…,rk的分法是
n!r1!…rk!
此處r1,r2,…,rk都是非負整數,其和為n
舉個例子:共有n雙各異的鞋子一共2n只,把它們隨機分為n堆,每堆2只,求恰好每堆鞋子組成一雙的概率:
先求所有可能的分法,按上面的公式,可以得出一共有(2n)!/2n種分法,而如果把每一雙鞋子看成一個物體,則n個物體的全排列為n!種,所以最終的概率為2nn!(2n)!
古典概率的計算基本都涉及到排列組合問題,這類問題可能情況很復雜,設計的很難,所以不用花太多時間在古典概率的計算上。
3 事件的運算
?
3.1 事件的蘊含、包含及相等
在同一試驗下的兩事件A和B,如果當A發生時B必發生,則稱A蘊含B,或者說B包含A,記為A?B。若A,B互相蘊含,即A?B且B?A,則稱A,B兩事件相等,記為A=B。
如下圖中所示,方框如果是一個靶,則如果擊中了A,則一定擊中了B。A和B相比A更難發生一些,因而其概率就必然小于至多等于B的概率。
3.2 事件的互斥和對立
若兩件事A和B不能在同一次試驗中都發生(但可以都不發生),則稱它們是互斥的。如果一些事件中任意兩個都互斥,則稱這些事件是兩兩互斥的,或簡稱互斥的。
任何一個樣本空間,它的基本事件之間都是彼此互斥的。值得注意的事,互斥事件一定是在同一個試驗下的,可能出現的不同的結果。這兩個事件是對這個試驗結果不同可能性的描述。
如擲一個骰子時,擲出1點和擲出2點這兩個事件就是互斥的,它兩不可能同時發生,但可以都不發生。
互斥事件一個重要的情況是“對立事件”,若A為一事件,則事件B={A不發生}稱為A的對立事件,多記為Aˉ(也記為Ac)。
如擲一個骰子時,擲出是奇數點與擲出是偶數點就是對立事件。
這里注意區分對立事件與互斥事件!
3.3 事件的和
設有兩事件A,B,定義一個新事件C如下:
C={A發生,或B發生}={A,B至少發生一個}
這樣定義的事件C稱為A與事件B的和,記為C=A+B。
推廣到多個事件的情形,設有若干個事件A1,A2,…,An。它們的和A,定義為事件
A={A1發生,或A2發生,?,或An發生}={A1,A2,…,An至少發生一個}
3.4 概率的加法定理
公理
若干個互斥事件之和的概率,等于各事件的概率之和:
P(A1+A2+…)=P(A1)+P(A2)+…
推論
以Aˉ表示A的對立事件,則
P(Aˉ)=1?P(A)
3.5 事件的積、事件的差
設有兩件事A,B,則如下定義的事件C
C={A,B都發生}
多個事件A1,A2,…(有限或無限個都可以)的積的定義類似:A={A1,A2,?都發生},記為A=A1A2…,或∏ni=1Ai
兩個事件A,B之差,記為A?B,定義為:
A?B={A發生,B不發生}=ABˉ
?
4 條件概率與獨立性
?
4.1 條件概率的定義
設有兩事件A,B而P(B)≠0。則“在給定B發生的條件下A的條件概率”,記為P(A|B),定義為
P(A|B)=P(AB)/P(B)
思考:有三張牌,第一張牌兩面都是一個實心點,第二張牌一面為一實心點,一面為一空心點;第三張牌兩面都是空心點。現在隨機從3張中抽一張牌,而且它的一面是實心點,那么這張牌另一面也是實心點的概率是多少?
4.2 事件的獨立性,概率乘法定理
設有兩事件A,B,A的無條件概率P(A)與其在給定B發生之下的條件概率P(A|B),一般是有差異的。這反映了這兩事件之間存在著一些關聯。例如,若P(A|B)>P(A),則B的發生使A發生的可能性增大了:B促進了A的發生。
反之,若P(A|B)=P(A),則B的發生與否對A發生可能性毫無影響。這時在概率論上就稱A,B兩事件獨立。我們很容易得到
P(AB)=P(A)P(B)
對于滿足上面公式的兩件事件A,B,稱A,B獨立。上面的公式也即為概率的乘法定理。
判斷事件是相互獨立,有時并不是通過上面的公式去判定。
假設擲3個骰子,定義下面兩個事件A和B。A={至少有一個骰子擲出1},事件B={三個骰子擲出的點數中至少有兩個一樣},問A,B是否獨立?
初看往往會覺得A與B獨立,因為一個關心的是擲出的點數,另一個是擲出的同樣性(不關心點數是多少)。也就是有沒有擲出1好像對事件B沒有利也沒有害。
換一個角度,考慮A的對立事件,即沒有一個骰子擲出1,說明三個骰子擲出的點數為{2,3,4,5,6}那么,事件B中,每個骰子最多只有5個結果了,相比原來少了一種可能性,那么顯然B事件發生最終的概率也變了。
若干個獨立事件A1,A2,…為有限或無限個事件。如果從其中任意取出有限個Ai1,Ai2,…,Aim都成立
P(Ai1Ai2…Aim)=P(Ai1)P(Ai2)…P(Aim)
則稱事件A1,A2,…相互獨立。也就是說,對一任意一件事A,其他事件的發生與否對事件A的發生沒有影響。
若干個獨立事件A1,…,An之積的概率,等于各事件概率的乘積:
P(A1…An)=P(A1)…P(An)
乘法定理的作用與加法定理一樣:把復雜事件的概率的計算歸結為更簡單的事件概率的計算,這當然要有條件,相加是互斥,相乘是獨立。
4.3 全概率公式與貝葉斯公式
全概率公式
設B1,B2,…為有限個或無限個事件,它們兩兩互斥且在每次實驗中至少發生一個,用式表示之,即
BiBj=?(不可能事件),當i≠jB1+B2+?=Ω(必然事件)
有時把具有這些性質的一組事件稱為一個“完備事件群”。注意,任一事件B及其對立事件組成一個完備事件群。
現在考慮任一事件A,因為Ω為必須事件,有A=AΩ=AB1+AB2+…。因為B1B2,…兩兩互斥,顯然AB1,AB2,…也兩兩互斥。根據加法定理有
P(A)=P(AB1)+P(AB2)+…
再由條件概率的定義,有P(ABi)=P(Bi)P(A|Bi),代入上式得
P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+…
上面的公式即為全概率公式。
實用意義:在較復雜的情況下直接算P(A)不易,但A總是隨著某個Bi伴出,適當去構造這一組Bi往往可以簡化計算。
我們可以把P(Bi)看成權重,則全概率公式則為條件概率的加權。
貝葉斯公式
在全概率公式的假定之下,有
P(Bi|A)=P(ABi)/P(A)=P(Bi)P(A|Bi)∑jP(Bj)P(A|Bj)
上面就是著名的貝葉斯公式。
意義:先看P(B1),P(B2),…,它是沒有進一步的信息(不知事件A是否發生)的情況下,人們對事件B1,B2,…發生可能性大小的認識。現在有了新的信息(知道A發生),人們對B1,B2,…發生可能性大小有了新的估價。
如果我們把事件A看成“結果”,把諸事件B1,B2,…看成導致這結果的可能的“原因”,則可以形象地把全概率公式看作為“由原因推廣結果”;而貝葉斯公式則恰好相反,其作用在于“由結果推原因”:現在有一個“結果A已發生了”,在眾多可能的原因中,到底哪一個導致了這結果?貝葉斯公式說,各原因可能性大小與P(Bi|A)成比例。
總結
- 上一篇: OpenCV视频的处理
- 下一篇: 一维随机变量及其概率分布