注：很久以前就知道這兩個公式，但一直僅限于了解。直到最近學習edx上的課程，才對這兩個公式有了新的理解，記錄于此。

1. 條件概率公式

---

設A, B是兩個事件，且P(B)>0， 則在事件B發生的條件下，事件A發生的條件概率(conditional probability)為：

P(A|B)=P(AB)/P(B)

條件概率是理解全概率公式和貝葉斯公式的基礎，可以這樣來考慮，如果P(A|B)大于P(A)則表示B的發生使A發生的可能性增大了。

在條件概率中，最本質的變化是樣本空間縮小了——由原來的整個樣本空間縮小到了給定條件的樣本空間。

2. 乘法公式

---

2.1乘法公式

由條件概率公式得：

P(AB) = P(B)·P(A|B) = P(A)·P(B|A)

上面的式子就是乘法公式。

2.2 乘法公式的推廣

對于任何正整數n≥2，當P(A₁A₂...A_n-1) > 0 時，有：

P(A₁A₂...A_n-1A_n) = P(A₁)P(A₂|A₁)P(A₃|A₁A₂)...P(A_n|A₁A₂...A_n-1)

3. 全概率公式

---

3.1 前提假設

設B₁，B₂，....為有限或無限個事件，它們兩兩互斥且在每次試驗中至少發生一個，即：

不重，B_i ∩ B_j = ∅（不可能事件）i≠j ,
不漏，B₁∪B₂∪.... = Ω（必然事件）.

圖1：B₁- B_n是對S的一個劃分

這時，稱事件組 B₁, B₂,...是樣本空間S的一個劃分，把具有這些性質的一組事件稱為一個“完備事件組”。

設 B₁, B₂,...是樣本空間S的一個劃分，A為任一事件（圖1中紅圈內部區域），則：

$$P(A) = displaystyle sum_{ i = 1 }^{ n } P(B_i)P(A|B_i) hspace{ 10pt } (1)$$

上式即為全概率公式（formula of total probability)

也可以分為兩步來看全概率公式：

圖2：分兩步看全概率公式，S先被劃分為n個子集B₁- B_n，然后每個子集的發生會對A的發生產生不同程度的影響

設P(B_j) = p_j, P(A|B_j) = q_j, j = 1, 2, ..., n

則$$P(A) = displaystyle sum_{ j = 1 }^{ n } p_{j}q_{j} hspace{ 10pt } (2)$$

在運用全概率公式時的已知未知條件為：

劃分后的每個小事件的概率，即P(B_i), i = 1, 2, ..., n；
每個小事件發生的條件下，A發生的概率，即P(A|B_i),i = 1, 2, ..., n；
求解目標是計算A發生的概率，即P(A)。

3.2 意義

全概率公式的意義在于，當直接計算P(A)較為困難，而P(B_i)，P(A|B_i) (i=1,2,...)的計算較為簡單時，可以利用全概率公式計算P(A)。思想就是，將事件A分解成若干個小事件，通過求每個小事件的概率，然后相加從而求得事件A的概率。

而將事件A進行分割的時候，不是直接對A進行分割，而是先找到樣本空間S的一個劃分B₁,B₂,...B_n,這樣事件A就被事件AB₁,AB₂,...AB_n分解成了n部分，即A = AB₁ + AB₂ + ... + AB_n, 每一B_i發生都可能導致A發生相應的概率是P(A|B_i)，由加法公式得

P(A) = P(AB₁) + P(AB₂) + .... + P(AB_n)

= P(B₁)P(A|B₁) + P(B₂)P(A|B₂) + ... +P(B_n) P(A|B_n)

4. 貝葉斯公式

---

與全概率公式解決的問題相反，貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因（即大事件A已經發生的條件下，分割中的小事件B_i在A發生的條件下的概率），設B₁,B₂,...是樣本空間S的一個劃分，則對任一事件A（P(A)>0），有

$$P(B_i|A) = frac{P(B_i)P(A|B_i)}{displaystyle sum_{ j = 1 }^{ n }P(B_j)P(A|B_j)} hspace{ 10pt } (3)$$

上式即為貝葉斯公式(Bayes formula)，B_i常被視為導致試驗結果A發生的“原因”，P(B_i)(i=1,2,...)表示各種原因發生的可能性大小，故稱先驗概率（權重）；P(B_i|A)(i=1,2...)則反映當試驗產生了結果A之后，再對各種原因概率的新認識，故稱后驗概率。

如果參考圖2，分成兩步來看，B發生在A之前，且B有多種情況（B₁ - B_n）。在運用貝葉斯公式時，一般已知和未知條件為：

B的多種情況中到底哪種情況發生了是未知的，但是每種情況發生的概率已知，即P(B_j)；
事件A是已經發生的確定事實，且每種B發生條件下A發生的概率已知，即P(A|B_j)；
P(A)未知，需要使用全概率公式計算得到；
求解的目標是用B的某種情況B_i的無條件概率求其在A發生的條件下的有條件概率P(B_i|A)

5. 小結

---

如果我們把事件A看成“結果”，把諸事件B₁，B₂，…看成是導致這個結果的可能的“原因”，則可以形象地把全概率公式看做“由原因推結果”；而貝葉斯公式則恰好相反，其作用在于“由結果推原因”：現在有一個“結果”A已經發生了，在眾多可能的“原因”中，到底是哪一個導致了這個結果？這是一個在日常生活和科學技術中常要問到的問題。貝葉斯公式說，各原因可能性的大小與P(B_i|A)成比例。

貝葉斯公式最神奇之處在于將條件概率中的因和果調換了位置，可以用下面的式子表示：

P(B|A) = P(因|果) = P(因)P(果|因)/P(果)

6. 例題

---

問題1：

設某公路經過的貨車與客車的數量之比為1:2，貨車中途停車修車的概率為0.02，客車為0.01，今有一輛汽車中途停車修理，則該車是貨車的概率是多少？

解答：

原本汽車中途停車維修的概率應該與車的數量成正比，即在只考慮車的數量時，停下來的車為貨車的概率為P(A₁)，即1/3；

但是當我們進一步觀察，加入更多的信息（每種類型的車的停車維修的概率）后，判斷停下來的車為貨車的概率增加到了1/2，也就是說B的發生使得A₁（觀察到貨車停下來維修）發生的概率變大了。（貨車的數量雖然少，但是經過長期觀察，貨車出故障的概率是客車的2倍<獲得了新的信息>，因此貨車停在路邊維修的概率就增加了）

問題2：

裝有10件某產品（乒乓球）（其中一等品5件，二等品3件，三等品2件）的箱子中丟失一件產品，但不知是幾等品，今從箱中任取2件產品，結果都是一等品，則丟失的也是一等品的概率為？

解答：

由于我們不知道丟失了哪種球，最直接的猜測就是丟每種球的概率與球的數量成正比。即，丟的球是一等品的概率為1/2 = P(A₁)。

但是為了更加準確的推測到底丟了什么球，只能通過一些可行的方法，獲得更多的信息。這里采用了"任取兩個球出來"這種試驗方法，然后根據試驗結果得到了更加準確的結果3/8，也就是說，這一結果降低了我們前面直接根據球的數量預測出的概率。（因為任取兩個都是一等品，說明剩下的球中，取到一等品的概率很大，因此丟的可能性就變小了）

問題3：

愛麗絲的口袋里有5枚硬幣：兩枚是正常的硬幣（都有正反兩面，normal），兩枚硬幣的兩面都是正面（double-head），最后一枚硬幣的兩面都是背面（double-tail）。她隨機取出一枚硬幣，也沒看是哪種硬幣，然后投擲：

a). 硬幣落地后，朝下的一面為正面的概率？

b). 硬幣落地后，正面朝上，那么朝下的一面也是正面的概率？

c). 如果愛麗絲將b)中取到的硬幣丟掉，重新從口袋中取出一枚硬幣，還是沒看是哪種硬幣，然后投擲，則當硬幣落地后正面朝上的概率？

解答：

首先，整個事情分成了兩個大的步驟：

第一步取出一個硬幣（相當于圖2中的B，有多種類型的硬幣可以取）；
拋出硬幣，得到硬幣落地后的結果（相當于圖2中的A）。

設，取出的硬幣為normal硬幣為事件B_n;

取出的硬幣為double-head硬幣為事件B_h；

取出的硬幣為double-tail硬幣為事件B_t；

硬幣落地后正面朝上為事件A_hu；

硬幣落地后正面朝下為事件A_hd；

硬幣落地后背面朝上為事件A_tu；

硬幣落地后背面朝下為事件A_td；

a). 需要求P(A_hd)（正面朝下的概率）。取到不同的硬幣B_n/B_h/B_t，得到的P(A_hd)也不同，A_hd被分成了三種情況。

由特意可得：

P(B_n) = 2/5，即從5枚硬幣中取到正常硬幣的概率；
P(B_h) = 2/5，即從5枚硬幣中取到double-head的概率；
P(B_t) = 1/5，即從5枚硬幣中取到double-tail的概率；
P(A_hd|B_n) = 1/2，即取到正常硬幣時，可以得到正面朝下的概率；
P(A_hd|B_h) = 1，即取到double-head時，可以得到正面朝下的概率（硬幣本身兩面都是正面，所以概率為1）；
P(A_hd|B_t) = 0，即取到double-tail時，可以得到正面朝下的概率（硬幣本身兩面都是反面，不可能得到正面朝下的情況，所以概率為0）；

由全概率公式，得：

P(A_hd) = P(B_n)*P(A_hd|B_n) + P(B_h)*P(A_hd|B_h) + P(B_t)*P(A_hd|B_t)

= 2/5*1/2 + 2/5*1 + 1/5*0

= 3/5

b). 根據問題和假設，這里要求解的是條件概率P(A_hd|A_hu)，說明兩面都是正面，因此等價于求P(B_h|A_hu)。

參考圖2，事件B發生在事件A之前，B有兩種情況可能導致A_hu，具體發生了哪種是未知的。（有點像由結果推原因）

由題意可得：

可能導致A_hu發生的兩種B為：B_n或B_h；
P(B_n) = P(B_h) = 2/5；
參考問題a，可以根據全概率公式計算出A_hu = A_hd = 3/5；
P(A_hu|B_h) = 1，取到double-head時，可以得到正面朝上的概率（硬幣本身兩面都是正面，所以概率為1）；

由貝葉斯公式，得：

P(B_h|A_hu) = P(B_h*A_hu)/P(A_hu)

= P(B_h)*P(A_hu|B_h)/P(A_hu)

= 2/5 * 1 / (3/5)= 2/3

c). 這個問題稍微有點復雜，但也可以分情況討論：

設該問題——第二次取出的硬幣落地后正面朝上，為事件C.

# 第一次分情況

由b)可以知道，b)中取到的硬幣只有兩種情況(B_n或B_h)，B_n與B_h是一組對立事件。

根據已知的條件，可得：

第一次取出的硬幣為double-head硬幣的概率為P(B_h) = P(B_h|A_hu) = 2/3；
第一次取出的硬幣為正常硬幣的概率為P(B_n) = 1 - P(B_h|A_hu) = 1 - 2/3 = 1/3；
P(B_n2) = P(B_h)*P(B_n) + P(B_n)*P(B_n) = 2/3 * 2/4 + 1/3 * 1/4 = 5/12，即第二次取到B_n的概率；
P(B_h2) = P(B_h)*P(B_h) + P(B_n)*P(B_h) = 2/3 * 1/4 + 1/3 * 2/4 = 4/12，即第二次取到B_h的概率；
P(A_hu|B_n2) = 1/2，即第二次取到正常硬幣時，可以得到正面朝上的概率；
P(A_hu|B_h2) = 1，即第二次取到double-head硬幣時，可以得到正面朝上的概率；
此時的B_h和B_n本質上是在A_hu發生的條件下的條件概率（根據已知的事實計算出來的后驗概率），而不再是之前的2/5（先驗概率）；

# 第二次分情況

此時的C仍然可以分為兩種情況，第二次取到正常硬幣或取到double-head硬幣。

由全概率公式，得：

P(C) = P(B_n2)*P(A_hu|B_n2) +P(B_h2)*P(A_hu|B_h2)

= 5/12 * 1/2 + 4/12 * 1

= 13/24

歡迎閱讀“概率論與數理統計及Python實現”系列文章

參考：

---

http://www.cnblogs.com/ohshit/p/5629581.html

edx上的公開課：MITx:6.008.1xComputational Probability and Inference

《概率論與數理統計》，陳希孺，中國科學技術大學出版社

重大修訂版：

2017-7-15，添加示意圖，補充定義，重新解釋了例題的解答過程，補充了例題；

總結

以上是生活随笔為你收集整理的【概率论与数理统计】全概率公式和贝叶斯公式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。