貝葉斯定理

通常，事件A在事件B的條件下的概率，與事件B在事件A的條件下的概率是不一樣的；然而，這兩者是有確定的關系，貝葉斯法則就是這種關系的陳述。

貝葉斯法則又被稱為貝葉斯定理、貝葉斯規則，是指概率統計中的應用所觀察到的現象對有關概率分布的主觀判斷（即先驗概率）進行修正的標準方法。當分析樣本大到接近總體數時，樣本中事件發生的概率將接近于總體中事件發生的概率。

作為一個規范的原理，貝葉斯法則對于所有概率的解釋是有效的；然而，頻率主義者和貝葉斯主義者對于在應用中概率如何被賦值有著不同的看法：頻率主義者根據隨機事件發生的頻率，或者總體樣本里面的個數來賦值概率；貝葉斯主義者要根據未知的命題來賦值概率。

貝葉斯統計中的兩個基本概念是先驗分布和后驗分布：

1、先驗分布。總體分布參數θ的一個概率分布。貝葉斯學派的根本觀點，是認為在關于總體分布參數θ的任何統計推斷問題中，除了使用樣本所提供的信息外，還必須規定一個先驗分布，它是在進行統計推斷時不可缺少的一個要素。他們認為先驗分布不必有客觀的依據，可以部分地或完全地基于主觀信念。

2、后驗分布。根據樣本分布和未知參數的先驗分布，用概率論中求條件概率分布的方法，求出的在樣本已知下，未知參數的條件分布。因為這個分布是在抽樣以后才得到的，故稱為后驗分布。貝葉斯推斷方法的關鍵是任何推斷都必須且只須根據后驗分布，而不能再涉及樣本分布。

貝葉斯公式為

P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)

P(A|B)=P(B|A)*P(A)/P(B)

其中：

1、P(A)是A的先驗概率或邊緣概率，稱作"先驗"是因為它不考慮B因素。

2、P(A|B)是已知B發生后A的條件概率，也稱作A的后驗概率。

3、P(B|A)是已知A發生后B的條件概率，也稱作B的后驗概率，這里稱作似然度。

4、P(B)是B的先驗概率或邊緣概率，這里稱作標準化常量。

5、P(B|A)/P(B)稱作標準似然度。

貝葉斯法則又可表述為：

后驗概率=(似然度*先驗概率)/標準化常量=標準似然度*先驗概率

P(A|B)隨著P(A)和P(B|A)的增長而增長，隨著P(B)的增長而減少，即如果B獨立于A時被觀察到的可能性越大，那么B對A的支持度越小。

貝葉斯公式為利用搜集到的信息對原有判斷進行修正提供了有效手段。在采樣之前，經濟主體對各種假設有一個判斷（先驗概率），關于先驗概率的分布，通常可根據經濟主體的經驗判斷確定(當無任何信息時，一般假設各先驗概率相同)，較復雜精確的可利用包括最大熵技術或邊際分布密度以及相互信息原理等方法來確定先驗概率分布。

例如，一座別墅在過去的20年里一共發生過2次被盜，別墅的主人有一條狗，狗平均每周晚上叫3次，在盜賊入侵時狗叫的概率被估計為0.9，問題是：在狗叫的時候發生入侵的概率是多少？

我們假設A事件為狗在晚上叫，B為盜賊入侵，則P(A)=3/7，P(B)=2/(20·365)=2/7300，P(A|B)=0.9，按照公式很容易得出結果：P(B|A)=0.9*(2/7300)/(3/7)=0.00058

另一個例子，現分別有A，B兩個容器，在容器A里分別有7個紅球和3個白球，在容器B里有1個紅球和9個白球，現已知從這兩個容器里任意抽出了一個球，且是紅球，問這個紅球是來自容器A的概率是多少?

假設已經抽出紅球為事件B，從容器A里抽出球為事件A，則有：P(B)=8/20，P(A)=1/2，P(B|A)=7/10，按照公式，則有：P(A|B)=(7/10)*(1/2)/(8/20)=0.875

?

貝葉斯估計

貝葉斯（Bayes）統計是由T. R. Bayes于19世紀創立的數理統計的一個重要分支，20世紀50年代，以H. Robbins為代表提出了在計量經濟學模型估計中將經驗貝葉斯方法與經典方法相結合，引起了廣泛的重視，得到了廣泛的應用。貝葉斯估計對經典計量經濟學模型估計方法的擴展在于，它不僅利用樣本信息，同時利用非樣本信息。

（1）貝葉斯估計

在經典計量經濟學模型中廣泛采用的最小二乘估計，以及本章討論的最大似然函數估計和廣義矩估計的一個共同特征是，在模型估計中只利用樣本信息和關于總體分布的先驗信息，而關于分布的先驗信息仍然需要通過樣本信息的檢驗，所以說到底還是樣本信息。

由于模型估計依賴樣本信息，這就要求樣本信息足夠多，因此，這些估計只有在大樣本情況下才具有一定的優良性質。但是在許多實際應用研究中，人們無法重復大量的實驗以得到大量的觀測結果，只能得到少量的觀測結果。在小樣本情況下，最小二乘估計、最大似然估計和廣義矩估計不再具有優良性質。因而，人們不得不尋求小樣本情況下的優良估計方法。貝葉斯估計方法就是其中之一。

a、貝葉斯方法的基本思路

貝葉斯方法的基本思路是：假定要估計的模型參數是服從一定分布的隨機變量，根據經驗給出待估參數的先驗分布（也稱為主觀分布），關于這些先驗分布的信息被稱為先驗信息；然后根據這些先驗信息，并與樣本信息相結合，應用貝葉斯定理求出待估參數的后驗分布；再應用損失函數，得出后驗分布的一些特征值，并把它們作為待估參數的估計量。

貝葉斯方法與經典估計方法的主要不同之處是：

（a）關于參數的解釋不同

經典估計方法認為待估參數具有確定值，它的估計量才是隨機的，如果估計量是無偏的，該估計量的期望等于那個確定的參數；而貝葉斯方法認為待估參數是一個服從某種分布的隨機變量。

（b）所利用的信息不同

經典方法只利用樣本信息；貝葉斯方法要求事先提供一個參數的先驗分布，即人們對有關參數的主觀認識，被稱為先驗信息，是非樣本信息，在參數估計過程中，這些非樣本信息與樣本信息一起被利用。

（c）對隨機誤差項的要求不同

經典方法，除了最大似然法，在參數估計過程中并不要求知道隨機誤差項的具體分布形式，但是在假設檢驗與區間估計時是需要的；貝葉斯方法需要知道隨機誤差項的具體分布形式。

（d）選擇參數估計量的準則不同

經典估計方法或者以殘差平方和最小，或者以似然函數值最大為準則，構造極值條件，求解參數估計量；貝葉斯方法則需要構造一個損失函數，并以損失函數最小化為準則求得參數估計量。

b、貝葉斯定理?

c、損失函數

常用的損失函數有線性函數和二次函數，不同的損失函數，得到的參數估計值是不同的。

（2）線性單方程計量經濟學模型的貝葉斯估計

以正態線性單方程計量經濟學模型為例介紹貝葉斯估計方法。選擇正態線性單方程計量經濟學模型的主要原因是：（1）多元線性單方程計量經濟學模型具有普遍性意義；（2）在模型設定正確的情況下，隨機誤差項是大量隨機擾動之總和，根據中心極限定理，可以認為它是漸近正態分布；（3）計算簡單，使用方便，并能完整地體現貝葉斯估計方法的主要內容。正態線性單方程計量經濟學模型又分為隨機誤差項方差已知和方差未知兩種情況。作為貝葉斯估計方法的演示，我們只討論方差已知的情況。

a、有先驗信息的后驗分布??

?

b、無先驗信息的后驗分布

c、點估計?

d、區間估計

……

?

總結

以上是生活随笔為你收集整理的贝叶斯定理与贝叶斯估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。