UA MATH566 統計理論 Bayes統計基礎

• 共軛分布
• • 基于后驗概率預測新的觀測值

Bayes統計思想的基礎是Bayes公式
$$P(C_i|A)=\frac{P(A,C_i)}{P(A)}=\frac{P(A|C_i)P(C_i)}{{\sum }_{i=1}^{n}P(A|C_i)P(C_i)}$$

其中$P(C_i)$是先驗概率，$P(A|C_i)$是似然，$P(C_i|A)$是后驗概率。頻率派統計關注的焦點是似然函數（樣本信息），貝葉斯學派則使用似然函數（樣本信息）與先驗概率（先驗信息）。

假設隨機變量為$X$，定義在概率空間$(\Omega ,\mathcal{F},P_{\theta })$上，$f(x,\theta )$是概率$P_{\theta }$的密度函數。貝葉斯統計認為$\theta$也是一個隨機變量，定義在參數空間$\Theta$上，概率密度為$\pi (\theta )$，即先驗密度。根據貝葉斯公式，給定一組樣本$\text{X}$，參數的后驗密度為
$$\pi (\theta |\text{X})=\frac{f(\text{X},\theta )}{f(\text{X})}=\frac{{\prod }_{i=1}^{n}f(x_i|\theta )\pi (\theta )}{{\int }_{\Theta }{\prod }_{i=1}^{n}f(x_i|\theta )\pi (\theta )d\theta }$$

基于后驗密度可以計算后驗風險（參考UA MATH574M 統計學習I 監督學習理論），然后做一些統計決策。比如使用平方損失，后驗均值就是參數的Bayes估計；使用絕對值損失，后驗中位數就是參數的Bayes估計。后驗密度的含義就是給定樣本時參數的密度函數，因此用后驗密度的分位點就可以構成參數的置信區間，何種置信區間叫做可信區間（Credible Intervals）。后驗密度中與參數有關的部分被稱為后驗核（kernel），大部分分布憑核就可以識別出來，比如

分布核

$N(\mu ,{\sigma }^2)$	$exp(?\frac{1}{2{\sigma }^2}(x?\mu {)}^2)$
$\Gamma (\alpha ,\lambda )$	$x^{\alpha ?1}{e}^{?\lambda x}$
$Beta(\alpha ,\beta )$	$x^{\alpha ?1}(1?x{)}^{\beta ?1}$

例1 假設$Ber(p)$中$p～Beta(\alpha ,\beta )$，則
$$\pi (p|\text{X})\propto p^{{\sum }_{i=1}^n{X}_i}(1?p{)}^{n?{\sum }_{i=1}^n{X}_i}{p}^{\alpha ?1}(1?p{)}^{\beta ?1}=p^{{\sum }_{i=1}^n{X}_i+\alpha ?1}(1?p{)}^{n?{\sum }_{i=1}^n{X}_i+\beta ?1}$$

這說明$p|\text{X}～Beta({\sum }_{i=1}^n{X}_i+\alpha ,n?{\sum }_{i=1}^n{X}_i+\beta )$

例2 假設多元分布$(1;p_1,?,p_r)$中$(p_1,?,p_r)～Dir({\alpha }_1,?,{\alpha }_r)$，則
$$\pi (p_1,?,p_r|\text{X})\propto \prod _{i=1}^r{p}_i^{{\sum }_{i=1}^n{X}_i}\prod _{i=1}^r{p}_i^{{\alpha }_i?1}=\prod _{i=1}^r{p}_i^{{\sum }_{i=1}^n{X}_i+\alpha ?1}$$

這說明$(p_1,?,p_r)|\text{X}～Dir({\sum }_{i=1}^n{X}_1+{\alpha }_1,?,{\sum }_{i=1}^n{X}_r+{\alpha }_r)$，其中$X_1,?,X_r$都是Bernoulli變量。

共軛分布

上面的兩個例子有一個很重要的性質，先驗分布與后驗分布都是beta分布，我們稱這種先驗分布與后驗分布相同時的分布為共軛分布族，更準確一點，稱Beta分布是$Ber(p)$的共軛分布族，從先驗到后驗的參數變換規則是
$$Beta(\alpha ,\beta )\to Beta(\sum _{i=1}^n{X}_i+\alpha ,n?\sum _{i=1}^n{X}_i+\beta )$$

下面列出了一些典型的共軛分布族的表：

統計模型共軛分布族的參數變換

$Ber(p)$	$Beta(\alpha ,\beta )\to Beta({\sum }_{i=1}^n{X}_i+\alpha ,n?{\sum }_{i=1}^n{X}_i+\beta )$
$N(\theta ,{\sigma }_0^2)$，${\sigma }_0^2$已知	$N({\theta }_1,\frac{1}{{\lambda }_0})\to N(\frac{{\lambda }_0{\theta }_1+(n/{\sigma }_0^2)\bar{X}}{{\lambda }_0+n/{\sigma }_0^2},\frac{{\sigma }_0^2}{n+{\lambda }_0{\sigma }_0^2})$
$Pois(\lambda )$	$\Gamma (\alpha ,\beta )\to \Gamma (\alpha +{\sum }_{i=1}^n{X}_i,\beta +n)$

基于后驗概率預測新的觀測值

基于樣本$\text{X}=\{X_1,?,X_n\}$預測新的觀測值$X_{?}$，只需要根據下面的公式就可以計算出新觀測值的分布：
$$f_{X_{?}|\text{X}}(x_{?})={\int }_{\Theta }f(x_{?}|\theta )\pi (\theta |\text{X})d\theta$$

下面列出了上表共軛分布族的新觀測值分布：

統計模型共軛分布族新觀測值的分布

$Ber(p)$	$Ber(\frac{\beta +n?{\sum }_{i=1}^n{X}_i}{\alpha +\beta +n})$
$N(\theta ,{\sigma }_0^2)$，${\sigma }_0^2$已知	$N(\frac{{\lambda }_0{\theta }_1+(n/{\sigma }_0^2)\bar{X}}{{\lambda }_0+n/{\sigma }_0^2},\frac{{\sigma }_0^2}{n+{\lambda }_0{\sigma }_0^2}+\frac{1}{{\lambda }_0})$
$Pois(\lambda )$	$Negbin({\sum }_{i=1}^n{X}_i+\alpha ,\frac{1}{n+\beta +1})$

第三個結果是比較意外的，在共軛分布下，新觀測服從負二項分布而不是原來的Poisson分布，這里給一個簡單的推導：
$$\begin{gathered} f_{X_{?}|\text{X}}(x_{?})={\int }_{\Theta }f(x_{?}|\theta )\pi (\theta |\text{X})d\theta \\ ={\int }_0^{\infty }\frac{{\lambda }^{X_{?}}}{X_{?}!}{e}^{?\lambda }\frac{{\lambda }^{\alpha +{\sum }_{i=1}^n{X}_i?1}(\beta +n{)}^{\alpha +{\sum }_{i=1}^n{X}_i}}{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i)}{e}^{?(\alpha +{\sum }_{i=1}^n{X}_i)\lambda }d\lambda \\ =\frac{(\beta +n{)}^{\alpha +{\sum }_{i=1}^n{X}_i}}{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i)X_{?}!}{\int }_0^{\infty }{\lambda }^{{\sum }_{i=1}^n{X}_i+\alpha +X_{?}?1}{e}^{?(n+\beta +1)\lambda }d\lambda \\ =\frac{(\beta +n{)}^{\alpha +{\sum }_{i=1}^n{X}_i}}{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i)X_{?}!}\frac{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i+X_{?})}{(n+\beta +1{)}^{{\sum }_{i=1}^n{X}_i+\alpha +X_{?}}} \\ =C_{{\sum }_{i=1}^n{X}_i+\alpha +X_{?}?1}^{{\sum }_{i=1}^n{X}_i+\alpha }{\left(\frac{n+\beta }{n+\beta +1}\right)}^{n+{\sum }_{i=1}^n{X}_i}{\left(\frac{1}{n+\beta +1}\right)}^{X_{?}} \end{gathered}$$

總結

以上是生活随笔為你收集整理的UA MATH566 统计理论 Bayes统计基础的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。