Normal-Inverse Gamma Mixture簡介

假設$X|\gamma ～N(\mu ,\gamma ),\gamma ～IG(\alpha ,\beta )$，稱$X$的分布是Normal-Inverse Gamma Mixture，這個mixture在貝葉斯統計中有非常廣泛的應用。

應用一：正態方差的共軛分布
先寫出$X,\gamma$的聯合概率密度
$$\begin{gathered} p(X,\gamma )\propto \left({\gamma }^{?1/2}{e}^{?\frac{(X?\mu {)}^2}{2\gamma }}\right)\left({\gamma }^{?(\alpha +1)}{e}^{?\frac{\beta }{\gamma }}\right) \\ ={\gamma }^{?(\alpha +\frac{3}{2})}{e}^{?\frac{1}{\gamma }(\beta +\frac{(X?\mu {)}^2}{2})} \end{gathered}$$

這是inverse gamma的kernel，于是
$$\gamma |X～IG(\alpha +\frac{1}{2},\beta +\frac{(X?\mu {)}^2}{2})$$

這說明當總體是正態分布時且均值已知時，逆伽馬分布是總體方差的共軛分布。

應用二：構造t分布
我們寫出$X,\gamma$聯合概率密度的完整形式
$$\begin{gathered} p(X,\gamma )=(2\pi {)}^{?1/2}{\gamma }^{?1/2}{e}^{?\frac{(X?\mu {)}^2}{2\gamma }}{\beta }^{\alpha }\frac{1}{\Gamma (\alpha )}{\gamma }^{?(\alpha +1)}{e}^{?\frac{\beta }{\gamma }} \\ =\frac{{\beta }^{\alpha }}{\sqrt{2\pi }\Gamma (\alpha )}{\gamma }^{?(\alpha +\frac{3}{2})}{e}^{?\frac{1}{\gamma }(\beta +\frac{(X?\mu {)}^2}{2})} \end{gathered}$$

然后計算$X$的邊緣密度
$$\begin{gathered} p(X)={\int }_{\gamma >0}p(X,\gamma )d\gamma \\ =\frac{{\beta }^{\alpha }}{\sqrt{2\pi }\Gamma (\alpha )}{\int }_{\gamma >0}{\gamma }^{?(\alpha +\frac{3}{2})}{e}^{?\frac{1}{\gamma }(\beta +\frac{(X?\mu {)}^2}{2})}d\gamma \\ =\frac{{\beta }^{\alpha }}{\sqrt{2\pi }\Gamma (\alpha )}\frac{\Gamma (\alpha +\frac{1}{2})}{[\beta +\frac{(X?\mu {)}^2}{2}{]}^{\alpha +\frac{1}{2}}} \\ =\frac{\Gamma (\alpha +\frac{1}{2})}{\sqrt{2\beta \pi }\Gamma (\alpha )}{\left[1+\frac{(X?\mu {)}^2}{2\beta }\right]}^{?\frac{2\alpha +1}{2}} \end{gathered}$$

這是一個具有一般性的式子，但在一些特殊的取值下它就變成了我們熟悉的分布：

取$\beta =\alpha$，則這個分布是t分布$t_{2\alpha }$

取$\alpha =\beta =1/2$，這個分布是Cauchy分布$C(0,\mu )$

在統計計算中，可以使用這個技巧將t分布或者Cauchy分布的采樣替換為Normal-Inverse Gamma mixture的采樣。

總結

以上是生活随笔為你收集整理的Normal-Inverse Gamma Mixture简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。