貝葉斯統計：Inverted Beta與Three Parameter Beta分布

• • Beta分布
  • Inverted Beta與Three Parameter Beta
  • TPB-Normal Mixture

這一篇介紹兩個基于beta分布延申出來的在貝葉斯統計中非常常用的分布——Inverted Beta（IB）與Three Parameter Beta（TPB）。

Beta分布

Beta分布記為$Beta(\alpha ,\beta )$，它的概率密度是
$$\begin{gathered} f(x)=\frac{1}{\mathrm{B}(\alpha ,\beta )}{x}^{\alpha ?1}(1?x{)}^{\beta ?1},x\in (0,1) \\ B(\alpha ,\beta )=\frac{\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )},\alpha ,\beta >0 \end{gathered}$$

其中$\Gamma ()$是gamma函數，$\mathrm{B}()$是beta函數。在貝葉斯統計中，如果樣本服從二項分布，則Beta分布是樣本的共軛分布；二項分布的多元推廣是多項分布，Beta分布的多元推廣是Dirichlet分布，而Dirichlet分布也是多項分布樣本的共軛分布。

Beta分布的參數$\alpha ,\beta$可以確定唯一一個Beta分布，但$\alpha ,\beta$可以用其他參數來表示，用兩個參數表示Beta分布的表示方法被稱為Two Parameter Beta，用四個參數表示Beta分布的表示方法被稱為Four Parameter Beta，下面介紹兩個常見的兩參數表示：

均值與樣本量表示
用$\mu$表示$Beta(\alpha ,\beta )$的均值，用$\nu$表示$\alpha +\beta$，在貝葉斯統計中對于$\alpha +\beta$的解釋與樣本量有關，所以這種兩參數表示被稱為均值與樣本量表示，
$$\alpha =\mu \nu ,\beta =(1?\mu )\nu$$

均值與方差
均值與方差是最容易想到的兩參數表示了，用$\mu$表示$Beta(\alpha ,\beta )$的均值，$var$表示$Beta(\alpha ,\beta )$的方差，
$$\alpha =\mu \left(\frac{\mu (1?\mu )}{var}?1\right),\beta =(1?\mu )\left(\frac{\mu (1?\mu )}{var}?1\right)$$

因為$\alpha +\beta >0$，有$var<\mu (1?\mu )$。

四參數beta
對$x$做變換，$y=x(c?a)+a$，$y\in (a,c)$，使得$Beta$分布的支撐集變為$(a,c)$，變換后概率密度為
$$f(y;\alpha ,\beta ,a,c)=\frac{(\frac{y?a}{c?a}{)}^{\alpha ?1}(\frac{c?y}{c?a}{)}^{\beta ?1}}{(c?a)\mathrm{B}(\alpha ,\beta )}$$

這個分布被稱為四參數beta，它的作用是把Beta分布從$(0,1)$推廣到更大或者更小的區間$(a,c)$上。

Inverted Beta與Three Parameter Beta

Inverted Beta分布也叫第二類Beta分布（Beta density of the second kind），記為$IB(\beta ,\alpha )$，其中$\alpha ,\beta >0$，假設$X～IB(\beta ,\alpha )$，它的概率密度是
$$f(x)=\frac{1}{\mathrm{B}(\alpha ,\beta )}{x}^{\alpha ?1}(1+x{)}^{?(\alpha +\beta )},x>0$$

下表是Kowal et. al (2019) Dynamic Shrinkage Process的總結：

Three Parameter Beta分布記為$TPB(\alpha ,\beta ,{\tau }^2)$，如果$X～TPB(\alpha ,\beta ,{\tau }^2)$，它的概率密度是
$$f(x)=\frac{({\tau }^2{)}^{\beta }}{\mathrm{B}(\alpha ,\beta )}{x}^{\beta ?1}(1?x{)}^{\alpha ?1}[1?(1?{\tau }^2)x{]}^{?(\alpha +\beta )},x\in (0,1)$$

假設$\tau =1$，則
$$f(x)=\frac{x^{\beta ?1}(1?x{)}^{\alpha ?1}}{\mathrm{B}(\alpha ,\beta )}$$

也就是$TPB(\alpha ,\beta ,1)=Beta(\beta ,\alpha )$。為了研究Beta分布、IB與TPB之間的關系，再引入一個輔助分布，記為$Z(\alpha ,\beta ,\mu ,\sigma )$，它的概率密度為
$$f(z)=\frac{[\exp (\frac{z?\mu }{\sigma }){]}^{\alpha }[1+\exp (\frac{z?\mu }{\sigma }){]}^{?(\alpha +\beta )}}{\sigma \mathrm{B}(\alpha ,\beta )},z\in \mathbb{R}$$

性質1 如果$X～IB(\alpha ,\beta )$，則$\frac{1}{1+X}～Beta(\alpha ,\beta )$

性質2 如果$X～IB(\alpha ,\beta )$，則$\log (X)～Z(\alpha ,\beta ,0,1)$

性質3 如果$X～Z(\alpha ,\beta ,\mu ,1)$，則$\frac{1}{1+e^X}～TPB(\alpha ,\beta ,e^{\mu })$

證明
$e^X$的密度核為
$$y^{?1}[e^{\log (y)?\mu }{]}^{\alpha }[1+e^{\log (y)?\mu }{]}^{?(\alpha +\beta )}\propto y^{\alpha ?1}(1+y/e^{\mu }{)}^{?(\alpha +\beta )}$$

假設$\mu =0$，這個密度核為
$$y^{\alpha ?1}(1+y{)}^{?(\alpha +\beta )}$$

這是$IB(\alpha ,\beta )$的密度核，所以$Z(\alpha ,\beta ,0,1)=IB(\alpha ,\beta )$，性質二得證。

$\frac{1}{1+e^X}$的密度核為
$$\begin{array}{rl}& z^{?2}(z^{?1}?1{)}^{\alpha ?1}[1+(z^{?1}?1)/e^{\mu }{]}^{?(\alpha +\beta )}\\ \propto & z^{?2?(\alpha ?1)}(1?z{)}^{\alpha ?1}[z^{?1}(z{e}^{\mu }+(1?z)){]}^{?(\alpha +\beta )}\\ \propto & (1?z{)}^{\alpha ?1}{z}^{\beta ?1}[z{e}^{\mu }+(1?z){]}^{?(\alpha +\beta )}\end{array}$$

因此$\frac{1}{1+e^X}～TPB(\alpha ,\beta ,e^{\mu })$，性質三得證，結合性質二與性質三可得性質一。

TPB-Normal Mixture

之所以要引入TPB這個看起來復雜又奇怪的分布是因為它在Gaussian Mixture中作為先驗有非常好的性質。

定理
在正態均值模型$\mu ～N(0,{\lambda }^2{\tau }^2)$中，如果${\lambda }^2～IB(\alpha ,\beta )$，則給定$\tau$時，relevant amount of shrinkage $\kappa =\frac{1}{1+{\lambda }^2{\tau }^2}～TPB(\alpha ,\beta ,{\tau }^2)$。

證明
如果$\tau =1$，根據前文性質二、三可以直接得到這個定理；如果$\tau =1$，考慮$x={\lambda }^2{\tau }^2$的密度核：
$$(x/{\tau }^2{)}^{\alpha ?1}(1+x/{\tau }^2{)}^{?(\alpha +\beta )}$$

然后考慮$z=\frac{1}{1+x}$的密度核：
$$\begin{array}{rl}& z^{?2}(z^{?1}?1{)}^{\alpha ?1}[1+(z^{?1}?1)/{\tau }^2{]}^{?(\alpha +\beta )}\end{array}$$

所以$\kappa =\frac{1}{1+{\lambda }^2{\tau }^2}～TPB(\alpha ,\beta ,{\tau }^2)$。

總結

以上是生活随笔為你收集整理的贝叶斯统计：Inverted Beta与Three Parameter Beta分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。