UA MATH564 概率論 Dirichlet分布

在UA MATH564 概率論IV 次序統計量中，我們介紹了均勻分布$U(0,1)$的多個次序統計量的聯合分布就是Dirichlet分布，在Bayesian統計中，Dirichlet分布是非常常用的共軛分布族，這一講介紹Dirichlet分布的一些性質。

Dirichlet分布的一般形式為
$$f(x|\alpha )=\frac{\Gamma ({\sum }_{i=1}^n{\alpha }_i)}{{\prod }_{i=1}^n\Gamma ({\alpha }_i)}\prod _{i=1}^n{x}_i^{{\alpha }_i?1}$$

定義在$n?1$維（因為是$n?1$維的線性流形）的單純形${\Delta }^{n?1}=\{x:{\sum }_{i=1}^n{x}_i=1,x_i\ge 0\}$上，記為$Dir({\alpha }_1,?,{\alpha }_n)$，根據次序統計量中推導的結果，$\{U_1,?,U_n\}$的$m$個次序統計量（序號為$i_1,?,i_m$）的聯合分布為$Dir(i_1,i_2?i_2,?,n?i_m+1)$。Dirichlet分布可以理解為analog to multinomial distribution in continuous case. 下面先討論兩個Dirichlet分布的基本性質：

$X_i～beta({\alpha }_i,{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i)$

$(X_1,?,X_i+X_{i+1},?,X_n)～Dir({\alpha }_1,?,{\alpha }_i+{\alpha }_{i+1},?,{\alpha }_n)$

證明
實際上在次序統計量中已經給出了這兩個結論，這里正式證明一下。
性質一：
$$\begin{gathered} f_{X_i}(x)={\int }_{{\sum }_{j=1}^n{x}_j=1,x_i=x}\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)}{{\prod }_{j=1}^n\Gamma ({\alpha }_j)}\prod _{j=1}^n{x}_j^{{\alpha }_j?1}\prod _{j=1,j=i}d{x}_j \\ =\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x^{{\alpha }_i?1}}{\Gamma ({\alpha }_i){\prod }_{j=1,j=i}^n\Gamma ({\alpha }_j)}{\int }_{{\sum }_{j=1,j=i}^n\frac{x_j}{1?x}=1}\prod _{j=1,j=i}^n{x}_j^{{\alpha }_j?1}\prod _{j=1,j=i}d{x}_j \\ =\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x^{{\alpha }_i?1}(1?x{)}^{{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?1}}{\Gamma ({\alpha }_i){\prod }_{j=1,j=i}^n\Gamma ({\alpha }_j)}{\int }_{{\sum }_{j=1,j=i}^n\frac{x_j}{1?x}=1}\prod _{j=1,j=i}^n{\left(\frac{x_j}{1?x}\right)}^{{\alpha }_j?1}\prod _{j=1,j=i}d\frac{x_j}{1?x} \\ =\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x^{{\alpha }_i?1}(1?x{)}^{{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?1}}{\Gamma ({\alpha }_i){\prod }_{j=1,j=i}^n\Gamma ({\alpha }_j)}\frac{{\prod }_{j=1,j=i}^n\Gamma ({\alpha }_j)}{\Gamma ({\sum }_{j=1}^n{\alpha }_j?{\alpha }_i)} \\ =\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x^{{\alpha }_i?1}(1?x{)}^{{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?1}}{\Gamma ({\alpha }_i)\Gamma ({\sum }_{j=1}^n{\alpha }_j?{\alpha }_i)} \end{gathered}$$

性質二：根據性質性質一，只需要證明$X_i+X_{i+1}～Beta({\alpha }_i+{\alpha }_{i+1},{\sum }_{j=1}^n{\alpha }_j?({\alpha }_i+{\alpha }_{i+1}))$即可。
$$\begin{gathered} f_{X_i+X_{i+1}}(y)={\int }_{{\sum }_{j=1}^n{x}_j=1,x_i+x_{i+1}=y}\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)}{{\prod }_{j=1}^n\Gamma ({\alpha }_j)}\prod _{j=1}^n{x}_j^{{\alpha }_j?1}\prod _{j=1}^{n}d{x}_j \\ ={\int }_{x_i+x_{i+1}=y}\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x_i^{{\alpha }_i?1}{x}_{i+1}^{{\alpha }_{i+1}?1}d{x}_{i}d{x}_{i+1}}{{\prod }_{j=1}^n\Gamma ({\alpha }_j)}{\int }_{{\sum }_{j=1,j=i,i+1}^n\frac{x_j}{1?y}=1}\prod _{j=1,j=i,i+1}^n{x}_j^{{\alpha }_j?1}\prod _{j=1,j=i,i+1}^{n}d{x}_j \\ ={\int }_{x_i+x_{i+1}=y}\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x_i^{{\alpha }_i?1}{x}_{i+1}^{{\alpha }_{i+1}?1}}{{\prod }_{j=1}^n\Gamma ({\alpha }_j)}\frac{(1?y{)}^{{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1}?1}{\prod }_{j=1,j=i,i+1}^n\Gamma ({\alpha }_j)}{\Gamma ({\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1})}d{x}_{i}d{x}_{i+1} \\ =(1?y{)}^{{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1}?1}{\int }_{x_i+x_{i+1}=y}\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x_i^{{\alpha }_i?1}{x}_{i+1}^{{\alpha }_{i+1}?1}}{\Gamma ({\alpha }_i)\Gamma ({\alpha }_{i+1})\Gamma ({\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1})}d{x}_{i}d{x}_{i+1} \\ =(1?y{)}^{{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1}?1}{y}^{{\alpha }_i+{\alpha }_{i+1?1}?1}{\int }_{x_i/y+x_{i+1}/y=1}\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)(x_i/y{)}^{{\alpha }_i?1}(x_{i+1}/y{)}^{{\alpha }_{i+1}?1}}{\Gamma ({\alpha }_i)\Gamma ({\alpha }_{i+1})\Gamma ({\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1})}d{x}_i/yd{x}_{i+1}/y \\ =\frac{\Gamma ({\sum }_{j=1}^n{\alpha }_j)x_i^{{\alpha }_i?1}{x}_{i+1}^{{\alpha }_{i+1}?1}}{\Gamma ({\alpha }_i+{\alpha }_{i+1})\Gamma ({\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1})}(1?y{)}^{{\sum }_{j=1}^n{\alpha }_j?{\alpha }_i?{\alpha }_{i+1}?1}{y}^{{\alpha }_i+{\alpha }_{i+1?1}?1} \end{gathered}$$

Dirichlet分布在Bayesian統計中非常重要，是因為二項分布的連續化是beta分布，多項分布的連續化是Dirichlet分布，所以他們很自然地就是共軛分布族。

總結

以上是生活随笔為你收集整理的UA MATH564 概率论 Dirichlet分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。