許多簡單的概率分布在機器學習的眾多領域中都非常有用，這個內容將分為兩個部分來說明，第一個部分介紹伯努利分布、二項式分布、多項式分布及范疇分布，第二個部分介紹高斯分布、指數分布、Laplace分布、Dirac分布、經驗分布及混合分布。

伯努利(Bernoulli)分布

伯努利分布是一種離散分布，有兩種可能的結果：

• 1表示成功，出現的概率為$p$(其中$0<p<1$)。
• 0表示失敗，出現的概率為$q=1?p$。

這種分布在機器學習中很有用，比如正面或反面，成功或失敗，有缺陷或沒有缺陷，病人康復或未康復。
可以用數學描述為：隨機變量$x$只取0和1兩個值，其概率為：

• $P(x=1)=p$, $P(x=0)=1?p=q$

數學期望和方差計算如下：

• $E(x)=1?p+0?q=p$
• $E(x^2)=1^2?p+0^2?q=p$
• $D(x)=E(x^2)?[E(x){]}^2=p?p^2=p(1?p)=pq$

二項式(Binomial)分布

在$n$次獨立重復的伯努利試驗中，設每次試驗成功的概率為$p$。用$x$表示$n$重伯努利試驗中成功的次數，則$x$取值為$\{0,1,\dots ,n\}$中的一個。
對每一個$k(0\le k\le n)$，事件$\{x=k\}$表示“$n$次試驗成功恰好發生$k$次”，隨機變量$x$的離散概率分布即為二項分布（Binomial Distribution）。
典型例子為：扔硬幣，硬幣正面朝上概率為$p$, 重復扔$n$次硬幣，$k$次為正面的概率即為一個二項分布概率。
用概率表示如下：

• $P(x=k)=\frac{n!}{k!(n?k)!}{p}^k(1?p{)}^{n?k}$

下圖為不同參數下的二項式分布的圖形：

多項式(Multinomial)分布

多項式分布是二項式分布的推廣。將二項式分布推廣至多種狀態，就得到了多項式分布。舉例說明如下：

• 二項式分布：扔硬幣，硬幣正面朝上概率為$p$, 重復扔$n$次硬幣，$k$次為正面的概率。
• 多項式分布：扔骰子，不同于扔硬幣，骰子有6個面對應6個不同的點數，這樣單次每個點數朝上的概率都是$\frac{1}{6}$（對應$p_1$~$p_6$，它們的值不一定都是$\frac{1}{6}$，只要和為1且互斥即可，比如一個形狀不規則的骰子），重復扔$n$次，如果問有$k$次都是點數6朝上的概率。

更一般化的描述如下：投擲$n$次骰子，這個骰子共有6種結果輸出，1點出現概率為$p_1$，2點出現概率$p_2$，$\dots$；多項式分布給出了在$n$次試驗中，骰子1點出現$k_1$次，2點出現$k_2$次，3點出現$k_3$次，…，6點出現$k_6$次。這個結果組合的概率為:
$f(k_1,k_2,\dots ,k_6;n,p_1,p_2,\dots ,p_6)$
$=P(x_1=k_1,x_2=k_2,\dots ,x_6=k_6)$
$=\frac{n!}{k_1!k_2!\dots k_6!}{p}_1^{k_1}{p}_2^{k_2}\dots p_6^{k_6}$,
約束條件為${\sum }_{i=1}^6{k}_i=n$.
為了更加簡化，用$\Gamma$函數來表示：
$f(k_1,k_2,\dots ,k_6;n,p_1,p_2,\dots ,p_6)$
$=\frac{\Gamma ({\sum }_{i=1}^6{k}_i+1)}{{\prod }_{i=1}^6\Gamma (k_i+1)}{\prod }_{i=1}^6{p}_i^{k_i}$.
【例題-1】同時投擲5枚骰子，投擲出2個一點，2個二點，1個三點的概率是多大？
【解答】
$x_1$～$x_6$表示6個點的出現次數之和為$n=5$，利用多項式分布組合概率公式有：
$P(x_1=2,x_2=2,x_3=1,x_4=0,x_5=0,x_6=0)$
$=\frac{5!}{2!2!1!0!0!0!}(\frac{1}{6}{)}^2(\frac{1}{6}{)}^2(\frac{1}{6}{)}^1(\frac{1}{6}{)}^0(\frac{1}{6}{)}^0(\frac{1}{6}{)}^0$
$=\frac{5}{1296}$
【例題-2】同時投擲5枚骰子，出現兩對點數一樣的概率是多少？
【解答】
在【例題-1】的基礎之上，需要考慮$x_1$~$x_6$，其中2個取2，1個取1有多少種？

$x_1$$x_2$$x_3$$x_4$$x_5$$x_6$

2	2	1	0	0	0
2	0	2	1	0	0
$\dots$	$\dots$	$\dots$	$\dots$	$\dots$	$\dots$

先從6個里面選擇2個取2，再從4個里面選出1個取1，總共有$C_6^2{C}_4^1=60$種。
出現兩對點數一樣的概率為$\frac{5?60}{1296}$ = $\frac{25}{108}$。

范疇(Categorical)分布

范疇分布又稱為Multinoulli分布、類別分布，它是多項式分布的一個特例。
拋一次骰子，第$x_k$面朝上的概率，這是Categorical分布。

小結：幾種分布的關系

• 將一個小球放入兩個桶，令變量 $x$ 為第一個桶里面有的小球個數，那么只有 0 個或者 1 個，服從伯努利分布；
• 將 $n$個小球放入兩個桶，令變量 $x$ 為第一個桶里面的小球個數，那么最少可能有 0 個，最多可能有 $n$個，服從二項分布；
• 將一個小球放入 $k$個桶，令變量 $x=\{x_1,x_2,\dots ,x_k\}$ 為$k$個桶內的小球個數，$x$是一個One-hot形式的向量，因為這個小球只能在一個桶里面，服從Categorical分布；
• 將 $n$個小球放入 $k$個桶，令變量 $x=\{x_1,x_2,\dots ,x_k\}$ 為$k$個桶內的小球個數，$x$是一個向量，元素和為 $n$，服從多項分布。

總結

以上是生活随笔為你收集整理的深度学习(2)--常见概率分布(1)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。