概率分布:PMF与PDF
文章目錄
- 1、PMF:離散型變量和概率分布律函數
- 2、PDF:連續型變量和概率密度函數
- 3、CDF
隨機變量是可以隨機的取不同值的變量。就其本身而言,一個隨機變量只是對可能的狀態的描述;它必須伴隨著一個概率分布來指定每個狀態的可能性。
1、PMF:離散型變量和概率分布律函數
離散型變量的概率分布可以用概率質量函數(probability mass function, PMF)來描述。我們通常用大寫字母 PPP 來表示概率質量函數。通常每一個隨機變量都會有一個不同的概率質量函數,并且讀者必須根據隨機變量來推斷所使用的 PMF,而不是根據函數的名稱來推斷;例如, P(x)P(x)P(x) 通常和 P(y)P(y)P(y) 不一樣。概率質量函數將隨機變量能夠取得的每個狀態映射到隨機變量取得該狀態的概率。 x=x\rm x = \it xx=x 的概率用 P(x)P(x)P(x) 來表示,概率為 1 表示x=x\rm x = \it xx=x 是確定的,概率為 0 表示x=x\rm x = \it xx=x 是不可能發生的。有時為了使得PMF的使用不相互混淆,我們會明確寫出隨機變量的名稱: P(x=x)P(\rm x = \it x)P(x=x)。有時我們會先定義一個隨機變量,然后用 ~ 符號來說明它遵循的分布: x~P(x)x ~ P(x)x~P(x)。
概率質量函數可以同時作用于多個隨機變量。這種多個變量的概率分布被稱為 聯合概率分布(joint probability distribution)。 P(x=x;y=y)P(\rm x = \it x; \rm y = \it y)P(x=x;y=y) 表示x=x\rm x = \it xx=x 和y=y\rm y = \it yy=y 同時發生的概率。我們也可以簡寫為 P(x;y)P(x; y)P(x;y)。
如果一個函數PPP 是隨機變量 x\rm xx 的 PMF,必須滿足下面這幾個條件:
-
PPP 的定義域必須是 x\rm xx 所有可能狀態的集合。
-
?x∈x,0≤P(x)≤1.\forall x \in x, 0\le P(x)\le 1.?x∈x,0≤P(x)≤1.不可能發生的事件概率為0,并且不存在比這概率更低的狀態。類似的,能夠確保一定發生的事件概率為1,而且不存在比這概率更高的狀態。這是PMF和PDF最主要的區別
-
∑x∈xP(x)=1.\sum_{x \in x} P(x) = 1.∑x∈x?P(x)=1.我們把這條性質稱之為歸一性。如果沒有這條性質,當我們計算很多事件其中之一發生的概率時可能會得到大于1的概率。
2、PDF:連續型變量和概率密度函數
當我們研究的對象是連續型隨機變量時,我們用 概率密度函數(probability density function, PDF)而不是概率質量函數來描述它的概率分布。如果一個函數 p是概率密度函數,必須滿足下面這幾個條件:
-
ppp的定義域必須是xxx所有可能狀態的集合。
-
?x∈x,p(x)≥0.\forall x \in x, p(x)\ge 0.?x∈x,p(x)≥0.注意,我們并不要求p(x)≤1p(x)\le 1p(x)≤1。
-
∫p(x)dx=1.\int p(x) dx = 1.∫p(x)dx=1.
p(x)p(x)p(x)并沒有直接對特定的狀態給出概率,相對的,它給出了落在面積為δx\delta xδx的無限小的區域內的概率為p(x)δxp(x)\delta xp(x)δx。
我們可以對求積分來獲得點集的真實概率質量。
特別地,xxx落在集合SSS中的概率可以通過p(x)p(x)p(x)對這個集合求積分來得到。
在單變量的例子中,xxx落在區間[a,b][a, b][a,b]的概率是∫[a,b]p(x)dx\int_{[a,b]} p(x)dx∫[a,b]?p(x)dx。
3、CDF
CDF表示累計的概率。比如從0到x的概率累計。
總結
以上是生活随笔為你收集整理的概率分布:PMF与PDF的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 频率概率与贝叶斯概率
- 下一篇: 机器学习中的常用概率分布