今天的主要任務是來理解共軛先驗以及貝葉斯學習。最近在研究主題模型，里面用到了一些，另外在機器學習中，貝葉斯學習是重要的一個方向，所以有必要學習和掌握。

?

?

Contents

?

?? 1. 貝葉斯學習

?? 2. Beta分布及共軛先驗

?

?

1. 貝葉斯學習

?

? ?首先，我從最簡單的硬幣投擲開始。現在給你一個硬幣，假設有的概率為正面朝上，那么有的概率是背

? ?面朝上，那么如果在5次投擲過程中，有3次是正面朝上，那么這個最可能是多少呢？

? ?憑著直觀感覺，我們可能會認為是3/5，當然這是根據統計規(guī)律得到的結論。那么實際上這是一個二項分布，即

? ?重復n次的伯努利實驗。由上述所述，很容易知道其概率表示如下

? ? ? ??

? ?我們需要這個概率盡量大，那么最終解得的值為3/5。函數圖像如下

? ? ? ?

? ?但是，我們想象一下，如果在5次投擲過程中，5次都正面朝上，那豈不是得到的估計值是1？ 很明顯這種情

? ?況得到的估計值不合理。為了避免這種“黑天鵝事件”的發(fā)生，需要將值降低一些才能看似更符合常理，那么

? ?我們只需要乘上另一個小于1的概率值就可以達到了。到了這里貝葉斯公式橫空出世！如下

? ? ? ? ? ?

? ? 其中叫做先驗概率，叫做似然概率，先驗概率是對似然概率的一種補充，如上述的擲硬幣。而

? ? 后驗概率正比于似然概率和先驗概率的乘積。

2. Beta分布及共軛先驗

? ?還是以擲硬幣為例，我們已經知道了后驗概率正比于似然概率和先驗概率的乘積。那么在擲硬幣實驗中，硬幣的

? ?朝向服從伯努利分布，在一系列投擲過程中，假設有次正面朝上，有次背面朝上，那么似然概率為

? ? ? ? ?

? ? 現在已經得到了似然概率的形式了，那么如何確定先驗概率呢？從理論上來說，任何一個在區(qū)間[0, 1]上的分

? ? 布函數都符合條件，但是為了更方便地簡化計算，最理想的情況就是讓先驗分布和似然分布有相同的形式，即

? ? ? ? ?

? ? 如果先驗分布是這樣的形式，那么計算先驗概率和似然概率的乘積就很方便了，只需要將指數相加即可。幸運

? ? 的是，有一個很常見的分布恰好滿足這個條件，它就是Beta分布。如下

? ? ? ? ?

? ? 其中是Gamma函數。現在根據先驗概率、似然概率和貝葉斯公式來推導后驗概率。推導過程如下

? ? ? ? ?

? ? ? ? ??

? ? 在上述中，先驗概率叫做似然概率的共軛先驗。所謂共軛就是指這兩個概率分布具有相同的形式。

? ? 最后推薦一些好文章！

? ? 一. Beta分布與二項分布的公式原理推導

? ? 二. Beta分布與其共軛先驗的介紹

? ? 三. 多項式分布及Beta分布的期望計算

總結

以上是生活随笔為你收集整理的贝叶斯学习及共轭先验的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。