1 介紹

吉布斯采樣是一種特殊的MH采樣

MCMC筆記Metropilis-Hastings算法（MH算法）_UQI-LIUWJ的博客-CSDN博客

此時我們要采樣的分布是一個高維的情況

吉布斯采樣的思想就是一維一維地進(jìn)行采樣，采某一個維度的時候固定其他的維度

吉布斯采樣有一個假定條件，那就是雖然高維采樣可能不太好采，但是一維采樣比較好采。如果這個假設(shè)不成立，那么吉布斯采樣也就不可行

用數(shù)學(xué)表達(dá)式描述，即為：

?1.1 采樣過程

假設(shè)有三個維度

• 我們先初始化各個維度第一個被采樣的值
• ?然后按照如下的規(guī)則進(jìn)行迭代：

2 吉布斯算法是特殊的MH算法

? ? ? ? 在MCMC筆記Metropilis-Hastings算法（MH算法）_UQI-LIUWJ的博客-CSDN博客中，我們知道了MH算法的接受率α為：

????????

????????其中 Z?代表吉布斯采樣中的t?時刻，而 Z*?代表?t+1時刻。

? ? ? ? MH算法可知此時的馬爾可夫鏈?zhǔn)翘幱谄椒€(wěn)狀態(tài)。

? ? ? ? 假設(shè)我們此時采樣的是第i維，那么對于非第i維的部分,，概率分布不變

? ? ? ? 于是我們有

????????于此同時，此時的Q就是其他狀態(tài)向的轉(zhuǎn)移概率，即

?于是吉布斯算法的接受率為：

?

?而由于，所以上式可以轉(zhuǎn)換為1

?說明吉布斯采樣是特殊的MH采樣，同時采樣效率也比MH高（MH比接受率大的部分的樣本是不采的）

?參考資料：

機(jī)器學(xué)習(xí)-白板推導(dǎo)系列(十三)-MCMC（Markov Chain Monte Carlo）_嗶哩嗶哩_bilibili

機(jī)器學(xué)習(xí)-白板推導(dǎo)系列(十三)-MCMC（Markov Chain Monte Carlo）筆記 - 知乎 (zhihu.com)

????????

總結(jié)

以上是生活随笔為你收集整理的MCMC笔记：吉布斯采样（Gibbs）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。