Laplace近似就是使用正態分布來近似連續變量概率密度函數。

lnf(z)?lnf(z0)?12A(z?z0)2A=?d2dz2lnf(z)∣z=z0

1 非共軛的先驗概率

在很多時候在我們建立的概率模型中的先驗概率是不存在共軛后驗的，
例如，考慮一個模型

Xi～g(xi|θ)=θ(θ+1)x(θ?1)i(1?xi)，θ>0 ，對于這個模型來說，并沒有任何的prior可以找到共軛分布，因為 θ>0 所以把 θ 的先驗選作Gamma分布。
這時后驗分布，

這時， p(θ|x)很難計算。

２ Laplace近似

設θ^是pdf h(θ)的最大值點，所以它也是q(θ)=logh(θ)的最大值點，那么，對q(θ)二階泰勒展開可得：

其中a~=θ^，b~2={?q¨(θ^)}?1，注意等式右面的第二部分形式恰好是N(a~,b~2)的對數形式，因此h(θ)≈N(a~,b~2)。
Laplace近似形式很簡單，對近似的函數的要求就是二階可導，且最最大點處 peaks well，而且近似過程中我們也只需要知道最大點θ^和q¨(θ^)。
例子：




假設，n=20,Σi=1logXi=?4.59,a=1,b=1，解上述方程可得θ^=6.69,?q¨(6.69)=0.785，因此ξ(θ|x)≈Normal(6.69,1/0.785)

3 找出θ^

在上面的這里例子中求解θ^很簡單，但是并不是所有的模型中都可以直接計算出的，這里可以使用數值方法，例如牛頓法：
初始值：θ=θ0
迭代：

4 正態分布對后驗概率估計的質量

現在我們已經可以對一個后驗概率使用Laplace近似了，那么我們得到的結果和要近似的分布之間差異到底有多大呢？
結論：當模型是”regular”，prior光滑，n足夠大，

對共軛后驗的正態近似

當n足夠大的時候，有著共軛后驗的分布也和正態分布近似。

總結

以上是生活随笔為你收集整理的Laplace近似后验概率的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。