參考資料：https://blog.csdn.net/androidlushangderen/article/details/42921789

介紹

em算法是一種迭代算法，用于含有隱變量的參數(shù)模型的最大似然估計(jì)或極大后驗(yàn)概率估計(jì)。EM算法，作為一個(gè)框架思想，它可以應(yīng)用在很多領(lǐng)域，比如說(shuō)數(shù)據(jù)聚類領(lǐng)域----模糊聚類的處理，待會(huì)兒也會(huì)給出一個(gè)這樣的實(shí)現(xiàn)例子。

EM算法原理

EM算法從名稱上就能看出他可以被分成2個(gè)部分，E-Step和M-Step。E-Step叫做期望化步驟，M-Step為最大化步驟。

整體算法的步驟如下所示：

1、初始化分布參數(shù)。

2、(E-Step)計(jì)算期望E，利用對(duì)隱藏變量的現(xiàn)有估計(jì)值，計(jì)算其最大似然估計(jì)值，以此實(shí)現(xiàn)期望化的過(guò)程。

3、(M-Step)最大化在E-步驟上的最大似然估計(jì)值來(lái)計(jì)算參數(shù)的值

4、重復(fù)2,3步驟直到收斂。

以上就是EM算法的核心原理，也許您會(huì)想，真的這么簡(jiǎn)單，其實(shí)事實(shí)是我省略了其中復(fù)雜的數(shù)據(jù)推導(dǎo)的過(guò)程，因?yàn)槿绻焕斫釫M的算法原理，去看其中的數(shù)據(jù)公式的推導(dǎo)，會(huì)讓人更加暈的。好，下面給出數(shù)據(jù)的推導(dǎo)過(guò)程，本人數(shù)學(xué)也不好，于是用了別人的推導(dǎo)過(guò)程，人家已經(jīng)寫得非常詳細(xì)了。

EM算法的推導(dǎo)過(guò)程

jensen不等式

在介紹推導(dǎo)過(guò)程的時(shí)候，需要明白jensen不等式，他是一個(gè)關(guān)于凸函數(shù)的一個(gè)定理，直接上公式定義;

?

如果f是凸函數(shù)，X是隨機(jī)變量，那么

??????

????? 特別地，如果f是嚴(yán)格凸函數(shù)，那么當(dāng)且僅當(dāng)，也就是說(shuō)X是常量。

????? 這里我們將簡(jiǎn)寫為。

????? 如果用圖表示會(huì)很清晰：

??????

這里需要解釋的是E(X)的值為什么是（a+b）/2，因?yàn)橛?.5 的概率是a，0.5的概率是b，于是他的期望就是a,b的和的中間值了。同理在y軸上的值也是如此。

EM算法的公式表達(dá)形式

EM算法轉(zhuǎn)化為公式的表達(dá)形式為：

?

? ? ? 給定的訓(xùn)練樣本是，樣例間獨(dú)立，我們想找到每個(gè)樣例隱含的類別z，能使得p(x,z)最大。p(x,z)的最大似然估計(jì)如下：

??????

然后對(duì)這個(gè)公式做一點(diǎn)變化，就可以用上jensen不等式了，神奇的一筆來(lái)了：

?

可以由前面闡述的內(nèi)容得到下面的公式：

??????

????? （1）到（2）比較直接，就是分子分母同乘以一個(gè)相等的函數(shù)。（2）到（3）利用了Jensen不等式。對(duì)于每一個(gè)樣例i，讓表示該樣例隱含變量z的某種分布，滿足的條件是。于是就來(lái)到了問(wèn)題的關(guān)鍵，通過(guò)上面的不等式，我們就可以確定式子的下界，然后我們就可以不斷的提高此下界達(dá)到逼近最后真實(shí)值的目的值，那么什么時(shí)候達(dá)到想到的時(shí)候呢，沒(méi)錯(cuò)，就是這個(gè)不等式變成等式的時(shí)候，然后再依據(jù)之前描述的jensen不等式的說(shuō)明，當(dāng)不等式變?yōu)榈仁降臅r(shí)候，當(dāng)且僅當(dāng)，也就是說(shuō)X是常量，推出就是下面的公式：

?

???? 再推導(dǎo)下，由于（因?yàn)镼是隨機(jī)變量z(i)的概率密度函數(shù)），則可以得到：分子的和等于c（分子分母都對(duì)所有z(i)求和：多個(gè)等式分子分母相加不變，這個(gè)認(rèn)為每個(gè)樣例的兩個(gè)概率比值都是c），再次繼續(xù)推導(dǎo);

?

??????

最后就得出了EM算法的一般過(guò)程了：

?

循環(huán)重復(fù)直到收斂

????? （E步）對(duì)于每一個(gè)i，計(jì)算

??????????????????

????? （M步）計(jì)算

??????????????????

總結(jié)

以上是生活随笔為你收集整理的EM最大期望算法与jensen不等式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。