一、引言

????按照計(jì)劃，這周應(yīng)該學(xué)習(xí)HMM中的第三個基本問題：參數(shù)估計(jì)問題，但是其中的內(nèi)容涉及到了EM算法，所以打算先把EM算法搞定之后再去繼續(xù)HMM的問題。EM算法的推導(dǎo)過程比較復(fù)雜，這節(jié)我只給出簡述和計(jì)算公式，待推導(dǎo)完成后再貼上推導(dǎo)過程。

二、一個實(shí)例

例1 （三硬幣模型） 假設(shè)有3枚硬幣，分別記為A,B,C。這些硬幣正面出現(xiàn)的概率分別是π,p,q。進(jìn)行如下擲硬幣試驗(yàn)：先擲硬幣A,根據(jù)其結(jié)果選出B或者C，正面選B，反面選C；然后擲選出的硬幣，擲硬幣的結(jié)果，正面記為1，反面記為0；獨(dú)立重復(fù)n次試驗(yàn)(這里，n=10),觀測結(jié)果如下：1,1,0,1,0,0,1,0,1,1.假設(shè)只能觀測到擲硬幣的結(jié)果，不能觀測擲硬幣的過程。問如何估計(jì)三硬幣正面出現(xiàn)的概率，即求三硬幣模型的參數(shù)。

????三硬幣模型可以寫作:

P(y;θ)=∑zP(y,z;θ)=∑zP(z;θ)P(y|z;θ)=πpy(1?p)1?y+(1?π)qy(1?q)1?y
上式中，隨機(jī)變量 y是觀測變量，z是隱變量且不可觀測， θ=(π,p,q)是模型參數(shù)。這一模型是以上數(shù)據(jù)的生成模型。將觀測數(shù)據(jù)表示為 Y=(Y1,Y2,…,Yn)T, 未觀測數(shù)據(jù)表示為 Z=(Z1,Z2,…,Zn)T，則觀測數(shù)據(jù)的似然函數(shù)為：
P(Y;θ)=∑zP(Z;θ)P(Y|Z;θ)=∏j=1n[πpyj(1?p)1?yj+(1?π)qyj(1?q)1?yj]

三、EM算法的迭代公式

????考慮求模型參數(shù)θ=(π,p,q)的極大似然估計(jì)，即：

θ^=argmaxθlogP(Y;θ)
這個問題沒有解析解，只有通過迭代方法求解，EM算法就是求解這個問題的一種算法。下面先給出去針對上述問題的EM算法，推導(dǎo)過程下節(jié)給出。
1. 選取初始參數(shù) θ(0)=(π(0),p(0),q(0))
2. E步：計(jì)算模型參數(shù) π(i),p(i),q(i)下觀測數(shù)據(jù) yj來自擲硬幣B的概率：
μ(i+1)=π(i)(p(i))yj(1?p(i))1?yjπ(i)(p(i))yj(1?p(i))1?yj+(1?π(i))(q(i))yj(1?q(i))1?yj
3. M步：計(jì)算模型參數(shù)的新估計(jì)值：
π(i+1)=1n∑j=1nμ(i+1)jp(i+1)=∑nj=1μ(i+1)jyj∑nj=1μ(i+1)jq(i+1)=∑nj=1(1?μ(i+1)j)yj∑nj=1(1?μ(i+1)j)
4. 給出停止迭代的條件， 一般是較小的正數(shù) ε, 滿足：
||θ(i+1)?θ(i)||<ε
重復(fù)上式2-4步，完成求解，需要注意的是EM算法對初始值的選取是相當(dāng)敏感的。

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记(十六)——EM算法概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。