EM算法是一種迭代方法，可以看作用坐標(biāo)下降法來(lái)最大化對(duì)數(shù)似然估計(jì)下界的過(guò)程。

一、引入

（一）算法介紹

1、例題

有三枚硬幣，ABC他們出現(xiàn)正面的概率分別是Π，p和q。進(jìn)行如下投擲實(shí)驗(yàn)：先投擲A，再根據(jù)其結(jié)果選出硬幣B或者C，A出現(xiàn)正面選擇B，反面選擇C，然后投擲選出的硬幣，將擲出正面記作1，反面記作0，獨(dú)立地重復(fù)N次實(shí)驗(yàn)（該問(wèn)題n=10），觀測(cè)結(jié)果如下：1，1，0，1，0，0，1，0，1，1

要求：只能觀測(cè)到擲硬幣的結(jié)果，不能觀測(cè)到擲硬幣的過(guò)程，問(wèn)如何估計(jì)三硬幣正面出現(xiàn)的概率，即三硬幣模型的參數(shù)

P(y|λ)=ΣzP(y,z|λ)=ΣzP(z|λ)P(y|z,λ)
=
y是觀測(cè)變量，表示一次實(shí)驗(yàn)的測(cè)試結(jié)果是1或者0，隨機(jī)變量z是隱變量，表示未觀測(cè)到的擲硬幣A的結(jié)果；λ=（Π，p, q）是參數(shù)模型。


求極大似然估計(jì)沒(méi)有解析式，只有通過(guò)迭代的方法求解。EM可以完成該任務(wù)，

2、EM算法流程

(1)選取參數(shù)初值記作λ（0）=（Π(0),p(0),q(0)）,通過(guò)迭代計(jì)算參數(shù)的估計(jì)值，直至收斂，EM算法的第i+1次迭代如下。
(2)E步
(3)M步：計(jì)算模型參數(shù)的新估計(jì)值

🐖：Yj表示每一次的觀測(cè)結(jié)果，每次計(jì)算都要把所有實(shí)驗(yàn)結(jié)果都代進(jìn)迭代式
假設(shè)三個(gè)參數(shù)的初值都是0.5，那么對(duì)于y=1或者y=0來(lái)說(shuō)，E步對(duì)應(yīng)的值都是0.5
計(jì)算過(guò)程如下：

EM算法注意點(diǎn)

1、對(duì)初值敏感
2、當(dāng)?shù)^(guò)程中的兩步的值無(wú)限趨近的時(shí)候，則停止迭代
3、E步求的是Q函數(shù)及其最大
4、M步的每次迭代使近似函數(shù)增大或達(dá)到局部極值。

(二)、算法導(dǎo)出

為什么EM算法能實(shí)現(xiàn)對(duì)觀測(cè)數(shù)據(jù)的極大似然估計(jì)呢？通過(guò)近似求解觀測(cè)數(shù)據(jù)的對(duì)數(shù)似然函數(shù)的極大化問(wèn)題導(dǎo)出EM算法，可以看到EM算法的作用。
極大化

難點(diǎn)在于上式中包含未觀測(cè)數(shù)據(jù)并由包含和的對(duì)數(shù)。
EM算法的核心是通過(guò)迭代逐步近似極大化L函數(shù)，每一次新的估計(jì)值都期望它可以讓L值增大，逐步達(dá)到最大值。

總結(jié)

以上是生活随笔為你收集整理的李航《统计学习方法》之EM算法及其推广的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。