EM聚类算法
EM聚類
EM算法也稱期望最大化(Expectation-Maximum,簡稱EM)算法它是一個基礎算法,是很多機器學習領域算法的基礎,比如隱式馬爾科夫算法(HMM), LDA主題模型的變分推斷等等。
EM算法解決這個的思路是使用啟發式的迭代方法,既然我們無法直接求出模型分布參數,那么我們可以先猜想隱含數據(EM算法的E步),接著基于觀察數據和猜測的隱含數據一起來極大化對數似然,求解我們的模型參數(EM算法的M步)。由于我們之前的隱藏數據是猜測的,所以此時得到的模型參數一般還不是我們想要的結果。不過沒關系,我們基于當前得到的模型參數,繼續猜測隱含數據(EM算法的E步),然后繼續極大化對數似然,求解我們的模型參數(EM算法的M步)。以此類推,不斷的迭代下去,直到模型分布參數基本無變化,算法收斂,找到合適的模型參數。
最大似然估計
最大似然估計是什么呢?它指的就是一件事情已經發生了,然后反推更有可能是什么因素造成的。用一男一女比較身高為例,假設有一個人比另一個人高,反推他可能是男性(因為相同年齡下男性的平均身高高于女性)。最大似然估計是一種通過已知結果,估計參數的方法。
EM 算法是一種求解最大似然估計的方法,通過觀測樣本,來找出樣本的模型參數。
舉個例子來描述EM的工作原理
舉了例子:我們先看一個簡單的場景:假設你炒了一份菜,如何平均分到兩個盤子中?
正常來說我們不會使用稱來稱重&#x
總結
- 上一篇: PageRanke算法
- 下一篇: 中科大23拟录取名单公布了吗?