似然估计中为什么要取对数以GMM为例
生活随笔
收集整理的這篇文章主要介紹了
似然估计中为什么要取对数以GMM为例
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1.往往假設特征之間獨立同分布,那么似然函數往往是連城形式,直接求騙到不好搞,根據log可以把連乘變為連加。
2.另外概率值是小數,多個小數相乘容易趙成浮點數下溢,去log變為連加可以避免這個問題。
若果原始似然函數中沒有連加和,那么去對術后沒有log(a+b)的形式,此時可以用GD,否則用EM,村塾個人理解。
以GMM來理解,包含log(a+b)往往是因為包含了因變量,GMM中隱變量就是每條記錄屬于的類別,如果知道了類別,那么權重為每類中的個數除以總的個數,均值為類中數據的加權平均,方差為數據減去均值開放。
首先需要從GMM中取出一個數據,假設,pi,miu和sigam一直,那么該數據來自不同成分的概率為權重*高斯分布的歸一化,這是E步,然后pi(i)=各個數據點屬于i累的概率的平均值,u(i)=概率值乘以數值,sigima(i)=概率值乘以記錄減去miu(i)。
總結
以上是生活随笔為你收集整理的似然估计中为什么要取对数以GMM为例的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LearningR-XML
- 下一篇: raid0+磁盘加密