最大熵原理

承認(rèn)已知事物（知識），對未知事物不做任何假設(shè)，沒有任何偏見

最大熵存在且唯一（凸性）

概率平均分布等價于熵最大

最大熵模型的一般式

關(guān)于條件分布 P(Y|X)的熵為：

去掉負(fù)號，得到最大熵模型的等價式

MaxEnt 模型最后被形式化為帶有約束條件的最優(yōu)化問題，可以通過拉格朗日乘子法將其轉(zhuǎn)為無約束優(yōu)化的問題，引入拉格朗日乘子：w0,w1,…,wnw0,w1,…,wn， 定義朗格朗日函數(shù) L(P,w):

最后得到使得H(P)最大的條件分布P(Y/X)的解：

這里 f_i(x,y)代表特征函數(shù)，wi代表特征函數(shù)的權(quán)值， P_w(y|x)即為 MaxEnt 模型，現(xiàn)在內(nèi)部的極小化求解得到關(guān)于w的函數(shù)，現(xiàn)在求其對偶問題的外部極大化即可，將最優(yōu)解記做 w?:

所以現(xiàn)在最大上模型轉(zhuǎn)為求解 Ψ(w)的極大化問題，求解最優(yōu)的 w?后，便得到了所要求的MaxEnt 模型，將 Pw(y|x)帶入 Ψ(w)，最終通過一系列極其復(fù)雜的運算，得到了需要極大化的式子：

使用極大似然法求解：

這里有訓(xùn)練數(shù)據(jù)得到經(jīng)驗分布 P?(x,y)， 待求解的概率模型 P(Y|X)的似然函數(shù)為：

將 P_w(y|x)帶入以上公式可以得到：

顯而易見，拉格朗日對偶得到的結(jié)果與極大似然得到的結(jié)果是等價的（但并不意味著最大熵模型與最大似然估計等價），現(xiàn)在只需極大化似然函數(shù)即可，順帶優(yōu)化目標(biāo)中可以加入正則項，這是一個凸優(yōu)化問題，一般的梯度法、牛頓法都可解之，專門的算法有GIS IIS 算法。

總結(jié)

以上是生活随笔為你收集整理的最大熵模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。