文章目錄

• 玄乎的“最大熵原理”
• 最大熵原理
• 最大熵模型
• 對(duì)特征函數(shù)的進(jìn)一步理解
• 一種簡(jiǎn)單的特征函數(shù)設(shè)計(jì)
• 最大熵模型小結(jié)

玄乎的“最大熵原理”

下面我來(lái)嘗試解釋一下這個(gè)概念。

我們了解：熵，就是混亂的意思。

在面對(duì)未知時(shí)，我們眼前的情況是十分混亂的 - 這個(gè)時(shí)候的熵值極大。然后我們會(huì)通過(guò)慢慢地收集數(shù)據(jù)和信息，慢慢地去分析，來(lái)一點(diǎn)一點(diǎn)地將熵降低。

最大熵模型 (maximization entropy model) 也是經(jīng)典的分類算法，和邏輯回歸模型一樣，最大熵模型也屬于對(duì)數(shù)線性模型。最大熵模型的學(xué)習(xí)和支持向量機(jī)類似，都轉(zhuǎn)化為約束最優(yōu)化問(wèn)題。

最大熵原理

最大熵的思想很樸素，即將已知事實(shí)以外的未知部分看做“等

總結(jié)

以上是生活随笔為你收集整理的【机器学习算法专题（蓄力计划）】十五、机器学习中玄乎的最大熵原理及模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。