ML与Information：机器学习与Information信息论之间那些七七八八、乱七八糟、剪不断理还乱的关系攻略
ML與Information：機(jī)器學(xué)習(xí)與Information信息論之間那些七七八八、亂七八糟、剪不斷理還亂的關(guān)系攻略
?
?
目錄
ML與信息論
ML與熵
1、熵的基礎(chǔ)知識(shí)
2、熵與分布的關(guān)系
3、最大熵模型與Logistic/Softmax回歸
相關(guān)文獻(xiàn)推薦
?
?
?
ML與信息論
更新……
?
ML與熵
1、熵的基礎(chǔ)知識(shí)
(1)、相對(duì)熵：兩個(gè)KL散度的區(qū)別：
1)、綠色曲線是真實(shí)分布p的等高線；紅色曲線是使用近似p(z1,z2)=p(z1)p(z2)得到的等高線。
2)、藍(lán)色曲線是真實(shí)分布p的等高線；紅色曲線是單模型近似分布q的等高線。
(2)各種熵之間的關(guān)系圖
?
2、熵與分布的關(guān)系
(1)、兩點(diǎn)分布的熵
(2)、三點(diǎn)分布的熵
?
3、最大熵模型與Logistic/Softmax回歸
Logistic/Softmax回歸的后驗(yàn)概率
最大熵模型的后驗(yàn)概率
?
相關(guān)文獻(xiàn)推薦
《A Brief MaxEnt Tutorial》 Adam Berger
《A simple Introduction to Maximum Entropy Models for Natural Language Processing》Adwait Ratnaparkhi
《Learning to parse natural language with maximum entropy models》 Adwait Ratnaparkhi
《統(tǒng)計(jì)學(xué)習(xí)方法》李航，清華大學(xué)出版社，2012年
《Elements of Information Theory》 Cover & Thomas
《A maximum entropy approach to natural language processing 》Adam Berger
?
?
總結(jié)
以上是生活随笔為你收集整理的ML与Information：机器学习与Information信息论之间那些七七八八、乱七八糟、剪不断理还乱的关系攻略的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ML与math：机器学习与高等数学基础概
- 下一篇： ML之DT：机器学习根据大量数据,已知年