20211017

互信息是相對熵的更寬泛的特殊情形， 通常將互信息最大化就是將兩個(gè)隨
機(jī)事件的相關(guān)性最大化， 在機(jī)器學(xué)習(xí)中， 理想情況下， 互信息最大， 就相當(dāng)于
模型訓(xùn)練過后擬合出來的概率分布已經(jīng)等同于真實(shí)的概率分布。

20210614

H(x):先驗(yàn)概率
H(x |y):后驗(yàn)概率
考察x ,y之間的依賴關(guān)系
如果二者獨(dú)立 這 式子的結(jié)果為0 y的發(fā)生對x的發(fā)生沒有影響 H(x)-H(x)=0
如果 影響很大,H(x|y) 因?yàn)閥的加入 是的 x的不確定性減小 使得 H(x)-H(x|y) 的值增大
H(x) 熵表示事物不確定性的程度 越確定 值越小

1.信息量
2.熵是信息量的期望
3.散度兩個(gè)分布越接近 散度值越小 右邊的每一項(xiàng)都接近于1
4.單標(biāo)簽 多分類 一張圖片同時(shí)只能是一種判別的可能
5.多標(biāo)簽 多分類 一張圖片同時(shí)可以是多種判別的可能
6.上面四五點(diǎn) 二者的公式是不一樣的

https://www.zhihu.com/question/65288314/answer/244557337
https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/

實(shí)際應(yīng)用中 本質(zhì)上是用的散度衡量兩個(gè)分布的相似度,只是因?yàn)榍安肯嗤椭挥昧?后半部的交叉熵

總結(jié)

以上是生活随笔為你收集整理的交叉熵理解深度学习互信息的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。