總說

因為，一般做分類的，交叉熵很常見吧，類似KL散度或者交叉熵，本質上就是利用“編碼長度”作文章。比如KL散度就是，不完美的概率$q$去編碼完美信息條件下的概率$p$，從而多需要的編碼長度。這種都是利用直接預測的某件事情的概率去做的。

比如，我需要預測這張圖是不是貓，預測的貓的概率為 $p(x)$，對吧，就是表示獨立事件的本身。

某些情況下，有兩個事件，一個事件的發生可以去預測另外一個事件的概率，就是條件概率。互信息衡量兩個變量的依賴程度，可以理解為給定其中一個變量，可以多大程度的減少另一個變量的不確定性，具體為

$$I(A,B)=H(A)?H(A|B)=H(B)?H(B|A)$$
這個很容易理解了。前者就是預測的事件的熵，后者就是依賴另外一個事件，我們去預測需要預測的事件的熵。含義很容易理解，假設我不能直接去拿到一個事件$A$的信息，我需要另外一個事件$B$，依賴這個事件去預測$A$事件。

常見的例子是，類別$c$去預測輸入圖的信息。就可以用互信息。

具體參考：
https://zhuanlan.zhihu.com/p/261704731

總結

以上是生活随笔為你收集整理的最大化互信息的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。