作者｜潘子琦

單位｜上交BCMI實驗室

?來源｜機器之心

現有的有監督解耦方法，比如把中間表征解耦成種類相關的表征和種類無關的表征，大多基于交換生成的經驗性框架，缺乏理論指導，無法保證種類相關表征中不包含種類無關的信息。在本文中，來自上海交通大學的研究者嘗試建立信息瓶頸（Information Bottleneck, IB）和有監督解耦之間的聯系，為有監督解耦提供理論指導。

信息瓶頸是一種從源數據中提取出與任務目標有關信息的方法，一般通過優化權衡壓縮項和預測項的 IB Lagrangian 來實現?，F有文獻已經指出 IB Lagrangian 存在的一些問題，比如期望的壓縮水平與控制權衡的 Lagrangian 乘子之間沒有因果關聯，因此對于 IB Lagrangian 來說需要多次嘗試優化來實現期望目標。

研究者在文中具體分析了 IB Lagrangian 中存在的權衡問題，表明隨著壓縮程度增大，預測性能嚴格減小。為了克服這些問題，研究者一方面期望在不損害預測性能的前提下能夠實現最大化壓縮，簡稱為「最大化壓縮」；另一方面期望無需多次嘗試優化，即模型能夠一致地實現最大化壓縮。

為此，研究者首先考察了最大化壓縮實現時對應的量化條件，之后對優化目標給出了最大化壓縮一致性的性質定義，即只要優化目標滿足該性質就能夠一致地實現最大化壓縮。在此基礎上，研究者給出自己的方案設計。

與現有的 IB Lagrangian 不同，研究者從有監督解耦的角度來實現信息壓縮，這是因為他們認為信息壓縮與有監督解耦本質上是同一回事：在有監督解耦任務中，需要將源數據中與給定標簽有關的信息和其它信息分開，如給定圖像的類別標簽，將圖像信息解耦為類別有關的和類別無關的信息；而類似地，在信息壓縮任務中，要將源數據中與給定標簽無關的信息丟棄從而實現壓縮，同樣需要區分出與給定標簽有關的信息和與給定標簽無關的信息。

基于此，研究者將有監督解耦與信息壓縮相聯系，提出了基于解耦的信息瓶頸算法。研究者給出了一些結論，同時在多個數據集上驗證了這些結論，并驗證了所提方法在包括信息壓縮等多個評估指標上的性能。本文已被 AAAI 2021 會議接收。

論文標題：

Disentangled Information Bottleneck

論文作者：

Ziqi Pan / Li Niu / Jianfu Zhang / Liqing Zhang

論文鏈接：

http://www.paperweekly.site/papers/4771

IB Lagrangian中壓縮項與預測項的權衡

研究者分析了 IB Lagrangian 中存在的壓縮項與預測項之間的權衡問題。形式如下：

具體來說，本文的結論表明 IB Lagrangian 最優解對應的預測性能是隨著壓縮程度的增大而嚴格下降的。

最大化壓縮一致性、方法設計

為了實現一致的最大化壓縮，研究者首先給出了最大化壓縮對應的量化條件。首先考慮了 I(X;Y) = H(Y)的情形，應用互信息的基本性質及信息處理不等式，可以得到：

接著給出了關于優化目標的最大化壓縮一致性的性質定義：

即任意優化目標，只要滿足這一性質，就會一致地實現最大化壓縮，即上述量化條件。在此基礎上給出了本文方法的優化目標函數：

具體來說，研究者通過最大化 I(X;S;Y)來約束 (S;Y) 能夠表示出 X 的全部信息，則可知 S 至少包含了 X 中與 Y 無關的信息；通過最大化 I(T;Y)來約束 T 能夠無損地預測出 Y，則可知至少 T 包含了 X 中與 Y 有關的信息。在此基礎上通過最小化 I(S;T)來約束 S 與 T 中的信息互不交疊，從而精確地約束 T 保留與 Y 有關的信息而 S 保留與 Y 無關的信息?？梢宰C明，研究者的優化目標滿足最大化壓縮一致性，即：

對于方案的工程實現，現有的文獻提供了直接可用的方法。對于最大化 T(T;Y)和 I(X;S;Y)來說，可以采用變分逼近；而對于最小化 I(S;T)來說，可以采用 Density-Ratio Trick 并以對抗方式進行訓練。

研究者的方案與信息壓縮和有監督解耦兩個領域有關。對于信息壓縮的有關方法，大多采用了優化 IB Lagrangian 的形式，因此根據上述結論，它們的壓縮項和預測項權衡無法避免，從而在信息壓縮的同時帶來預測性能的損失；而與有監督解耦的有關方法相比，如前所述，本文方法能夠確保 T 和 S 分別精確地保留與 Y 有關和無關的信息，而它們在信息量控制方面沒有保證。

實驗結果

本文的主要目標是克服 IB Lagrangian 中的權衡問題，因此首先驗證所提方法在 IB 平面（橫軸代表 I(X;T)，縱軸代表 I(T;Y)）上的表現行為。結果如下圖所示：

通過上圖可以看出，本文方法能夠在壓縮信息的同時避免對預測性能的影響，最大化壓縮的量化條件得以較好地逼近；而在 IB Lagrangian 的優化中，預測性能會隨著壓縮程度加大而下降。除此之外，參照信息壓縮方法相關文獻中的其它評估指標，本文方法在泛化能力、魯棒性以及離群樣本檢測方面也表現良好。

本文方法額外帶來的收獲是能夠進行有監督地解耦。通過可視化結果，本文方法可以較好地展示出解耦效果。

文章小結

總的來說，為了克服優化 IB Lagrangian 的信息壓縮方法中存在的壓縮項與預測項的權衡問題，研究者從有監督解耦的角度實現了信息壓縮的方法，并提出了基于有監督解耦的信息瓶頸算法。研究者給出了一些結論并進行了實驗驗證，同時在最大化壓縮、泛化能力、魯棒性、離群樣本檢測、有監督解耦等方面對方法進行評估，得到了良好的實驗效果。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的AAAI 2021 | 上海交大提出基于有监督解耦的信息瓶颈算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。