Learning with Privileged Information for Efficient Image Super-Resolution，ECCV2020

作者信息：

Paper：

Learning with Privileged Information for Efficient Image Super-Resolution?arxiv.org

Code：

cvlab-yonsei/PISR?github.com

本文亮點(diǎn)：（1）提出了一個(gè)新的適用于SR的蒸餾結(jié)構(gòu)，首次使用蒸餾方法來改進(jìn)超分模型的效果而且work。（2）作者拿FSRCNN來蒸餾展示效果，蒸餾后的模型效果雖不如近幾年的模型（FSRCNN有點(diǎn)老），但內(nèi)存使用和推理速度要比近幾年的模型好1-2個(gè)數(shù)量級(jí)（見下圖）。

蒸餾架構(gòu)

本文蒸餾結(jié)構(gòu)(細(xì)節(jié)圖)

新老蒸餾結(jié)構(gòu)對(duì)比

蒸餾架構(gòu)上，可以看到有兩個(gè)改動(dòng)：

（1）將HR（GT）作為privileged knowledge，而不是只在最后跟老師、學(xué)生模型的輸出進(jìn)行監(jiān)督。這個(gè)改動(dòng)有效嗎？如下圖，相對(duì)于LR圖(藍(lán)線)，compact feature（橙線與綠線）含有更多高頻信息，更能提升老師模型的效果。

同時(shí)，compact feature是HR經(jīng)過encode得到的，分布肯定跟真的LR圖有g(shù)ap，所以用LR圖引導(dǎo)它一下是比較自然的想法。如下下圖，加了LR引導(dǎo)的這個(gè)loss后(橙色)會(huì)更趨近于LR分布(藍(lán)色)。

不同信息源的分布

（2）Teacher模型設(shè)計(jì)成了AE的結(jié)構(gòu)，Encoder將HR圖轉(zhuǎn)為Compact Feature（即預(yù)測的LR圖），這一步有LR的GT作為監(jiān)督。Decoder將Compact feature（與LR shape一致）轉(zhuǎn)為HR，注意老師的Decoder結(jié)構(gòu)和學(xué)生模型結(jié)構(gòu)是完全一樣的，這是為了減少老師與學(xué)生模型之間的gap，能提升知識(shí)遷移的效果，而且訓(xùn)練好的老師Decoder可以直接作為學(xué)生model的初始化。

看看損失

Loss

Loss上，Imitation loss和Reconstruction loss都是由GT引導(dǎo)的L1，新鮮的是Distillation loss，是用互信息（mutual information）來度量和優(yōu)化老師->學(xué)生的知識(shí)損失的：如下式，fT和fS分別是師生的feature map，H指entropy。

具體怎么優(yōu)化？作者使用了variational的極大化信息優(yōu)化方法，使用拉普拉斯分布來建模條件概率

，實(shí)現(xiàn)上是用MLP計(jì)算這個(gè)分布的倆參數(shù)μ、b，μ和b分別是location和scale。

如下式，Distillation loss分兩項(xiàng)，第二項(xiàng)中，

表征的就是老師feature map與location map的距離，b控制蒸餾的extent，假如蒸餾沒有使得學(xué)生模型得到效果提升，b就會(huì)增大減弱蒸餾；而式子第一項(xiàng)就是約束b防止把它優(yōu)化的太大的。

蒸餾損失

總結(jié)

原SR模型，也就是蒸餾的對(duì)象是選的是FSRCNN,ECCV (2016)，選這個(gè)較久遠(yuǎn)且效果差一些但是推理快、占內(nèi)存少的模型的原因，個(gè)人認(rèn)為是：通過增強(qiáng)這樣一個(gè)對(duì)移動(dòng)設(shè)備友好、對(duì)硬件友好的模型能進(jìn)一步體現(xiàn)自己文章的實(shí)用價(jià)值。

文章的主要價(jià)值還是在于首次提出的這個(gè)蒸餾架構(gòu)在超分任務(wù)上work，而且有通用性，可見下圖，其他幾個(gè)模型經(jīng)蒸餾后效果都有提升。

經(jīng)過蒸餾視覺效果也有提升。上圖中第一列是GT，第三、四列分別是蒸餾前后的超分結(jié)果，可發(fā)現(xiàn)不同的模型蒸餾后視覺效果都有提升。

感謝閱讀

Reference：

部分想法受啟發(fā)于@小小奧列夫的專欄 https://zhuanlan.zhihu.com/p/161103945

總結(jié)

以上是生活随笔為你收集整理的架构 encoder_一种新的超分模型蒸馏架构 (ECCV2020)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。