文章來源于極市平臺，作者Happy

paper: https://arxiv.org/abs/2006.16673

code: https://github.com/sczhou/IGNN（尚未開源）

導讀：該文可能是首次提出將圖神經網絡嵌入到圖像超分領域中，其實它也是圖像塊自相似性的一種應用，之前筆者分享過類似的方法(采用卷積方式進行塊相似性搜索)，而這篇論文則是采用圖神經網絡搜索塊相似性。這種塊相似性搜索技術與傳統方法中的搜索比較類似，可謂是傳統方法與深度學習相結合的又一個進展。對圖像復原方向感興趣的小伙伴可以關注一下這篇論文。

Abstract

自然圖像中的非局部自相似性時一種非常有效的先驗信息，在傳統圖像處理中被廣泛研究與應用，比如非局部均值、BM3D等圖像降噪方法以及基于Self-Similarity圖像超分和圖像去模糊等等。然而該非局部自相似性在深度學習領域卻鮮少見諸于研究，現有深度非局部方法僅僅探索了同尺度的相似塊，因此圖像復原的性能會受限于同尺度信息的有限性，而其他尺度的信息可能包含更多有用的信息。

該文作者對自然圖像中的跨尺度塊相似塊(即相似塊可能出現在圖像的不同尺度)進行探索，并提出一種新穎的Internal Graph Neural Network進行跨尺度的相似塊探索，作者構建了一種跨尺度圖用于為LR圖像中的塊搜k近鄰相似塊，得到k個HR近鄰塊并采用自適應集成方式進行信息匯聚。因此，HR信息可以通過k個HR近鄰塊傳遞給LR圖像塊并輔助圖像紋理細節復原。

最后，作者通過實驗證實了所提方法的SOTA性能。

Method

在這部分內容中，首先介紹一下已有非局部方法的廣義形式，然后所提到的跨尺度圖匯聚模塊，最后介紹所提出的快尺度圖像神經網絡(IGNN)。

Background

非局部匯聚策略被廣泛應用于圖像復原領域，比如非局部均值和BM3D采用非局部相似性屬性進行圖像降噪。在深度學習領域，非局部神經網絡與k近鄰網絡被提出用于探索圖像的非局部自相似性。非局部塊的匯聚過程可以描述為：

如果我們將特征塊以及加權連接視作定點與邊的話，上述過程可以視作GNN。之前已有非局部方法進行通尺度相似性探索，但是通尺度相似性對于圖像超分的性能提升極為有限。

Cross-Scale Graph Aggregation Module

在已有的非局部深度學習方法中，特征塊的大小往往相同。盡管它們在圖像降噪方面表現良好，但是它難以獲取高分辨率信息，對于超分的性能提升極為有限?？紤]到自然圖像的塊自相似性會跨尺度出現，作者提出一種跨尺度圖像神經網絡。下圖給出了跨尺度圖匯聚模塊示意圖。

對于LR中的每個查詢塊(圖中黃色框)，從下采樣圖像中搜索k個最相似塊并進行對應的HR塊信息匯聚?？绯叨葔K的連接可以通過圖方式進行建模，每個特征塊是一個定點，邊用來衡量塊之間的相似性。下圖給出了本文所提出的GraphAgg模塊示意圖，它包含兩個操作：Graph Construction與Patch Aggregation。

Graph Construction

首先對低分辨率圖像采用雙三次插值進行s倍下采樣，得到，其中下采樣比例等于上期望的上采樣尺度。因此，所找到的k近鄰特征塊與期望的HR特征塊具有相同尺寸。

為得到k近鄰特征塊，首先采用VGG19的前三層對提取嵌入特征.參考傳統非局部方法中的塊匹配方法，對于中的查詢特征塊，首先按照歐式距離尋找k個近鄰塊，然后可以得到k個大小的來自特征塊。該過程見上圖中的紅色線過程，稱之為定點映射。

通過上述過程可以完成跨尺度k近鄰圖構建，表示一個包含LR塊集合與HR近鄰塊集合的塊集合，表示邊集合。為度量頂點(即特征塊)之間的相似性，采用進行度量并用于估計匯聚權值。

注：作在而非上進行相似塊搜索可以減少被搜索空間；同時僅僅搜索k近鄰可以進一步減少計算復雜。

Patch Aggregation

受啟發于Edge-Conditioned Convolution(ECN)，作者采用如下方式進行相似塊匯聚：

其中?表示第r個近鄰HR特征塊，與此同時，作者還引入patch2img操作進行輸出特征塊變化。作者提出采用一種自適應ECN（即）估計頂點之間的匯聚權值(注：加權權值需要進行歸一化哦)。

為充分利用，作者采用一個Downsampled-Embedding sub-Network,DEN進行特征嵌入并與通過concat融合得到并用于后續網絡。

Adaptive Patch Normalization

作者觀察到：通過GraphAgg模塊得到的k個HR近鄰塊包含某些低頻成分(比如顏色、亮度等)。除了前述提到的自適應加權外，受啟發與AdaIN，作者還提出一種自適應塊歸一化(AdaPN)操作進行近鄰塊對齊。該過程可以描述為：

通過該對齊操作，可以將緊鄰快的低頻信息進行遷移同時保持高頻紋理信息不變。

Cross-Scale Internal Graph Neural Network

Experiments

為驗證所提方法的有效性，作者在DIV2K數據集上進行了訓練，輸入塊大小為，同時采用隨機鏡像、旋轉等增廣。優化器為Adam，初始學習率為0.0001,每200000迭代折半，合計訓練800000迭代。損失函數為。在GraphAgg模塊中，k=5，搜索窗口設置為30.注：GraphAgg是一種“即插即用”的模塊，它可以輕易嵌入到其他超分網絡中。

下表給出了所提方法與其他SOTA方法的性能對比，取得了目前最佳的PSNR指標。

此外，作者還進行了一些消融實驗分析。下圖對比了GraphAgg與常規非局部集成思路的對比。可以看到：簡單的平均方式會產生假性紋理，而所提方法則有效避免了該問題。

下面兩個表分別對比了(1)GraphAgg與其他非局部方法的性能；(2) GraphAgg插入不同位置的性能對比。

下面兩個表分別對比了(1)不同搜索方位下的性能對比；(2)不同近鄰數的性能對比。可以看到：搜索范圍為30，近鄰為5即可取得非常好的性能，進一步提升無明顯提升。

最后，作者對比AdaPN與ECN的作用與性能對比，見下表。

最后的最后，多附上幾個效果圖，沒辦法，論文效果太贊了。

Conclusion

雖然該文并非首個將圖像塊跨尺度自相似性引入到圖像超分領域，但其創新性的采用圖方式進行最近鄰相似塊的搜索，同時進一步將圖像超分的指標刷到的新的高度。

目前作者尚未開源代碼，甚至期待開源并嘗試一番。筆者最近也是在嘗試非局部均值、雙邊濾波思想與圖像超分的融合之道，但尚未取得這么好的效果。但這篇論文提供了一個非常好的方案：采用圖神經網絡嵌入圖像塊自相似性，好像看到了自己方案的前進之路。

◎作者檔案

Happy，一個愛“胡思亂想”的AI行者

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請掃碼進群：

總結

以上是生活随笔為你收集整理的【论文解读】图像超分最新记录！南洋理工提出图神经网络嵌入新思路，复原效果惊艳...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。