提出了一種新的金字塔型多尺度殘差網(wǎng)絡（PMSRN），利用分層殘差樣連接和擴張卷積形成多尺度擴張殘差塊（MSDRB）。MSDRB增強了檢測上下文信息的能力，并通過分層特征融合結(jié)構(gòu)融合分層特征。為了更有效地整合不同尺度的圖像特征，在MSDRBs中引入分層殘差類連接（即Res2Net[18]），實現(xiàn)更細化的多尺度特征表示。為了盡可能地解決網(wǎng)絡特征遺忘和利用不足的問題，將每個MSDRB層的輸出作為分層特征融合結(jié)構(gòu)（HFFS）的輸入。最后，在重建結(jié)構(gòu)中加入全局和局部特征的互補塊，以緩解有用的原始信息被忽略的問題。

本研究的貢獻如下。

• 提出了一種新的MSDRB。該模塊以更細的粒度表達多尺度特征，增加了各網(wǎng)絡層的接受場，增強了自適應檢測圖像特征的能力。
• 為了融合淺層和深層特征，提出了一種新的重建CB。該模塊可以充分利用原LR圖像中的有用信息，防止網(wǎng)絡不穩(wěn)定，提高網(wǎng)絡魯棒性和圖像重建效果。
• 由于所提出的PMSRN的參數(shù)數(shù)僅為EDSR的43.33%，且該模塊具有獨立性，容易遷移到其他網(wǎng)絡中進行學習，因此比其他網(wǎng)絡更容易訓練。

圖1.金字塔多尺度殘差網(wǎng)絡（PMSRN）模型架構(gòu)。金字塔型多尺度殘差網(wǎng)絡（PMSRN）模型架構(gòu)。網(wǎng)絡模型包括兩個部分：特征提取和重建。特征提取由分層特征融合結(jié)構(gòu)（HFFS）和8個多尺度擴展殘差塊（MSDRB）進行，重建主要涉及互補塊（CB）。

在訓練過程中，

• 首先，利用RGB顏色模型對公共圖像中包含的所有波段進行轉(zhuǎn)換，得到HR圖像。
• 第二，將HR通過Bicubic下采樣操作得到的LR作為PMSRN的輸入。
• 第三，PMSRN使用多個MSDRB來學習LR和HR之間的特征映射關(guān)系。
• 此外，隨后通過HFFS對全局和局部特征信息進行組合。
• 最后，CB對SR圖像進行重建。

該方法與原來的MSRN主要有兩個方面的不同。
在特征提取部分，MSDRB取代了多尺度殘差模塊。
在重建部分，增加了CB模塊。

圖2.MSDRB結(jié)構(gòu)，四層分為三個分支。MSDRB結(jié)構(gòu)，四層分為三個分支。分支1包含分層殘差類連接(即Res2Net)殘差塊、激活函數(shù)(即整流線性單元，ReLU)和并聯(lián)操作。分支2和3分別包含擴張率d為2和3的擴張卷積；ReLU；以及并聯(lián)操作。分支S3、P3、Q3的輸出經(jīng)過協(xié)整和1×1卷積后輸出為S′。最后，S′用Bn-1進行特征加法。

為了使網(wǎng)絡具有更強的多尺度特征提取能力，在PMSRN中設計了一個MSDRB（圖2）。MSDRB由多尺度融合、多級殘差學習和多擴張率擴張卷積組三部分組成。

多尺度特征融合：圖像的多尺度性質(zhì)類似于人眼觀察物體。當與物體的距離不同時，感知到的特征是不同的；也就是說，視野中的同一物體，圖像的大小和尺度是不同的，所以特征也是不同的[19]。

在第一層網(wǎng)絡結(jié)構(gòu)中，輸入Bn-1經(jīng)過支路1的Res2Net殘塊，被激活函數(shù)整流線性單元(ReLU，用σ表示)激活，輸出S1；輸入Bn-1經(jīng)過支路2的擴張卷積(擴張率d=2)，被ReLU激活函數(shù)激活，輸出P1；輸入Bn-1經(jīng)過支路3的擴張卷積(擴張率d=3)，被ReLU激活函數(shù)激活，輸出Q1。結(jié)構(gòu)輸出S1、P1、Q1可表示如下。

在二層網(wǎng)絡結(jié)構(gòu)中，輸入端S1、P1、Q1通過并聯(lián)操作輸出[S1，P1，Q1]。[S1，P1，Q1]經(jīng)過支路1的Res2Net殘塊，被ReLU激活函數(shù)激活，輸出S2。然后，[S1，P1，Q1]經(jīng)過分支2的擴張卷積(擴張率d＝2)，被激活函數(shù)ReLU激活，輸出P2。此外，[S1，P1，Q1]經(jīng)過分支3的擴張卷積(擴張率d＝3)，被激活函數(shù)ReLU激活，輸出Q2。第二層網(wǎng)絡結(jié)構(gòu)的輸出S2、P2、Q2可表示如下。

在第三層網(wǎng)絡結(jié)構(gòu)中，分支1的輸入S2和P2通過連通操作后輸出[S2，P2]，由ReLU激活函數(shù)激活，輸出S3。分支2的輸入S2和Q2通過并聯(lián)操作后輸出[S2，Q2]，由ReLU激活函數(shù)激活，輸出P3。并聯(lián)操作后分支3的輸入Q2和P2輸出[Q2，P2]，由ReLU激活函數(shù)激活，輸出Q3。第三層的網(wǎng)絡結(jié)構(gòu)輸出S3、P3和Q3可表示為：。

在第四層網(wǎng)絡結(jié)構(gòu)中，輸入端S3、P3、Q3進行并聯(lián)運算，輸出端為[S3，P3，Q3]，經(jīng)1×1標準卷積核濾波后輸出S′。第四層的輸出S′可表示為：。

在(3)-(12)中，w和b分別代表權(quán)重和偏置；上標代表層數(shù)；下標1×1和3×3代表卷積核的大小；下標Res2Net代表卷積類型為分層殘差樣連接；下標d代表擴張率為d的卷積。
假設MSDRB輸入Bn-1的通道數(shù)為n_feats；那么，內(nèi)部第一層、第二層和第三層的輸出通道數(shù)分別為n_feats、3×n_feats和6×n_feats。在第四層，基于特征圖連通的輸出通道數(shù)為18×n_feats，用1×1卷積核再次將特征圖通道數(shù)減少到n_feats。

多級殘差學習：在單個MSDRB內(nèi)部，Res2Net表示多尺度的特征，層次更加細化，增加了每個網(wǎng)絡層的接受場范圍。具體來說，該模塊用卷積核組代替了單個3×3卷積核。同時，不同的卷積核可以以層次殘差的形式連接起來（圖3b）。

圖3.ResNet和Res2Net結(jié)構(gòu)比較。ResNet和Res2Net結(jié)構(gòu)的比較。在Res2Net內(nèi)部，單個3×3卷積核被卷積核組所取代。(a) ResNet模塊和(b) Res2Net模塊。
Res2Net的內(nèi)部操作的定義如下：

輸入的圖像特征經(jīng)1×1標準卷積運算過濾后，復制成四條特征信息，即X1、X2、X3、X4。在Res2Net中，得到不同接受場的輸出。例如，Y2、Y3和Y4分別得到標準卷積3×3、5×5和7×7的接受場。最后，將4個輸出進行融合，經(jīng)過1×1的卷積運算后，輸出通道數(shù)減少到輸入通道數(shù)。這種拆分和融合的策略使得卷積能夠更高效地處理特征。需要注意的是，MSRN比ResNet、密集殘差網(wǎng)絡[20]和inception[21]具有更強的特征提取能力[15]。
在MSDRB外，加上S′和Bn-1的相應元素，輸出Bn，其表示為：。

多擴張率擴張卷積組：雖然該組提高了接受場，減少了計算量，但分辨率損失最小。擴張卷積用于設置不同的d擴張率d以獲得不同的接受場。在卷積核中加入d - 1個零，不會增加計算量。圖4顯示了不同d值下的擴張卷積核。

圖4.擴張卷積的示意圖。擴張卷積的示意圖。紅色像素代表非零權(quán)值，白色像素代表零權(quán)值，紅色像素組成的矩陣為接受場的大小。(a) d=1，擴張卷積，接受場大小為3×3，與標準卷積相同；(b) d=2，擴張卷積，接受場大小為5×5；? d=3，擴張卷積，接受場大小為7×7。
如果計算量不變，不同的擴張率d將使標準卷積k×k具有不同的接受場R，擴張卷積的接受場[22]可計算如下。

根據(jù)(18)計算可知，當d=1、2、3時，擴張卷積(圖4a-c)相當于標準卷積的3×3、5×5、7×7接受場，分別用于圖2中的分支1、2、3。
以這種方式構(gòu)建的不同分支具有不同的接受場。結(jié)合上述多尺度特征融合和多層次殘差學習，PMSRN可以小幅度增加計算量，增強檢測圖像特征信息的能力。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的【图像超分辨率】End-to-End Super-Resolution for Remote-Sensing Images Using an Improved Multi-Scale Residual的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。