這是2019CVPR的一篇文章，主要創(chuàng)新點是引入了深度信息完成去雨。

文章指出了目前的去雨的方法忽略了雨痕在圖像中呈現(xiàn)出的物理特性，導致去雨的有效性較低。同時分析了雨圖成像機理，指出遠處的物體更多地是被霧遮擋，近處的則是雨紋，分析了受場景深度影響的雨的視覺效果。并根據(jù)場景深度制定了一個帶有雨條紋和霧的雨成像模型。為了訓練的像更接近真實在雨景中拍攝的圖像本文準備了一個新的數(shù)據(jù)集。因為數(shù)據(jù)集需要申請，還沒下來，等申請好了以后會放上鏈接。然后設計了一個端到端的深度神經(jīng)網(wǎng)絡，我們訓練它通過深度引導的注意力機制來學習深度注意力的特征，并回歸剩余映射來產(chǎn)生無雨的圖像輸出。

創(chuàng)新之處：

引入了場景的深度信息，大膽的推斷了基于場景深度的雨的成像過程，實現(xiàn)了在圖像中雨條紋和霧的結(jié)合。

設計了一個端到端的神經(jīng)網(wǎng)絡，形成深度指導的注意力機制學習深度注意特征，根據(jù)注意權(quán)值對殘差圖進行回歸，去除輸入雨圖像中的雨條紋和霧。

準備了一個新的雨去除數(shù)據(jù)集。

前人工作：

由于現(xiàn)有數(shù)據(jù)集的限制，雨圖數(shù)據(jù)都是通過清晰圖像加上雨紋合成的，因此這些方法主要關注雨紋圖像。
傳統(tǒng)方法：

最早期通過設計基于低水平圖像統(tǒng)計的手工先驗來去除圖像中的雨紋。

Barnum 結(jié)合條紋模型和雨的特征，在頻域內(nèi)檢測和去除雨紋。

Chen 通過一個低秩先驗去除雨紋，因為雨紋通常具有相似和重復的模式。

Li 采用基于高斯混合模型的patch先驗對背景和雨層進行去除雨紋。

Zhu 估計主導降雨方向并提出了一種雙層聯(lián)合優(yōu)化方法來迭代地將雨紋從背景中分離出來。

基于CNN：

Fu 從訓練數(shù)據(jù)中學習無雨層和雨層之間的映射函數(shù)。DerainNet

Yang 創(chuàng)建了一個多任務網(wǎng)絡，共同檢測和去除降雨。JORDER

Fu 利用先驗知識從輸入圖像中構(gòu)造出基層和細節(jié)層，然后通過深度網(wǎng)絡從細節(jié)層學習殘差。DDN

Li 使用SE-Net建立了一個上下文擴展網(wǎng)絡，迭代地預測階段殘差。RESCAN

Zhang開發(fā)了一種殘差感知分類器來確定雨密度，并將幾個緊密相連的網(wǎng)絡堆疊起來，以此來估計殘差。DID-MDN
同時：Garg和 Nayar 通過考慮場景深度和光源，開發(fā)了一種基于圖像的降雨生成算法。

網(wǎng)絡結(jié)構(gòu):

其中，
藍色部分是：用于從輸入中提取多分辨率特征的卷積神經(jīng)網(wǎng)絡
綠色部分是：用于預測深度圖的解碼器分支
橙色部分是：學習注意權(quán)重的深度引導注意機制
黃色部分是：另一個解碼器分支，用于產(chǎn)生深度注意特征和注意權(quán)重;
最后，我們使用一組組卷積對深度注意特征(粉紅色部分)進行殘差預測，并將其加入到輸入中，生成輸出的無雨圖像。

成像具體工作：

1、雨成像模型

在自然界的成像中，造成視覺阻擋的不僅有雨紋，還有因為場景深度的原因在圖像上、視覺上呈現(xiàn)出霧的特征。一般情況下，認為離相機近的受雨紋影響比較大，離相機較遠的受霧的影響比較大。
如圖所示，是雨紋強度隨深度影響的曲線，其中最大雨紋強度為$t_{r0}$。

相機附近的場景對象$(d\le d_1)$，其關聯(lián)的圖像區(qū)域以雨紋為主，霧較小，即其中$d_1=2fa$, $f$為焦距，$a$為雨滴半徑，雨紋強度為最大雨紋強度$t_{r0}$.

場景對象遠離相機$(d\ge d_2?d_1)$， 其相關的圖像區(qū)域?qū)⒂伸F和雨紋組成,當$d$增加時，$t_r$趨于0。

隨著$d$從$d_1$增加到$d_2$，雨紋強度將下降，霧強度將上升。

2、雨圖像的公式：

其中，$I(x)$為場景亮度清晰的無雨圖像;$R(x)\in [0,1]$表示降雨層;$A_0$為大氣光，假設為一個全局常數(shù);且$A(x)\in [0,1]$表示霧層;
具體表示如下圖：

雨層：

其中$R_{pattern}(x)\in [0,1]$是圖像空間中均勻分布的雨條紋的強度圖像;$t_r(x)$為依賴場景深度的雨條紋強度圖，*代表著像素乘法。

其中$\alpha$是一個控制雨紋強度的衰減系數(shù)。此外,$t_{r0}(這是最大的雨條紋強度)=e^{?\alpha d_1}$,而$t_r(x)$始于$t_{r0}$并隨著$d(x)$超越$d_1$后逐漸下降。

霧層：

其中$\beta$是一個衰減系數(shù),控制霧的厚度,$\beta$越大，霧越厚。

3、新建數(shù)據(jù)集

拍攝一對真實的有雨和無雨的照片進行訓練幾乎是不可能的，因為場景對象可能會移動，環(huán)境光線和相機曝光可能會改變。因此，現(xiàn)有的用于去雨的數(shù)據(jù)集通常是通過在照片上添加一個二維的雨紋層來制備。最近的深層網(wǎng)絡只是簡單地對其進行訓練以去除雨。顯然，物理雨模型被忽略了，所以現(xiàn)有的方法對真實的照片往往是失敗的；因此，本文新建立一個新的數(shù)據(jù)集 RainCityscapes（還在申請，申請好以后放上來）數(shù)據(jù)集都是戶外照片，每一張都有一個深度圖，雨圖像顯示出不同程度的雨和霧。
從上面的公式來生成雨紋強度$t_r(x)$和霧層$A(x)$。
參數(shù)分別設為$（\alpha ，\beta ，a）=\{(0.02,0.01,0.005),(0.01,0.005,0.01),(0.03,0.015,0.002)\}$
選用陰天無陰影的圖片作為深度圖，并使用深度去噪細化深度圖。
最后得到9432張訓練圖片和1188張測試圖片。

4、模擬成像的局限性

模擬成象過程假設雨層和霧層是均勻分布和相互獨立的。而在現(xiàn)實世界中，雨、霧的視覺效果與雨強相關;雨的外觀取決于相機參數(shù)(如曝光時間);而降雨強度變化更為復雜。相機自身運動也會分散雨的分布，造成圖像空間額外的運動模糊。雖然我們的降雨模型是近似的，缺乏光學模型，但是合成的圖像確實有助于改善與之前的工作和數(shù)據(jù)相比的結(jié)果，這些工作和數(shù)據(jù)忽略了我們所探索的降雨特性。

網(wǎng)絡具體工作：

DAF-Net網(wǎng)絡工作流程：

網(wǎng)絡首先利用卷積神經(jīng)網(wǎng)絡(CNN)從輸入圖像中提取低層細節(jié)和高層語義，并生成不同分辨率的特征圖。
然后使用兩個解碼器分支，每個分支逐步上采樣一個特征圖，并將其與相同分辨率的CNN 特征圖相結(jié)合，生成一個新的特征圖。
在頂部的解碼器分支中，我們進一步回歸深度圖，并通過深度引導注意力機制學習一組注意力權(quán)重。
在底部的解碼分支中，我們首先生成最終的(最高分辨率的)特征圖，然后將其與頂部分支的注意力權(quán)重相結(jié)合，生成深度注意特征。
最后，在這些特征上應用一組群卷積，預測殘差映射，并將其加入到輸入圖像中，得到無雨輸出圖像。

1、頂部解碼器分支回歸深度圖

當上采樣特征圖的寬度達到輸入的四分之一時，我們添加一個監(jiān)控信號，并對輸入圖像進行深度映射。注意，較低分辨率的深度圖足以作為學習注意權(quán)重的指導，因此我們退回四分之一寬度深度圖以減少計算和內(nèi)存開銷。
然后，通過對監(jiān)控信號(訓練數(shù)據(jù)集中的輸入深度圖)中的深度值進行轉(zhuǎn)換，對深度值的對數(shù)進行回歸:

$d(x)$ 是像素x上的場景深度。
$D(x)$是網(wǎng)絡中的監(jiān)控信號。因此，網(wǎng)絡中的回歸深度圖實際上是對數(shù)深度值的圖。

2、深度注意特征

首先在我們的網(wǎng)絡中回歸深度圖，并以此為指導來學習一組注意力權(quán)重。然后，我們可以使用這些權(quán)值來集成來自我們網(wǎng)絡底部解碼器分支的特征圖，從而形成雨條紋和霧的殘留圖。在此基礎上，將殘差映射加入到雨圖像中，得到輸出的無雨圖像。
圖為深度指導注意力機制：從回歸深度圖D(x)中學習權(quán)值。

首先采用3個卷積塊對D(x)進行ReLU非線性運算，在每個3x3的卷積層之后。
最后一個卷積塊的輸出是一組未歸一化的注意權(quán)值$\{A1,A2，\dots \}$。一般來說，每一種權(quán)重都對應一種特定類型的雨紋和霧。
然后，應用Softmax函數(shù)對權(quán)重進行歸一化，生成注意權(quán)重$\{W1W2,\dots ，\}$每一個都與一組雨紋和霧有關。
卷積和Softmax層用公式表達如下：

從底部解碼器分支產(chǎn)生的最高分辨率的特征映射$F_b$有256個特征通道。接下來，
我們把256個通道分成n個子映射，每個子映射有256/n個通道，分辨率與原始特征圖 $F_b$相同；實際上，我們設n為64。
然后，我們將$W_c$與$c?th$子映射$F_c^b$的每個特征通道按元素順序相乘，生成深度注意特征。

現(xiàn)在，我們準備了n個獨立部分的深度注意特征。因此，我們可以在深度注意特征的每個部分分別進行n組的組卷積，以增強特征的表達性。通過采用組卷積，每個組中的特征只負責刪除具有較小類內(nèi)方差的某種雨條紋和霧。最后，我們使用1×1的卷積將來自不同組的所有特征進行合并，得到殘差圖 Res(x)，并將輸入的雨圖O(x)加入其中，得到輸出的無雨圖I(x)。

3、訓練

損失函數(shù)：

其中，${\omega }_i$和${\omega }_d$權(quán)重；
$X$和$X_4$分別表示輸出圖像和深度圖的圖像域；
$I(x{)}_l$ 和 $\bar{I}(x{)}_l$ 分別表示像素在預測圖像和真實圖像中的值，$l?th$ RGB 中對應的顏色通道。
$D(x)$和$\overline{(}D)(x)$分別表示像素x處的預測深度和真實深度；
$I(x{)}_l$、$\bar{I}(x{)}_l$、$D(x)$和$\overline{(}D)(x)$的值被歸一化為[0,1]。
注意，無雨圖像I(x)的大小與輸入圖像相同，但深度圖D(x)的大小僅為輸入的1/16。

總結(jié)

以上是生活随笔為你收集整理的Depth-attentional Features for Single-image Rain Removal的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。