該論文發表于CVPR2017

為了更好地去除各種真實場景下的雨，包括大雨和雨線積累的情況(rain streak accumulation，單個的雨線無法看清，形成霧效)，作者提出了新的雨圖模型和去雨架構。

模型&架構

新：雨圖模型

• 加入binary map。在現有模型的基礎上標出雨水的位置
• 加入兩個組件，表征雨線積累和各種形狀、方向的雨水

原來公認的模型

$O$：帶雨的輸入圖像
$B$：干凈的背景層
$S$：雨水層
在原來的模型中，去雨被看做是兩個信號分離的問題，基于背景層和雨水層各自的獨特特征對其進行分離。

但這樣做存在問題：$S$在該公式中較為復雜，需要同時包含雨水位置和該位置上的密度信息。圖像中不同區域的雨的疏密程度不同，很難給很多基于稀疏度的模型用統一的稀疏度對$S$進行建模；而不區分雨區和非雨區，也將造成非雨區過于平滑。

泛化的雨圖模型
為了解決上述問題，作者在原有模型中加入了一個region-dependent的變量$R$，表征單個雨線的位置。R即為binary map，1表示該像素點位于雨區內，0則反之。

這樣做不但給網絡學習雨區提供了額外的信息，而且有助于構建一個新的流水線：先檢測雨區，再對雨區和非雨區進行不同操作。

針對大雨和雨累積的模型
上述模型描述了局部的單個雨線，但在大雨和雨累積這種雨水密集的情況下，單個雨線是無法看清的，特別是圖中遠處的場景會異常模糊。

為適應這樣的場景，作者又提出了新模型，包含多層雨線：

$S_t$：表示一層擁有相同方向的雨線，對不同方向雨線求和，則得到貼近真實場景的效果
$\alpha$：傳輸率，在大氣散射中的成像模型中表示該點的光強被衰減之后，進入成像設備的比例
$A$：環境光
加入傳輸率和環境光后，該模型可以表示圖像中因雨累積造成的霧效。此外，這種霧效是在不同方向的雨線模型的基礎上建模的，因此可以分階段解決雨累積和雨線去除。

新：架構

論文提出的去雨架構大致可看成是四個環環相扣的部分：

• region-dependent model產生對雨水的描述，包括位置(binary map)、形狀、方向等
• contextualized dilated network提取特征，挖掘區域性情境信息，為檢測雨水提供更好的表征
• jointly detection and removal根據提取到的特征，先檢測雨水位置，再估計雨線，最后提取出背景層，完成去雨
• recurrent rain detection and removal network，將去雨視作多階段任務進行循環操作，每個recurrence執行上述部分的操作
  

情境空洞卷積網絡Contextualized dilated network
實驗證明，情境信息對自動識別和去除雨水十分有效。論文提出的該網絡通過循環結構以及每個循環聚合三種不同空洞率下的卷積操作的方式，不斷擴大感知野。

從模型圖中可知，該網絡首先將輸入圖像/上一個recurrence傳來的特征轉換到特征空間，再兵分三路，經過三個不同的卷積路徑最后與輸入進行合并，得到最終提取的特征。

感知野：CNN輸出的特征映射上的像素點在原始圖上映射的區域大小。計算公式為$(out?1)xS+(k?1)x(d?1)+k$。其中out，S，k，d分別為上一層的感知野，stride，該層卷積核的大小和空洞率。論文中三種路徑的感知野分別為5x5, 9x9, 13x13。

Multi-task networks for jointly rain detection&removal
從模型圖中可以看到， 給定輸入雨圖O，去雨的目標是根據泛化的雨圖模型，對B,S,R進行參數估計。這里采用的是最大后驗估計，B,S,R的后驗知識通過網絡習得并嵌入模型。

這三者的估計是相關的。從模型圖中可以看到，基于情境空洞卷積網絡提取到的特征$F_t$，R,S,B將會按照識別、估計、去雨的順序被估計出來，并在每一步都利用之前產生的預測信息。實驗證明這樣的順序和按順序而非并行估計的方式效果最好。

Recurrent rain detection&removal
模型最后通過學習到表示O和B之間差異的殘差T來進行去雨。

${?}_t$：預測的殘差
在每次迭代中，預測的殘差通過更新O和B不斷地積累并傳遞到最終預測步驟中。最終的去雨預測圖可用以下公式表示：

實驗

作者利用新提出的雨圖模型自行合成了一些數據，命名為Rain100L，Rain100H，并對提出的模型的四個變體進行實驗。

JORDER-
在每個recurrence只有一個卷積路徑，且沒有進行空洞卷積

JORDER
多任務網絡，解決泛化雨圖模型描述的雨圖的去雨問題。

JORDER-R
循環地去除針對大雨和雨累積的雨圖模型描述的雨水。

JORDER-R-DEVEIL
去除雨累積效應。
根據針對大雨和雨累積的雨圖模型，為了得到“包裹”在公式最內部的背景層B，按照順序應該先去除最外端的雨累積效應，再去除其他雨線

但作者發現，如果將其作為第一步，會使得已經非常顯眼的雨線變得更為突出，造成在下一步去除雨線時，這些雨線與其他雨線看上去很不一樣

因此，作者提出三步走策略，streak removal-> rain accumulation removal-> streak removal，即先去一遍雨線，再進行雨累積效應的去除，最后再去一遍雨線。這是合理的，因為去除雨累積效應的步驟可以使得在第一階段可能不夠明顯的雨線變得明顯，然后在第三階段將它們去除

雨累積效應的去除與其他兩個步驟網絡不同，與去霧類似，只基于情境空洞卷積網絡進行一個recurrence

可以看到，專為去除雨累積效應設計的模型效果很好。

總結

以上是生活随笔為你收集整理的【论文阅读】Deep Joint Rain Detection and Removal from a Single Image的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。