CVPR 2020 | 從重建質量到感知質量：

用于低光照增強的半監督學習方法

Code:?https://github.com/flyywh/CVPR-2020-Semi-Low-Light

1

背景

本篇為大家介紹我們組被2020年IEEE國際計算機視覺與模式識別會議(CVPR 2020)接收的工作《From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement》。該文章主要針對低光照增強任務。現有的高性能低光照增強工作大多數基于全監督或無監督學習方法——前者提供更詳細具體的建模信息，但一方面數據往往難以收集導致缺乏多樣性，另一方面客觀的重建質量與主觀的感知質量并不完全重合；后者可以收集更多樣的數據提升泛化性能，但代價是噪聲消除以及細節重建性能較差。本文通過深度學習來進行低光照圖像的半監督學習，提出了一種遞歸頻帶表示來連接無監督和全監督框架。本文提取出一系列由粗到精的頻帶表示，并通過遞歸的端到端學習進行增強，進行噪聲去除和細節修正。在感知質量引導的對抗學習下，深度頻帶表示進行重構，生成最終的增強結果。大量實驗從多角度證明了該網絡結構的有效性，展現出超過現有各類方法的優秀表現。

低光照增強任務介紹

在暗光場景下進行拍攝會導致成片的一系列降質，例如低亮度、低對比度以及密集的噪聲。利用更尖端的攝影設備或是更專業的攝像技術可以在一定程度上降低暗光帶來的降質。然而這些選擇也很難解決較弱的信號淹沒在相對高強度的系統噪聲中這一問題。利用長曝光來減輕噪聲是一個常見且有效的選擇，然而在動態場景下長曝光會帶來運動模糊。在拍攝設備普及，拍攝需求旺盛且拍攝場景多樣的當下，如何減輕，甚至去除這種暗光場景帶來的圖像降質，成為了學術界及工業界亟待解決的問題。

2

算法

本文首先使用端到端的網絡提取出一系列由粗到精的頻帶表示，并用重建目標進行全監督，保證頻帶表示的重建質量要求，并通過遞歸的框架進行增強，進一步進行噪聲去除和細節修正。然后通過對抗學習的方法，組合不同粒度的頻帶表示，重構最終結果，使用對抗學習以及感知損失進行感知質量引導的無監督學習。

網絡結構

具體的半監督深度遞歸頻帶網絡(DRBN)結構如圖所示。

圖1 深度遞歸頻帶網絡結構

首先是深度頻帶學習階段。將低光照圖像輸入帶有殘差連接的深度網絡中，提取其中不同粒度的特征作為圖像的頻帶表示。在重建時粒度最粗的表示作為基本層，對粒度相對較細的表示采取殘差學習的方式，輸出重建結果。在進行第一輪的特征提取后，與圖像同分辨率的頻帶表示和圖像同時作為下一輪遞歸網絡的輸入，不同粒度的表示都會作為下一輪遞歸的基礎做殘差學習。本文采用了4輪遞歸，最后一輪遞歸重建出的最細粒度的圖像將作為整個深度頻帶學習階段的最終結果，與重建目標進行目標函數計算并反傳。此階段的目標函數為三個粒度上的SSIM Loss。

然后是頻帶重構階段。將深度頻帶學習階段三個粒度上的最終輸出插值到標準分辨率后做差，輸入網絡進行權重學習，將輸出的權重與對應的通道相乘后求和，輸出最終的重構結果。重構出的圖像將計算目標函數。此階段的目標函數包括判定是否為高質量圖像的Discriminator Loss，利用VGG提取特征的Perceptual Loss以及衡量保真度的SSIM Loss，其中Discriminator由工作[1]提供的數據作為訓練集。該目標函數作為感知引導，可以將僅關注重建質量的圖像進一步進行感知質量的增強。

3

實驗

本文利用LOL[2]數據集進行訓練以及測試，在不同的設置下進行了實驗以驗證網絡的性能。這些實驗證明DRBN在低光照場景下的應用價值以及網絡所采用的模塊的有效性。

定量實驗

圖2 客觀指標對比實驗

定量對比試驗與BIMEF, BPDHE, CRM, DHECE, MR. JED, RRM, SRIE, Dong, EFF, CLAHE, LIME, MF, DRD, DeepUPE, SICE和EG進行了對比，指標選擇了PSNR，SSIM以及基于伽馬矯正結果的SSIM(SSIM-GC)。可以看到在這些指標下，DRBN對LOL-Real數據集有更好的重建質量。

定性實驗

圖3 主觀結果對比實驗

定性對比試驗提供了各類低光照增強方法的最終結果。可以看到與其他方法相比，DRBN在噪聲處理和細節恢復上有著更佳的性能，且輸出的圖像有更好的視覺質量。

消融實驗

圖4 感知引導有效性實驗

消融實驗主要針對本文采用的兩階段框架。圖4中從左到右依次是：輸入、第一階段輸出、第二階段輸出以及作為參考的正常光照圖像。可以看到第二階段的感知引導能有效地提升圖像的主觀質量，有更鮮明的色彩和較強的對比度。

4

總結

該文章設計了一種基于半監督學習的兼顧重建質量以及感知質量的低光照增強方法，利用兩階段的框架實現了圖像重建質量和感知質量的增強。作者通過實驗證明了整體網絡框架的優越性以及感知引導作為網絡模塊的有效性，為未來相關領域的工作提供了新的思路。

掃碼訪問代碼主頁

或點擊左下方“閱讀原文”進行跳轉。

參考文獻

[1] N. Murray, L. Marchesotti, and F. Perronnin. Ava: A largescale database for aesthetic visual analysis. In Proc. IEEEInt’l Conf. Computer Vision and Pattern Recognition, pages2408–2415, June 2012. 5

[2] Chen Wei, Wenjing Wang, Wenhan Yang, and Jiaying Liu.Deep retinex decomposition for low-light enhancement. InBritish Machine Vision Conference, Sept 2018. 1, 3, 5, 6

想知道更多有趣項目

歡迎掃碼訪問小組主頁

www.wict.pku.edu.cn/struct/

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的python去除图像光照不均匀_CVPR 2020 | 从重建质量到感知质量：用于低光照增强的半监督学习方法...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。