图像去模糊之初探--Single Image Motion Deblurring
曾經很長一段時間, 對圖像去模糊都有一種偏見, 認為這是一個灌水的領域, 沒有什么實用價值,要到這樣的文章,不管是多高的檔次, 直接pass。 最近在調研最近幾年的關于Computational Photography的一些研究熱點時, 發現圖像去模糊這個領域非常活躍, 一些效果圖還是蠻有意思的。 于是大概瀏覽了其中的幾篇文章, 慢慢地我的這種偏見也消失了。 當數碼消費電子日益普及的時候, 這項技術確實非常有用。 它能挽救相當一批由于曝光時間過長或者拍攝 時手的抖動造成的模糊照片。
?
圖像的模糊按照模糊核的性質來分類可分為: Blind image deconvolution(BID 芒去卷積)和Non-blind image deconvolution(NBID 非芒去卷積)。BID就是在模糊核未知的情況下恢復出清晰的圖像。在這種情況下, 除了采集到的圖像, 其他的沒有任何任何信息。 NBID是在模糊核已知的情況下恢復出清晰的原始圖像。 因為有了模糊核這個非常重要的信息, 去卷積的工作就相對來說容易多了, 主要任務就是如何在保持細節的情況下抑制噪聲。過去三四十年, 很多研究都集中在這個領域, 也有了不少很實用的方法,比如維納濾波, Richardson-Lucy方法。后來有些方法是基于去噪方法的, 比如傅立葉,小波,Curvelet,和TV方法。 一般來說, NBID是BID的基礎。 一旦模糊核估計出來, 所有的NBID方法都可以在BID中使用。
?
按照模糊的區域來劃分, 又可分為: 全局模糊和局部模糊。 全局的模糊主要是由于拍攝設備的運動造成的, 而局部模糊是由于單個物體的 運動造成的。 從實用性來說, 全局模糊要好于局部模糊。 理由有三: (1)全局模糊可以用一個模糊核來恢復, 因此最主要的任務就是PSF的估計, 而局部模糊的模糊核是隨位置變化的, 難道要大很多,結果也就不穩定很多。(2)造成全局模糊的原因是手持拍攝設備在曝光時間比較長的情況下進行拍攝,在拍攝過程中經常能遇到。而局部模糊僅僅限于對運動物體的拍攝, 比如運動的汽車或者行走中的人, 一般說來, 拍攝這些場景的機會比較有限, 實用性也不大。(3)全局模糊在絕大部分情況下都是不期望的效果, 而局部模糊在很多時候是不需要去除的,甚至是刻 意追求的一種效果。
?
按信息源分類可分為:單幅圖像去模糊和帶輔助信息的圖像去模糊。 單幅圖像去模糊顧名思義, 輸入只有一幅圖像, 沒有別的任 何信息。 這也是最常見的去模糊場景。 帶輔助信息的圖像去模糊除了有一幅待出來的圖像以外, 還有其他的一些輔助信息用來估 算模糊核。 這里的輔助信息包括:(1)連續兩幀圖像 (2)一幀不模糊單噪聲比較大的圖像 (3)不同曝光時間的三幅或者n幅圖 像(4)一段低分辨率視頻(5)對曝光時間的編碼(6)對鏡頭的改造(7)。。。雖然每一個作者都強調這些輔助設備比較廉價,輔助信息比較容易獲得。但對非專業的普通用戶來說, 要得到這些輔助信息是不大現實的。
?
綜合這些因素考慮, 我個人認為目前最有實用價值的仍然是single image blind motion deblurring。 這方面, Rob Fergus等在2006 年的siggraph上發表了一篇文章非常有新意,效果也還不錯。 難能可貴的是, 這篇文章留下了很多漏洞, 能讓后人在此基礎上對 這項工作有所完。 果不其然,在隨后幾年的cvpr, siggraph, iccv, eccv上, 幾乎每屆都有更好的結果涌現。這里主要介紹 2006年的這篇“ Siggraph Removing Camera Shake From a Single Photograph”。
?
以 往的芒去卷積方法要么對卷積核有很強的先驗假設, 要么對圖像有一定的先驗假設, 或者兩者都有。 而且, 這些方法往往不大適合較大的模糊核。 Fergus等提出的方法完全拋棄了這些束縛, 實現了真正意義上的實用的BID。 在此文中, 圖像去模糊主要被劃分成了兩步:卷積核的估計和去模糊。 其中去模糊可以采用任何一種現有的算法, 因此此文的重點集中在了模糊核的估計上。 基于對圖像模型統計特性的分析, 此文深入研究了模糊圖像和非模糊圖像的梯度分布, 提出了一種基于梯度分布模型的去模糊算法。自然的清晰的圖像滿足特定的heavy-tailed distribution, 而模糊圖像的梯度分布則想去甚遠。 因此Fergus等基于這種特性構造了在已知觀測圖像情況下原始圖像和模糊核的聯合后驗概率, 后驗概率最大化對應的原始圖像和卷 積核的組合就是所要的答案。 然而直接解這個MAP(Maximum a Posterior)問題, 卻得不到正確的答案。 因此作者采用了一種學習的方 法, 即MISKIN和MACKAY,在Ensemble Learning for Blind Image Separation and Deconvolution中提到的方法。這也是作者認為的兩大貢獻。
?
Fergus在paper和ppt中都給出了一些結果,其實結果都不能完全令人滿意, 有的恢復的效果不夠好, 有的噪聲實在太大。 但作者也說他的paper有不少可改進的地方, 言外之意就是此文只是提出了一種思想, 效果有待完善。 這也讓本文留下了不少可研究的空間, 個人認為有以下三個方面可以改進:(1)圖像模型的選擇。梯度模型只是選取了相鄰的兩個點的統計特性, 有點過于簡單。 清晰圖像有很大可能滿足作者采用的heavy-tailed distribution, 但滿足這種分布的一定是效果比較好的清晰圖像嗎? Gibbs效應如何克服?此文并沒有深入研究 (2)MAP算法的優化 (3)本文采用的R-L這個經典古老的算法, 肯定有其他更好的算法能改善圖像質量。簡單來說, 就是作者挖了個坑, 自己并不想填, 讓別人慢慢去填。也許不遠的某一天,我也會在這里填一個坑, Maybe。
?
下面是我自己搜集的最近幾年關于deblur的一些論文列表,在網上都可以找到。
2004 PAMI Motion-based motion deblurring
2006 NIPS Blind motion deblurring using image statistics
2006 Siggraph Coded Exposure Photography Motion Deblurring using Fluttered Shutter
2006 Siggraph Removing Camera Shake From a Single Photograph
2007 CVPR Resolving Objects at Higher Resolution from a Single Motion-blurred Image
2007 CVPR Single Image Motion Deblurring Using Transparency
2007 CVPR What makes a good model of natural images
2007 Siggraph Image Deblurring with BlurredNoisy Image Pairs
2008 CVPR ImageVideo Deblurring using a Hybrid Camera
2008 CVPR Motion from Blur
2008 CVPR PSF Estimation using Sharp Edge Prediction
2008 CVPR Roubust Dual Motion Deblurring
2008 Siggraph High-Quality Motion Deblurring From a Single Image
2008 Siggraph Motion-invariant photography
2009 CVPR High-quality curvelet-based motion deblurring using an image pair
2009 CVPR Image Deblurring and Denoising using Color Priors
2009 CVPR Understanding and evaluating blind deconvolution algorithms
2009 ICCP Image Destabilization Programmable Defocus using Lens and Sensor Motion
2009 ICCP What are Good Apertures for Defocus Deblurring
2009 ICCV Time-Constrained Photography
2010 CVPR Deconvolutional Networks
2010 CVPR Denoising vs. Deblurring HDR Imaging Techniques Using Moving Cameras
2010 CVPR Non-uniform Deblurring for Shaken Images
2010 ECCV Single Image Deblurring Using Motion Density Functions
2010 ECCV Two-Phase Kernel Estimation for Robust Motion Deblurring
2010 ICCP Motion blur removal with orthogonal parabolic exposures
2010 Siggraph Image Deblurring using Inertial Measurement Sensors
2010 TPAMI Correction of Spatially Varying Image and Video Motion Blur Using a Hybrid Camera
?
以下兩幅圖摘自jiaya jia研究小組的結果http://www.cse.cuhk.edu.hk/~leojia/projects/robust_deblur/index.html?, 個人覺得這是目前最好的結果了, 效果還是很吸引人的。
?
輸入圖像:
?
輸出圖像:
from:?http://blog.csdn.net/dcraw/article/details/5849538
總結
以上是生活随笔為你收集整理的图像去模糊之初探--Single Image Motion Deblurring的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 傅里叶变换在图像处理中的作用
- 下一篇: 【OpenCV】透视变换 Perspec