Camera HDR Algorithms

HDRI是High-Dynamic Range（HDR）image的縮寫，也就是高動態范圍圖像。它就是為了解決更好的存儲高動態范圍圖像這個問題而發明出來的。簡單地說，HDRI是一種亮度范圍非常廣的圖像，它比其它格式的圖像有著更大亮度的數據貯存。而且它記錄亮度的方式與傳統的圖片不同，不是用非線性的方式將亮度信息壓縮到8bit或16bit的顏色空間內，而是用直接對應的方式記錄亮度信息。它可以說記錄了圖片環境中的照明信息，因此我們可以使用這種圖象來“照亮”場景。有很多HDRI文件是以全景圖的形式提供的，我們也可以用它做環境背景來產生反射與折射。這里強調一下HDRI與全景圖有本質的區別，全景圖指的是包含了360度范圍場景的普通圖象，可以是JPG格式、BMP格式、TGA格式等等，屬于Low-Dynamic RangeRadiance Image，它并不帶有光照信息。

HDRI文件是一種文件，擴展名是hdr或tif格式，有足夠的能力保存光照信息，但不一定是全景圖。Dynamic Range（動態范圍）是指一個場景的最亮和最暗部分之間的相對比值。一張HDR圖片，它記錄了遠遠超出256個級別的實際場景的亮度值，超出的部分在屏幕上是顯示不出來的。可以這樣想象：在photoshop里打開一張從室內往窗外外拍的圖片，窗外的部分處在強烈的陽光下，曝光過度，呈現的是一片白色，沒有多少細節。你將毫無辦法，調暗只會把白色變成灰色而已，并不會呈現更多的細節。但如果同一場景是由hdr紀錄的話，你減低曝光度，原來純白的部分將會呈現更多的細節。談論游戲畫面時常說的HDR到底是什么呢？HDR，本身是High-Dynamic Range（高動態范圍）的縮寫，這本來是一個CG概念。

計算機在表示圖象的時候是用8bit（256）級或16bit（65536）級來區分圖象的亮度的，但這區區幾百或幾萬無法再現真實自然的光照情況。HDR文件是一種特殊圖形文件格式，它的每一個像素除了普通的RGB信息，還有該點的實際亮度信息。普通的圖形文件每個象素只有0 －255的灰度范圍，這實際上是不夠的。想象一下太陽的發光強度和一個純黑的物體之間的灰度范圍或者說亮度范圍的差別，遠遠超過了256個級別。因此，一張普通的白天風景圖片，看上去白云和太陽可能都呈現是同樣的灰度/亮度，都是純白色，但實際上白云和太陽之間實

HDR實例

際的亮度不可能一樣，他們之間的亮度差別是巨大的。因此，普通的圖形文件格式是很不精確的，遠遠沒有紀錄到現實世界的實際狀況。所以，現在我們就要介紹一下高動態范圍圖像（簡稱HDRI）。HDR全稱是高動態范圍。這是一個簡單的術語，HDR圖片是使用多張不同曝光的圖片，然后再用軟件將它們組合成一張圖片。它的優勢是最終你可以得到一張無論在陰影部分還是高光部分都有細節的圖片。在正常的攝影當中，或許你只能選擇兩者之一。

Digital Overlap 與上一期介紹的Dual conversion gain一樣，都是目前比較流行的sensor HDR 技術，在監控與車載相機等領域的應用非常廣泛。Sony于2012年在監控相機市場首先推出基于DOL（digital overlap） HDR技術的圖像傳感器，之后OV與Onsemi也都推出了與DOL類似的HDR技術的圖像傳感器，而且應用領域不局限于監控這種傳統HDR imaging的市場，而且擴展到了Automotive camera市場。現在Sony已經推出了第二代支持虛擬通道DOL HDR技術的sensor。

HDR的最佳搭檔：OLED電視

HDR技術帶來的畫質提升是直觀可感的，即使是普通觀眾也能用肉眼辨別，因此2016年眾多廠商紛紛在電視產品上搭載HDR技術。但即便如此，卻不是所有電視產品都能成為HDR技術的“良配”。畢竟HDR技術的運用不是單一的某個環節，而是關系到畫面顯示的整個生態系統。

呈現完美的HDR需要兩個條件，第一是高對比度，第二是卓越的色彩表現力。而OLED電視與傳統的液晶顯示技術不同，它摒棄了背光源，實現了每一個像素點的有機自發光，也就意味著每一個像素點都能獨立地打開或關閉，本身具有無限對比度、廣色域、還有廣視角等優勢。因此HDR在OLED電視上可以發揮得淋漓盡致。

首先，對于HDR最重要的是對比度。液晶電視能表現的最低亮度為0.1nits，最亮為500到1000nits之間，對比度只有5000比1。如果把亮度提高兩倍到10000nits，也只能達到10000比1。而LG OLED能表現的最低亮度為0.0005nits（目前用亮度測量的儀器能檢測到的最低亮度），最高為500nits，大約20個檔次，對比度為100萬比1，再加上最低亮度（0.0005nit）幾乎為零。所以相當于擁有接近于無限的對比度。

1.什么是時域多幀HDR技術

相機在時間上連續輸出由欠曝到過曝的圖像，然后做圖像融合，得到HDR圖像。

融合后HDR圖像

比較典型的一種融合方法是根據luminance，contrast，motion等條件，對第K幀圖像的像素[i，j]給出權重。Wij,k 是第K幀，位置i，j像素的權重，Xk((i,j)是原始像素值，Xf（i，j）是融合后的像素值。公式如下

對彩色圖像，權重的計算會考慮色彩的飽和度等因素。

2.傳統時域多幀HDR技術存在的局限

由于傳統時域多幀是基于連續曝光的整幀圖像（Frame
Based）進行融合，所以圖像之間的間隔時間就是一幀圖像的周期，由此會產生很多artefacts：

場景內物體增減

近距離物體快速移動形成拖影

Color artefact

Frame based的多曝光HDR技術常用于still image 的capture，也有視頻HDR 采用這種技術，比如sensor以60fps的幀率交替輸出長短曝光，融合后輸出30fps的HDR圖像。

早期的HDR video有采用這種技術，自從DOL技術出現后，這種Frame based Video HDR技術就逐漸退出歷史舞臺了。

3.什么是DOL HDR

DOL HDR 也叫做line interleaving HDR 技術。以兩曝光DOL為例，sensor每行會以長短曝光兩次先后輸出，從readout角度來看，就是長曝光幀與短曝光幀 line interleaving 依次輸出，如下圖，第一行L輸出，第一行S輸出，第二行L輸出，第二行S輸出，以此類推。

frame based HDR，長短曝光幀的間隔是一個幀周期，也就是必須一整幀（長）曝光結束，再開始一整幀（短）曝光，如下圖

對于DOL HDR而言，由于line interleaving（行的交織），存在兩幀的overlap，等于一幀輸出沒結束，下一幀就來了，長短曝光幀的間隔大大縮小了。

從下圖可見，長曝光幀與短曝光幀overlap了一部分，所以這種技術叫digital overlap。

4.DOL長短曝光幀的時間間隔

前邊說過，Frame based HDR的長短曝光幀的間隔是一幀的時間，那么DOL HDR的長短曝光幀的時間間隔是多大呢？

如果先輸出長曝光的話

如果先輸出短曝光的話

T= long exposure 的時間

所以當然是先輸出長曝光，這樣T（時間間隔）會更小。。

5.DOL長短曝光時間比與動態范圍擴展

以兩曝光DOL 為例

Exposure ratio = Long exposure time/ short
exposure time

假設Exposure ratio = 16，假設在xinhao 沒有飽和的條件下，相當于曝光最大值增大了16倍：2^4。也就是動態范圍擴大了4個bit。

以此類推，每增加一個曝光幀，如果exposure
ratio =16，動態范圍就可以擴大4bit。

按照一般HDR sensor 單曝光為12bit來算的話，4曝光就可以讓sensor輸出的動態范圍擴大到24bit（12+4+4+4)。

exposure ratio 也不是越大越好，exposure ratio會受到三方面的制約，圖像質量，sensor設計以及isp line delay buffer。

從圖像質量上來說，短曝光時間越短，圖像噪聲越高，長曝光越長，motion的影響越大。Exposure Ratio越大，在圖像融合后的SNR drop也越大。

從sensor設計上來說，長短曝光之比受到讀出電路的限制，sony的DOL第二代采用虛擬通道技術一定程度改善了這個限制。

從ISP的角度來說line delay buffer 也限制了最大曝光時間。在短曝光行出來之前，第一個長曝光行應該還在delay buffer里，這樣才能兩者對齊好給后面的frame stitch操作。而長短曝光比越大，需要的line delay buffer就越大。

對于sensor做hdr融合case而言，line delay buffer size就是固定的，所以ISP傾向于在isp這端做HDR融合，這樣可以更靈活的設計。（Maver注：對于車載而言，帶寬是個主要關注點，所以大部分用戶不會選擇在ISP側做HDR融合）

6.DOL的局限

Sony在推出DOL的時候，宣傳DOL是‘準同時’輸出長短曝光。既然是‘準同時’，那就還不是同時，所以也會有一些典型時域多幀HDR的圖像質量問題，同時DOL也有一些特有的IQ問題。

HDR Transition Artefacts

可以從下左圖看到composition noise造成的edge，這種edge有時候會誤導機器視覺。

從DOL hdr的noise profile可以看出來，如下圖，在HDR拼接處，可以看到SNR的顯著變化，叫做snr drop，當SNR drop大的時候，就會出現明顯的edge，如上圖所示。

曝光比越小，SNR drop就越小, 可以想見，如果曝光比為1，也就沒有snr drop了。反之，曝光比越大，動態范圍越大，snr drop也越大，如下圖所示。

Flicker

交流電供電光源造成的flickering，如下圖：

為了避免banding，就得讓最小曝光時間是半周期的整數倍。

這樣就不會出現banding了。但是由于最小曝光時間變大了，動態范圍就損失了。所以有時候為了保證不損失動態范圍，就得容忍Flickering。這就得看應用場景了。

類似的問題發生在PWM供電的Led光源上，尤其是交通信號燈以及汽車信號燈，如下圖所示

sensor的長曝光幀能catch到led 的light pulse，但是短曝光幀就沒catch到，這樣也會造成flickering甚至信號燈圖像的丟失。

這種flicker或者信號燈信息丟失的問題在車載成像系統上是致命的，所以車載HDR現在更傾向采用spatial based HDR技術，比如Sony采用的sub pixel技術或者OV 采用的split pixel技術。

總結

以上是生活随笔為你收集整理的Camera HDR Algorithms的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。