攝像頭ISP系統原理（中）

·
AF（FOCUS）----自動對焦

根據光學知識，景物在傳感器上成像最清晰時處于合焦平面上。通過更改 LENS 的位置，使得景物在傳感器上清晰的成像，是 ISP FOCUS 功能所需要完成的任務。FOCUS 分為手動和自動兩種模式。ISP 可以運行 CONTRAST AF、PDAF、LASER AF 等算法實現自動對焦。

45點

EOS-1D Mark III 45個自動對焦點

EOS-1D Mark III對自動對焦感應器、自動對焦算法和與自動對焦相關的電子電路進行了全新設計，進一步提高了自動對焦性能。

相機采用新研發的具有19個高精度十字型自動對焦點的區域自動對焦，加上26個輔助對焦點，自動對焦區域共有45個自動對焦點。其45個自動對焦點的布局與其他具備45點區域自動對焦的EOS-1系列相機的布局幾乎完全一樣。

19個自動對焦點是高精度十字型對焦點，在f/2.8時對垂直線條敏感，在f/5.6時對水平線條敏感。其余26個對焦點為輔助對焦點，用戶不可手動選擇，在f/5.6時對水平線條敏感。

·
AE（Automatic Exposure）----自動曝光

曝光。EXPOSURE 主要影響圖像的明暗程度。ISP 需要實現 AE 功能，通過控制曝光程度，使得圖像亮度適宜。

不同場景下，光照的強度有著很大的差別。人眼有著自適應的能力因此可以很快的調整，使自己可以感應到合適的亮度。而圖像傳感器卻不具有這種自適應能力，因此必須使用自動曝光功能來確保拍攝的照片獲得準確的曝光從而具有合適的亮度。

AE 模塊實現的功能是：根據自動測光系統獲得當前圖像的曝光量，再自動配置鏡頭光圈、sensor快門及增益來獲得最佳的圖像質量。自動曝光的算法主要分光圈優先、快門優先、增益優先。光圈優先時算法會優先調整光圈到合適的位置，再分配曝光時間和增益，只適合p-iris 鏡頭，這樣能均衡噪聲和景深。快門優先時算法會優先分配曝光時間，再分配sensor增益和ISP 增益，這樣拍攝的圖像噪聲會比較小。增益優先則是優先分配sensor增益和ISP 增益，再分配曝光時間，適合拍攝運動物體的場景。

自動曝光的實現一般包括三個步驟：光強測量、場景分析和曝光補償。光強測量的過程是利用圖像的曝光信息來獲得當前光照信息的過程。按照統計方式的不同，分為全局統計，中央權重統計或者加權平均統計方式等。全局統計方式是指將圖像全部像素都統計進來，中央權重統計是指只統計圖像中間部分，這主要是因為通常情況下圖像的主體部分都位于圖像的中間部分；加權平均的統計方式是指將圖像分為不同的部分，每一部分賦予不同的權重，比如中間部分賦予最大權重，相應的邊緣部分則賦予較小的權重，這樣統計得到的結果會更加準確。場景分析是指為了獲得當前光照的特殊情況而進行的處理，比如有沒有背光照射或者正面強光等場景下。對這些信息的分析，可以提升圖像傳感器的易用性，并且能大幅度提高圖像的質量，這是自動曝光中最為關鍵的技術。目前常用的場景分析的技術主要有模糊邏輯和人工神經網絡算法。這些算法比起固定分區測光算法具有更高的可靠性，主要是因為在模糊規則制定或者神經網絡的訓練過程中已經考慮了各種不同光照條件。在完成了光強測量和場景分析之后，就要控制相應的參數使得曝光調節生效。主要是通過設定曝光時間和曝光增益來實現的。通過光強測量時得到的當前圖像的照度和增益值與目標亮度值的比較來獲得應該設置的曝光時間和增益調整量。在實際情況下，相機通常還會采用鏡頭的光圈/快門系統來增加感光的范圍。

在進行曝光和增益調整的過程中，一般都是變步長來調整的，這樣可以提高調整的速度和精度。一般來講，增益和曝光的步長設定如下圖所示：

從上圖中可以看出，在當前曝光量與目標量差別在range0以內的時候，說明當前曝光已經滿足要求，不需要進行調整；差別在rangel的范圍內時，則說明當前曝光與要求的光照有差別，但差別不大，只需要用較小的步長來進行調節即可；當差別在range2的時候，則表明差別較大，需要用較大步長來進行調節。在實現過程中還需要注意算法的收斂性。

·
GB（Green Balance）------綠平衡

由于感光器件制造工藝和電路問題，Gr,Gb數值存在差異,將出現格子迷宮現象可使用均值算法處理Gr,Gb通道存在的差異,同時保留高頻信息。

另外一個說法是：

Sensor芯片的Gr，Gb通道獲取的能量或者是輸出的數據不一致，造成這種情況的原因之一是Gr，GB通道的半導體制造工藝方面存在差異，另一方面是Microlens的存在，特別是sensor邊緣區域，GB，Gr因為有角度差異，導致接收到的光能不一致。如果兩者差異比較大，就會出現類似迷宮格子情況。主要是考慮G周圍的G的方法進行平均化。

· AWB（Automatic White Balance）------自動白平衡

白平衡。白平衡與色溫相關，用于衡量圖像的色彩真實性和準確性。ISP需要實現 AWB 功能，力求在各種復雜場景下都能精確的還原物體本來的顏色。人類視覺系統具有顏色恒常性的特點，因此人類對事物的觀察可以不受到光源顏色的影響。但是圖像傳感器本身并不具有這種顏色恒常性的特點，因此，其在不同光線下拍攝到的圖像，會受到光源顏色的影響而發生變化。例如在晴朗的天空下拍攝到的圖像可能偏藍，而在燭光下拍攝到的物體顏色會偏紅。因此，為了消除光源顏色對于圖像傳感器成像的影響，自動白平衡功能就是模擬了人類視覺系統的顏色恒常性特點來消除光源顏色對圖像的影響的。

· LSC(Lens Shade Correction)------鏡頭陰影校正

用于消除圖像周邊和圖片中心的不一致性，包含亮度和色度兩方面。ISP 需要借助 OTP 中的校準數據完成 LSC 功能。由于相機在成像距離較遠時，隨著視場角慢慢增大，能夠通過照相機鏡頭的斜光束將慢慢減少，從而使得獲得的圖像中間比較亮，邊緣比較暗，這個現象就是光學系統中的漸暈。由于漸暈現象帶來的圖像亮度不均會影響后續處理的準確性。因此從圖像傳感器輸出的數字信號必須先經過鏡頭矯正功能塊來消除漸暈給圖像帶來的影響。同時由于對于不同波長的光線透鏡的折射率并不相同，因此在圖像邊緣的地方，其R、G、B的值也會出現偏差，導致CA(chroma aberration)的出現，因此在矯正漸暈的同時也要考慮各個顏色通道的差異性。

常用的鏡頭矯正的具體實現方法是，首先確定圖像中間亮度比較均勻的區域，該區域的像素不需要做矯正；以這個區域為中心，計算出各點由于衰減帶來的圖像變暗的速度，這樣就可以計算出相應R、G、B通道的補償因子(即增益)。下圖左邊圖像是未做鏡頭陰影校正的，右邊圖像是做了鏡頭陰影校正的。

1．Lens Shading指畫面四角由于入射光線不足形成的暗角，同時，由于不同頻率的光折射率差別，導致 color
shading。因此需要鏡頭影音校正(Lens Shading Correction)。lens shading分為兩種 luma shading( 亮度陰影)和 color shading (色彩偏差)。

·
luma shading

Luma Shading原因有兩個，第一，由于鏡頭本身就是一個凸透鏡，Lens的光學特性——凸透鏡原理，中心的感光必然比周邊多，通光量從中心到邊角依次較少，導致圖像中間亮，四周偏暗；第二，當Lens CRA（主光線角度，Chief ray angle）大于 Sensor CRA(microlens)導致sensor傳感器邊緣像素收集光能衰減更大（CRA矯正改善），因此導致傳感器中心像素收集光能大于邊緣像素，加劇Luma
Shading。

· chroma/color shading

由于各種顏色的波長不同，經過了透鏡的折射，折射的角度也不一樣，Luma Shading的第二個原因是color shading主要原因。

2、Lens Shading矯正

2.1 Pipeline位置

Shading一般在OB和DPC的后面。額外注意，如果3A的統計數據在 shading 矯正之后獲取，那么 shading 矯正結果會影響3A的統計數據。

2.2 矯正方法

Shading的矯正方法目前主流有兩種：一種是同心圓法，一種是網格法。

同心圓法的流程為：

1. 找到RGB三通道的圓心（一般選擇為同一個點）

以同心圓的形狀將畫面的中心和畫面的邊緣的三通道乘以不同的增益

具體如下圖所示，一般來說考慮shading漸變的曲率從中心到邊緣逐漸增大，所以等增益曲線中心稀疏，邊緣密集。一般來說lens
shading的增益最好不要超過2倍，因為會引入噪聲。

下圖為mesh shading的矯正方法，同一個方格中的增益一致，mesh的分布也是中心稀疏四角密集。

最后總結一下：同心圓矯正方法的優點是計算量小，缺點是鏡頭若裝配時稍有不對稱則矯正失敗；網格矯正方法的優點是能夠應對各種shanding情況，缺點是運算量大。

2.3 聯動方式

Luma Shading主要受因素一鏡頭光通路影響，隨光譜變化較小，可不做聯動；

Color Shading主要受因素二CRA影響，不同色溫光譜，Shading不同，可標定多色溫下，然后進行差值。

·
RGB Gamma------Gamma校正

伽瑪校正。傳感器對光線的響應和人眼對光線的響應是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。

總結

以上是生活随笔為你收集整理的摄像头ISP系统原理（中）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。