全景图像拼接——图像融合
????????圖像融合技術就是將配準過后的圖像融合成一幅寬視角、大場景的圖像。但由于圖像采集過程中各種因素的影響，例如光照、角度、距離等，從而導致圖像間的光照不均勻、顏色上不連續。
經過配準以后，參考圖像和輸入圖像已經在同一個坐標系下，如果只是取某一幅圖像的信息或者簡單地將二者重疊區域的像素進行疊加，在圖像拼接處會產生圖像不連續的現象，有明顯的拼接縫隙，如圖所示。
????????要實現圖像的無縫拼接，必須采用圖像融合技術對圖像的重疊部分進行平滑處理，使兩幅圖在重疊區域平滑過渡，拼接后的圖像在顏色和亮度上保持一致，視覺效果好。
一、傳統融合算法
圖像融合就是盡可能地利用圖像間的獨有細節信息和重疊部分的信息，最終得到一幅有豐富有用細節的新圖像。經典的融合算法有直接平均和加權平均。
1、直接平均
????????該融合算法的基本思路是直接從圖像間的重疊區域中各提取一半的信息，作為該部分的融合結果，計算公式見式：
????????該算法思路簡單、便于操作，但是如果遇到光影差異較大時，融合結果中接縫感就會比較明顯。
2、加權平均
????????該融合算法的基本思路是通過…定的權值將圖像間重疊區域中的信息提取并結合。該算法的通用公式見式：
????????根據權重的選取方式不同，可以有以下兩種分類：
1）漸入漸出融合算法
????????該算法是針對某方向上的，融合過程中權值是逐漸變化，從而達到平滑的融合結果。其計算公式見下式。
????????
????????式中，0<<１。例如，沿著Ｘ方向的拼接情況下，隨著Ｘ的増加，左側的權值是逐漸變大，而右側的是逐漸變小的，這樣就可以使得融合處的變化平緩，效果更加自然。
2）帽子函數融合算法
????????在權值分配的時候，以中心區域為參考，距離越短，對應的權值也會越大。每一幅圖像的權值設定公式見式：
????????其中，、分別對應著第 i 幅圖像的寬和高。
????????權值在重疊區域處的總和為１，這樣就需要對權值設定作統一調整，見式：
????????在加權平均融合算法中，一般來說，總是只考慮單一方向的權值設定，例如沿Ｘ方向或者沿Y方向。當然，融合也可以同時考慮送兩方面，這樣得到的融合質量更好。
????????其中，0<<1，代表Ｘ方向上的權值變化；0<<1，代表Y方向上的權值變化。
二、最佳縫合線算法
????????圖像采集過程中，由于環境條件的差異，例如光照、曝光等方面，導致采集到的序列圖像間在亮度和色調上是不一致的。在融合過程中，常常會出現同一物體中一部分重疊在一起而使物體模糊，送稱之鬼影或重像。產生鬼影的環節有配準過程和合成過程。前者，源于圖像采集過程中，拍攝設備不在同一平面運動，從而可能導致圖像間配準誤差較小，引起模糊；后者，源于圖像間存在運動物體，因物體運動而導致融合出現問題。
????????利用動態規劃的思想，在待拼接圖像間的重疊區域之中，尋找一條線，可以很好地將待處理的圖像各自劃分兩部分，然后各取一部分進行融合。當選取的線比較合理，從理論層面上是可以解決鬼影問題的。理想的縫合線上的像素點需要滿足兩個要求：顏色差異最小和幾何結構最相似。但事實上，理想的縫合線基本無法求得，所以只能盡可能地接近。
1、最佳縫合線捜索準則
1）基于顏色差異的搜索準則
????????該準則只考慮了顏色強度差異，所以當圖像間存在明顯的曝光區別時，可能導致縫合線的捜索結果不對。
????????設相鄰圖像和，而且任意對應關系為和。則該準則可表示為：
? ? ? ? 其中，E表示重疊像素點的顏色之差。
2）基于顏色差異和幾何差異的搜索準則
? ? ? ? 可表示為：
????????
? ? ? ? ?式中表示重疊像素的顏色差異，表示梯度，用梯度變化的較小值來度量幾何差異。
2、最佳縫合線搜索過程
????????該準則的基本過程：先得到圖像間的插值圖像；然后使用動態劃分的思路對插值圖像做處理，處理過程見圖；
????????最后從這些縫合線中找到搜索值最小的那一條，即為最佳。
三、泊松融合算法
????????人類的眼睛對圖像亮度相對要敏感一些，而數學上的梯度可以用來反映圖像中的亮度改變最明顯的區域，也就是可以用梯度來捕捉到圖像上亮度變化。法國學者佩雷斯等人在２００３年提出了通過構造泊松方程來求解像素最優值的解決方法。這種方法能很好地實現圖像間的無縫融合。
????????泊松融合算法是基于梯度域的。從數學角度來看，該融合過程可總結為求最小化問題，即按照邊界條件來計算，讓圖像可以在梯度層面處于平滑狀態。
? ? ? ? 如下圖所示，g 表示被融合區域，v 是 g?的梯度場，S 是融合之后的結果。是 g 處理后的對應位置，對應的是區域的外圈。假設融合結果中內的灰度值為，其外部的為
????????鑒于融合后的圖像要盡可能的平滑無縫，所以，內的梯度值應當盡可能的小，因此，的值由下式確定：
????????面對上述積分型極值問題，顯然需要使用變分法，(這里直接原文了。。。原諒數學無力)
?
????????泊松方程被引入圖像拼接領域后就成為研究熱點，這是源于其相較于傳統意義的融合算法，更能得到較好的無縫拼接結果。
????????如圖所示，重疊部分為EFGH，在重疊區域中找到最佳縫合線，再進行泊松融合即可實現圖像拼接。
?
????????
總結
以上是生活随笔為你收集整理的全景图像拼接——图像融合的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： python 有限域函数库_有限域：计算
- 下一篇： 链表反转python