????????圖像拼接技術(shù)是數(shù)字圖像處理技術(shù)一個重要的研究方向，它即是將兩幅或多幅相互有部分重疊的場景照片拼接成具有超寬視角、與原始圖像接近且失真小、沒有明顯縫合線的高分辨率圖像。可以很好地解決廣角鏡、魚眼鏡頭等全景圖獲取設(shè)備的不足。如下圖：

????????圖像拼接產(chǎn)生的圖像不僅具有較好的景物全局影像,而且還保留了原始圖像的細(xì)節(jié)信息。通過圖像拼接技術(shù)，可以剔除圖像冗余信息，壓縮信息存儲量，從而更加有效地表示信息。自動建立大型、高分辨率的圖像拼接技術(shù)一直是計算機(jī)視覺、照相繪圖學(xué)、圖像處理和計算機(jī)圖形學(xué)的活躍研究領(lǐng)域。

一、基本流程

????????早在計算機(jī)出現(xiàn)之前圖像拼接技術(shù)就應(yīng)用在實踐中，人們把拍攝的圖像拼接起來得到一幅視角更大的圖像，這便是最初的手工圖像拼接。隨著電子信息技術(shù)的不斷發(fā)展，現(xiàn)在所說的圖像拼接往往指的是對數(shù)字圖像的拼接。目前國內(nèi)外有很多單位及個人致力于全景圖像的生成和圖像拼接算法的研究。

????????圖像獲取、圖像預(yù)處理、圖像配準(zhǔn)和融合這四步是圖像拼接的整體流程，其中圖像配準(zhǔn)被視為圖像拼接最為關(guān)鍵的一步。

1、圖像的獲取

?????獲取圖像的方式不同必將導(dǎo)致輸入圖像的不同，從而需要根據(jù)不同的圖像獲取方式選擇不同的圖像配準(zhǔn)方法。使用普通相機(jī)拍攝圖像時，照相機(jī)的運動方式?jīng)Q定著圖像的獲取方式。使用普通相機(jī)拍攝時一般有旋轉(zhuǎn)相機(jī)拍攝、平移相機(jī)拍攝和手持相機(jī)拍攝三種方式。
? ? ? ? （1）使用三腳架旋轉(zhuǎn)相機(jī)進(jìn)行拍攝：使用這種方法采集圖像時三腳架放置在某一位置不動，照相機(jī)繞垂直軸旋轉(zhuǎn)，每旋轉(zhuǎn)過一定角度便拍攝一張圖像，相鄰的兩種圖像必須有部分重疊。因為相機(jī)固定不需要恢復(fù)太多參數(shù)，因此比較容易實現(xiàn)圖像的拼接。但是由于這種旋轉(zhuǎn)拍攝的圖像序列不在同一平面上，若簡單投影到同一平面上會導(dǎo)致圖像發(fā)生扭曲等現(xiàn)象使圖像質(zhì)量下降影響整個圖像拼接結(jié)果。旋轉(zhuǎn)相機(jī)拍攝一般需要使用柱面投影或是球面投影來生成全景圖像。這種拍攝方式也需要相鄰的兩幅圖像有較大的重疊區(qū)域才能保證圖像拼接的質(zhì)量，一般選用不小于50%的重疊比例較為合適。而過大的重疊率會導(dǎo)致拼接全景圖時需要更多的圖像，增大需要處理的信息量。為了減小計算量采集圖像時可以適當(dāng)?shù)厥褂脧V角鏡頭。

????????（2）把相機(jī)固定在水平滑軌上，保持相機(jī)焦距不變，水平移動相機(jī)每隔一定距離拍攝一幅圖像，最后得到有一定重合區(qū)域的圖像序列。這種方法獲取的圖像都在一個平面上是比較容易實現(xiàn)圖像的拼接。但是這種方法對拍攝條件的限制比較苛刻，物體和相機(jī)的距離也會影響圖像的配準(zhǔn)結(jié)果，而且這種拍攝方式視點放生改變不適宜用來生成360度全景。

????????（3）手持相機(jī)拍攝，可以站在原地旋轉(zhuǎn)相機(jī)進(jìn)行拍攝，也可以水平移動進(jìn)行拍攝，這種拍攝方式對拍攝器材的限制比較小只需要一臺相機(jī)即可完成拍攝，是最易實現(xiàn)的拍攝方式。但是手持相機(jī)拍攝過程中相機(jī)的運動非常復(fù)雜，勢必會發(fā)生難以預(yù)料的抖動，旋轉(zhuǎn)角度或是平移距離都難以精確控制，給圖像配準(zhǔn)帶來了很大的困難。但是研究這種相機(jī)運動方式復(fù)雜情況下拍攝的圖像的拼接對圖像拼接的廣泛應(yīng)用有著重要的意義。

????????這三種拍攝方式必須面對的同一問題就是相鄰圖像間的光強(qiáng)變化，理想情況下圖像相同區(qū)域應(yīng)該具有相同的光強(qiáng)，但是拍攝過程中光源的變化及相機(jī)與光源間角度的變化都是導(dǎo)致圖像的相同區(qū)域之間具有不同光強(qiáng)的原因。使用多相機(jī)拍攝時不同攝像頭的個體差別也會導(dǎo)致圖像曝光的差異。使用合適的融合方法解決好圖像獲取中的曝光差異也是圖像拼接需要研究的一個重要問題。

2、預(yù)處理

????????對圖像的預(yù)處理主要包括去噪和校正，去噪不在此細(xì)提，主要說明一下校正。在圖像采集的過程中相機(jī)的運動會導(dǎo)致圖像發(fā)生幾何形變，攝像頭自身的問題也會使采集的圖像無法還原真實世界中的場景，因此對圖像的畸變進(jìn)行校正是進(jìn)行全景拼接前必不可少的一步。

????????這里首先研究相機(jī)本身系統(tǒng)問題導(dǎo)致的失真。理想情況下的攝像頭可以還原真實世界中的場景，但是由于拍攝方式的問題及攝像機(jī)本身光學(xué)和電子系統(tǒng)的誤差會使獲取的圖像發(fā)生扭曲無法還原真世界中的場景，這種扭曲是不規(guī)則的，但是這種扭曲通常情況下是以攝像頭中心為對稱軸成徑向形態(tài)對稱的，我們把這種畸變叫做徑向畸變。徑向畸變一般分為桶形失真和枕形失真兩種：

? ? ? ? 在進(jìn)行預(yù)處理時就需要將這些失真進(jìn)行校正。

3、圖像配準(zhǔn)

????????圖像配準(zhǔn)可以認(rèn)為是在不同時間或相同時間、從不同視角或相同視角對同一場景拍攝的兩幅或者多幅圖像進(jìn)行空間域上的匹配過程?。用于得到輸入圖像之間的對應(yīng)關(guān)系，包括平移、旋轉(zhuǎn)、縮放等幾何關(guān)系以及色差、亮度差等非幾何關(guān)系。

????????把兩幅圖像分別定義為已知的二維矩陣， 和 分別表示兩幅圖像的灰度空間分布，則可以利用下面式子來表示兩幅圖像間的映射關(guān)系

?

????????式中f 為二維空間域的坐標(biāo)變換，g 是一維圖像灰度變換，所以圖像配準(zhǔn)的問題就是求解最優(yōu)函數(shù)f 和g 的過程。圖像配準(zhǔn)的關(guān)鍵就在于獲取最合適的空間或幾何變換參數(shù)。

????????圖像配準(zhǔn)可劃分為以下４個要素：

特征空間：是指從圖像中所提取出來的特征集合，例如角點、灰度與輪廓等；

搜索空間：是指圖像間的幾何變換關(guān)系。例如仿射、剛體及投影等形式：

相似度衡量：用于表示圖像間匹配的依據(jù)，不同的情況會使用不同的度量方式；

捜索策略：根據(jù)度量方式，采用合適的算法進(jìn)行捜索，目的是得到最佳的變換模型。

????????圖像配準(zhǔn)算法主要分為Ｈ個類別；基于變換域、基于灰度信息以及基于特征。

1）基于變換域的配準(zhǔn)方法

????????該方式也稱作基于頻率域。處理方式是傅里葉變換。可Ｗ實現(xiàn)空間域到頻域的對應(yīng)，然后利用功率譜來計算圖像間的幾何關(guān)系，再根據(jù)結(jié)果進(jìn)行配準(zhǔn)。運用傅里葉變換的好處在于：實際中的圖像變換有對應(yīng)量；對抗噪聲有很好的魯棒性；運用FFT（快速傅里葉變換）可提高速度。

2）基于灰度信息的配準(zhǔn)方法

????????基于灰度信息的圖像配準(zhǔn)方法，一般來說，不用經(jīng)過復(fù)雜的預(yù)處理環(huán)節(jié)，而是通過圖像本身就有的灰度信息來統(tǒng)計度量圖像間的相似程度。所以，該方式的優(yōu)缺點也很明顯：優(yōu)點在于不用提取特征，直按利用圖像的灰度信息，可提高匹配精度和魯棒性；缺點在于因計算鄰域灰度而導(dǎo)致計算量大、速度慢，若圖像間的灰度差異較大時無法保證精確配準(zhǔn)。

????????該配準(zhǔn)方法有互相關(guān)和互信息兩種經(jīng)典方法。其中，互相關(guān)配準(zhǔn)方法是通過度量圖像與模板間的相似度來進(jìn)行配準(zhǔn)的。互信息配準(zhǔn)法是近年來研究最多的一種配準(zhǔn)方法，是通過捜索圖像間最大互信息來進(jìn)行配準(zhǔn)的，常應(yīng)用于模板匹配或模式識別。

3）基于特征的配準(zhǔn)方法

????????該配準(zhǔn)方法的思路主要是從圖像中獲取具有顯著特點的局部結(jié)構(gòu)特征，如角點、邊緣線、亮區(qū)域的暗點或暗區(qū)域的亮點等，再對所提取的特征進(jìn)行匹配以確定圖像間的對應(yīng)關(guān)系。該方法的優(yōu)點在于只需要局部顯著特征，對應(yīng)的計算量小、速度快，而且適用于帶有一定程度噪聲或變形等的情況：缺點是配準(zhǔn)的效果受特征提取影響，而且還存在一定的誤匹配情況，若圖像間特性差異大時，誤差較大。常見的特征提取方法有角點檢測法、Forstner算法、SIFT算法和基于小波變換的提取算法及Canny檢測算法等。

4、圖像融合

? ? ? ? 圖像融合技術(shù)是在圖像配準(zhǔn)之后進(jìn)行的。該過程是針對上一步處理獲得的兩幅圖像的數(shù)據(jù)信息，通過采取一定的算法將所包含的信息互補(bǔ)地合并處理，從而得到一幅所含信息更加完整、可靠隊及準(zhǔn)確的新圖像。新圖像能比較全面的描述圖像采集場景，與單一圖像作比較，能夠降低或者控制對圖像采集場景整體認(rèn)知中可能存在的不確定性、片面性及多義性，最大程度地運用圖像序列所提供的信息。總的來說，圖像融合能更好地描述或表達(dá)被采集對象或場景，能夠提高對圖像信息的分析、理解及提取等方面的能力。

? ? ? ? 融合算法根據(jù)圖像融合特色可分為三個層次，即像素級融合、鉛征集融合和決策級融合。

????????（１）像素級融合

????????該分類是種低水平的圖像融合技術(shù)。像素級融合的基本思路就是針對圖像配準(zhǔn)后的圖像數(shù)據(jù)直接進(jìn)行融合，然后再對融合結(jié)果中進(jìn)行相應(yīng)的特征提取，并做出必要的屬性說明。其優(yōu)點在于融合結(jié)果能盡可能地保留原始信息，能更好地顯示源圖像中的細(xì)節(jié)信息；缺點在于融合過程中需要處理的數(shù)據(jù)量大、所耗費地時間長，即計算和存儲都不方便，并且要求傳感器是同質(zhì)的。

????????（２）特征級融合

????????這是一種中等水平的圖像融合技術(shù)。該分類的基本思路是提取特征并用數(shù)學(xué)語言加以描述得到特征矢量，最后再通過綜合分析對特征矢量進(jìn)行融合處理。其優(yōu)點待處理的信息得到壓縮，從而提高計算速度，有利于實時；缺點是忽略了大量的原始細(xì)節(jié)信息，導(dǎo)致精度有所降低。

????????（３）決策級融合

????????這是一種高等水平的圖像融合技術(shù)。決策級融合的基本思路是對單幅圖像做屬性說明，得到初步?jīng)Q策結(jié)果，再對獲得的結(jié)果進(jìn)行融合處理，從何獲取最終的聯(lián)合判決。其優(yōu)點在于信息濃縮，具有一定的容錯性和開放性，處理時間較短；缺點是融合結(jié)果效果不準(zhǔn)確。

二、拼接質(zhì)量評價

????????圖像拼接質(zhì)量的好壞主要體現(xiàn)在兩個方面，即圖像間的亮度一致性與結(jié)構(gòu)一致性，其中亮度一致性主要取決于圖像融合算法的性能，而結(jié)構(gòu)一致性主要取決于圖像配準(zhǔn)算法的性能。為得到高質(zhì)量的全景圖像，許多先進(jìn)的拼接方法被提出，如何評價這些方法的性能就成為一個重要問題。目前，圖像拼接質(zhì)量的評價方法主要有兩種：主觀質(zhì)量評價方法和客觀質(zhì)量評價方法。

1、主觀質(zhì)量評價方法

????????主觀質(zhì)量拼接方法根據(jù)觀察者對圖像的主觀視覺感知來評價圖像質(zhì)量的好壞。在圖像拼接過程中，常見的視覺異常現(xiàn)象（visible artifacts）包括：

模糊（blurring）；

重影（ghosting）；

亮度突變（intensity saltation）；

紋理斷裂（texture crack）；

透視畸變（perspective distortion）

????????對于融合后的全景圖像，通常并不存在用于對比的“真值”（ground truth）。近年來一些無參考圖像下的圖像質(zhì)量評價指標(biāo)相繼被提出，它們能夠反映出圖像壓縮或傳輸過程中產(chǎn)生的噪聲對圖像質(zhì)量的影響。但這些指標(biāo)并不能客觀有效地識別全景圖像中是否存在上述視覺異常現(xiàn)象，這種情況下對圖像質(zhì)量的評價依然需要依靠人的常識和經(jīng)驗，因此，目前對圖像拼接中融合方法性能的評價主要采用主觀質(zhì)量評價方法。

????????主觀質(zhì)量評價方法直接依賴于人類視覺系統(tǒng)（human visual system，HVS），因此評價結(jié)果最為可靠，但每一幅全景圖像質(zhì)量的評價都需要觀察者介入，當(dāng)圖像數(shù)據(jù)量較大時，評價過程繁復(fù)耗時，實際應(yīng)用中受限較大。

2、客觀質(zhì)量評價方法

????????客觀質(zhì)量評價方法使用特定的量化指標(biāo)對圖像質(zhì)量進(jìn)行定量評價。圖像拼接中主要用于評價圖像配準(zhǔn)的精確程度，具體地，通過計算重疊區(qū)域圖像間的相似程度衡量圖像拼接質(zhì)量的好壞。目前常用的客觀質(zhì)量指標(biāo)主要有：均方誤差（mean square error，MSE），峰值信噪比（peak signal-to-noise ratio，PSNR），歸一化互相關(guān)系數(shù)（normalized cross-correlation，NCC），零均值歸一化互相關(guān)系數(shù)（zero mean normalized cross-correlation，ZNCC），結(jié)構(gòu)相似性指數(shù)（structuralsimilarity index，SSIM）以及多尺度結(jié)構(gòu)相似性指數(shù)（multi-scale structural similarity index，MS-SSIM）等。

總結(jié)

以上是生活随笔為你收集整理的全景图像拼接——基本流程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。